信息化建设指导网-推进全国信息化发展,打造信息化建设第一站 加入收藏
信息化建设指导网

轻松成为数据科学家,微软一揽子数据平台跨越数字鸿沟

日期:2019-06-14 来源:信息化建设指导网 作者:管理员
关键字:


如今,数据平台已经成为企业数字化转型的关键一步。在刚刚结束的2019 IDC中国ICT市场年度论坛指出,数字化转型进入了2.0阶段:数字鸿沟正在形成、规模化越来越重要、平台与生态驱动创新速度倍增,企业正从单纯的数字化创新转向业务的全面数字化和智能化。而今年初,Gartner副总裁兼杰出分析师Donald Feinberg在谈到2019数据与分析趋势时曾表示,数字化颠覆带来的挑战——即数据太多,同样也创造了前所未有的机遇。

在全面数字化和智能化阶段,正如Gartner所指出的,数据的规模、复杂性与分散性质,以及数字化业务所需要的行动速度与持续型智能,意味着僵化且集中的架构与工具将会分崩离析,任何企业的长久生存都将取决于能够响应各种变化的以数据为中心的灵活架构。一个以数据为中心的规模化架构和平台,能够源源不断把数据转换为智能和洞察,在为企业灵活管理和分析处理数据的同时,创造更加敏捷的行动力与速度。

微软现代化的数据平台,正是这样一个以数据为中心的规模化和现代化架构与平台:这包括即将发布的操作型数据库和大数据以及人工智能分析为一体的SQL Server 2019、Azure SQL Data Warehouse数据仓库、Azure SQL Database托管实例、云原生的全球分布式数据库Azure Cosmos DB、Azure Data Lake数据湖存储与分析、Azure HDInsight大数据分析、Azure Databricks流数据分析、Power BI商业智能、人工智能及机器学习等一揽子本地及云端数据平台,以及完整的数据迁移服务。

“基于微软完整的数据平台,DBA数据管理员可以轻松升级为数据科学家。”微软全球数据平台解决方案总监Jack C. Tang在2019年6月12日的微软Azure SQL Database Managed Instance(SQL Database托管实例)以及Azure Data Migration数据迁移服务发布会上表示。自2016年SQL Server 2016发布所展示的微软统一数据平台愿景,正在转换为企业跨越数字鸿沟、驱动创新速度的数据生产力平台。

从DBA到数据科学家

(微软全球数据平台解决方案总监Jack C. Tang)

对于企业数字化转型来说,要推动从单纯的数字化创新转向业务的全面数字化和智能化,就需要大量的数据科学家。所谓数据科学家,是随着大数据和人工智能分析而兴起的一种新型的企业角色,主要指利用人工智能和机器学习对大数据进行建模,从而探索新型数据关系以及业务洞察。而当前,企业面向数据类岗位主要以DBA数据库管理员为主,DBA们更多的工作主要集中在数据库的日常管理和运维。

DBA是当前市场中大量存在的企业数据人才基础,也是企业培养数据科学家的天然人才库。根据美国非赢利性机构Data Scientist DC组织负责人Jeff Hale在2018年10月的统计,企业数据科学家所必备的前五大能用技能包括:数据分析、机器学习、统计、计算科学与沟通,也就是说数据分析与机器学习是数据科学家的核心通用技能,而统计与计算科学技能也是必备的基础通用技能。而数据科学家必备的前五大技术技能,则包括:Python、R、SQL、Hadoop和Spark。市场上的其它统计结果,也高度相似。

换言之,市场上对于数据科学家的期望,既包括了传统结构化数据处理、SQL数据库管理和以统计为代表的商业智能分析技能,也包括了Hadoop和Spark为代表的大数据处理和大数据分析技能,以及Python和R为代表的机器学习和人工智能分析新型技能。其中,既涉及到传统数据处理与商业智能分析的全生命周期,也涉及到大数据以及人工智能分析的全生命周期,可以说要求的技能和知识相当的全面与综合。

而对于企业的DBA数据管理员来说,也期望从对企业相对低价值的日常数据库运维工作,向着驱动创新的大数据分析与人工智能与机器学习探索转型。这对于DBA来说,就需要学习除了传统数据库之外的大数据、机器学习和人工智能知识与技能。而不论对于DBA还是数据科学家,除了需要弥补已有的知识领域不足外,还需要学习市场中大量碎片化的工具与软件,也造成了很大的困扰。

微软中国数据与人工智能产品负责人林默在6月12日发布会上介绍,前不久去拜访一家全球顶级的IT咨询服务与系统集成商,而这家公司有三个AI供应商从而导致了很高的学习成本,而微软的AI平台能满足该公司的所有需求,不仅学习成本低而且诸如微软Machine Learning Studio所提供的可视化数据和算法拖曳的方式,可简单高效处理数据与算法模型的适配,几个小时就可以完成一个机器学习项目,极大提升了数据科学家和工程师的生产力。

微软AI与机器学习的最大亮点,即一个平台适配本地和云端环境、提供从预配置的模块化可视化开发到深度代码开发等,所能提供的选择性非常多,包括即将发布的SQL Server 2019全面支持大数据分析和机器学习及人工智能等。微软让DBA数据库管理员能够在已经熟悉的SQL Server数据库基础上,轻松无缝升级到数据工程师和数据科学家,一个平台满足所有必需技术要求。

一揽子数据平台解决方案

(微软中国数据与人工智能产品负责人林默)

从单一数据库向全面的数据平台以及大数据分析和人工智能及机器学习转型,微软SQL Server这个已经上市超过27年的企业级数据库产品,如今也发生了根本性的变化。而微软最新在中国市场发布的Azure SQL托管数据库实例和迁移工具服务,为中国企业打通数字化转型2.0阶段的数字鸿沟铺设了云端和本地的高架桥,为DBA建成通往数据科学家的高速路。

首先是Azure SQL Database托管实例,也就是在Azure公有云上托管SQL Server数据库。托管的SQL Database实例,与最新的SQL Server本地 (Enterprise Edition) 数据库引擎几乎完全兼容,提供本地 SQL Server客户惯用的业务模型。托管实例允许现有SQL Server客户将其本地应用程序即时转移到云中,而只需对应用程序和数据库做出极少量的更改。

微软全球数据平台解决方案总监Jack C. Tang强调,SQL Database托管实例发布在由世纪互联运营的Microsoft Azure,将为中国市场客户将现有SQL Server迁移到云端,提供一条安全可靠的快捷通道。对于DBA来说,托管实例部署选项可以减少系统管理员花费在管理任务上的时间,因为 SQL 数据库服务可以自行执行或大幅简化日常运维管理任务,包括OS/RDBMS安装和修补、动态实例大小调整和配置、自动备份、数据库复制(包括系统数据库)、高可用性配置、版本更新,以及运行状况和性能监视数据流的配置等。

简单理解,采用Azure SQL Database托管实例后,马上就可以将本地数据库升级为云端数据库,进一步获得云端PaaS的所有功能,包括99.99%的高可用性、可同时使用Azure上完整的数据平台和人机工智能及机器学习服务等。特别是云端部署的SQL Database托管实例,同步提供最新版SQL Server 2019的全部功能,能够更好满足新开发业务应用以机器学习发掘数据洞察、推动人工智能应用的需求。

其次,即将发布的SQL Server 2019,内置集成了大数据集群功能,支持Hadoop和Spark大数据集群。这样,企业就可以在核心数据库基础上,同时用SQL Server查询大数据集,而数据科学家可以继续使用Hadoop等生态工具软件并轻松实时地接入SQL Server上所存储的高价值数据。而对于企业数据湖来说,可通过Transact-SQL统一查询所有数据并使用已有的SQL Server工具和应用接入和分析企业数据。SQL Server 2019支持Kubernetes及容器化部署,这样就可以大规模扩展节点和计算规模。

而在机器学习和人工智能方面,SQL Server内嵌式支持机器学习,可在数据库内部执行端到端的机器学习计算而无需移动数据,同时支持R、Python等机器学习语言以及微软的可扩展算法。一旦模型训练好后,SQL Server让机器学习脚本和模型运行就像在Transact-SQL里嵌入脚本一样简单。微软强调SQL Server是市场上唯一支持内嵌AI的商用数据库,包括SQL Server on Linux的机器学习能力以及在容错集群场景中支持机器学习等。

当然,本地环境与云端环境之间的迁移工具和服务也很重要。Azure Data Migration(Azure 数据迁移,DMS)服务是一种完全托管的迁移服务,结合了数据迁移助手(DMA)、数据库实验助手(DEA)、SQL Server 迁移助手(SSMA)等多个微软迁移引擎的功能,能够以最少的停机时间实现从多个数据库源到Azure 数据平台的无缝迁移,并支持多种主流数据库,充分满足各种不同场景的需求。配合Azure Data Factory(Azure 数据工厂, ADF)服务,企业可在云中创建数据驱动型工作流,协调和自动完成数据移动、转换,将复杂的数据集成项目部署到托管云服务平台,加快数据集成。

在Gartner最新的面向分析的数据管理解决方案魔力象限以及操作型数据库管理系统魔力象限中,微软都与Oracle并列领导者象限榜首,而微软还是唯一的全球大规模公有云、私有云和传统IT混合解决方案商。Gartner强调,用户喜欢微软的原因在于完整的数据平台能力、统一的体验以及能够为企业带来高价值回报,此外微软强大的培训能力和人才基础也是选择微软的重要原因。

今天,中国正进入数字经济上升的关键时期,2018年我国数字经济总量达到31.3万亿元,占GDP比重超过三分之一,达到34.8%。而随着我国数字经济规模将要推进到GDP的50%关键门槛,这就意味着数字技术将对全要素生产率的全面渗透和提升,而这就需要一个高效、简单易用而全面的数据生产力平台,让人人都有可能成为数据科学家、让高效数据处理与流转成为可能。而微软的一揽子数据平台,就是这样一个可跨越数字鸿沟的解决方案。


分享到:
  • 太极计算机股份有限公司太极计算机股份有
  • 用友金融信息技术有限公司用友金融信息技术
  • 广州红帆电脑科技有限公司广州红帆电脑科技
  • 北京九恒星科技股份有限公司北京九恒星科技股
  • 中创软件工程股份有限公司中创软件工程股份
  • 万达信息股份有限公司万达信息股份有限
  • 华三通信技术有限公司华三通信技术有限
  • 远光软件远光软件
  • 擎天科技擎天科技
  • 用友软件股份有限公司用友软件股份有限