阿里云发布ODPS可分析PB级海量数据

发布日期:2020-05-20

 

8日,阿里云计算发布核武级大数据产品——ODPS。通过ODPS在线服务,小型公司花几百元即可分析海量数据。ODPS可在6小时内处理100PB数据,相当于1亿部高℡清电影。此前,全球掌握这种能力的公司屈指可数,如Google、亚马逊等。

五年间,阿里云的工程师们写下250万行代码,不断打磨ODPS。该团队在一封公开信中描述:“把数据海洋里的水灌进ODPS,设定好一套参数,拧开水龙头,出来的就是鲜榨果汁!”对比工业时代,ODPS相当于大数据时代的流水生产线,水龙头里流出来的“果汁”,随原始数据和算法的改变而千变万化。

公开信中表示:工业革命后的200多年里,人类对物理资源的利用登峰造极,对数据资源的利用却仍处于起步阶段◈。Google、Facebook、阿里巴巴等互联网公司先行一步,触碰到了大数据的魅力。然而,人类拥有的绝大部分数据还无法产生价值。

采用传统方案处理大规模数据,一般得耗资数千万自建数据中心,请专业技术人员维护运作。一旦数据总量超过100TB,技术挑战会非常大。Hadoop开源运动降低了这一成本,不过自建一个像样的Hadoop集群,仍然需要上百万的起步资金。专业的Hadoop人才则更加稀缺。

相比而言,使用ODPS的成本和门槛则低得多。ODPS采取按量收费的模式,目前定价0.3元/GB,即开即用,一个月内免费。根据大部分公司的数据量来测算,๑·ิ.·ั๑一般≈每月只需花费数百元。

在对外商用之前,ODPS一直是阿里巴巴内部的秘密武器。阿里小贷最先将ODPS应用到商业领域。如今,超过36万人从阿里小贷借款,最小贷款额为1元‖∠,并实现3分钟申请、1秒放款、0人工干预。要做到这一点,阿里小贷每天得处理30PB数据,包括店铺等级、收藏、评价等800亿个信息项,运算100多个数据模型,甚至得测评小企业主对假设情景的掩饰和撒谎程度。阿里小贷每笔贷∧款成本3毛钱,不到普通银行的1/1000。

据悉,淘宝、支付宝等阿里巴巴最核心的数据业务,都运行在ODPS平台。比如阿里妈妈广告的核心算法,点击预测模型的训练等。ODPS商用,意味着阿里云将这种大数据处理能力对外开放,此举将大幅降低社会创新成本。

在公共领域,OЮDPS也具备广泛应用的潜力:华大基因利用ODPS进行基因测序,耗时不到传统方式的十分之一,未来│┃一旦爆发生物危机,可以为人类◀赢得宝贵的破译时间;药监部门利用ODPS,全程监管药品流向,解决假药问题。“我们期待未来每一桶油、每一道菜的数据都跑在ODPS上,食品安全问题需要通过创新⿶的方式来解决。”

目前,全球提供类似服务的仅有Google和亚马逊,国内尚无同类产品可供比较。阿里云方面表示,ODPS将比Google BigQuery更强大,不仅支持更丰富的SQL语法,还将提供MapReduce编程模型和机器学习建模能力,可以服务更多应用场景。

 

【ODPS成长史】

ODPS在阿里集团内部已经被广泛用于海量结构化数据的处理分析。作为飞天的τ重ō要模块,伴随阿里云的发展一路走来的ODP◥S,在成长道路上历经坎坷:

1.2010年春节期间,ODPS的前身Sql Engine第一版上线,首个应用是支持阿里云金融的信用贷款和订单贷款业务(牧羊犬),运行在30台机器的飞天集群上;

2.2010年年中,牧羊犬项目飞速发展,而Sql Engine的稳定性则很难跟上业务的步伐,为了保证业务连续性和稳定性,我们采用了4个机群并行运行的方式,夜晚的护航苦乐参半;

3.2011年1月,随着业务方的更高要求,Sql Engine的架构难以为继,Sql团队利用3个月的时间对Sql Engine进行重构,新版本可以比较稳定的运行在100台机器上,并更名为Data Engine;

4.2011年Q3,飞天团队开始探索支撑☆集团内部数仓业务,利用Moye系统,在1500台机器上并行运行云梯1的生产作业,并取得了不输于hadoop的性能和稳定性成绩;

5.2011年年底,迅速发展的金融业务与蹒跚前进的平台之间的矛盾再次爆发,阿里小贷数位高管夜访阿里≒云;为了重拾客户信心,2012年1月,阿里云的4▀0位工程师进驻滨江,在客户身边进行新版本开发和线上系◎统维护,历经4个月的时间,Data Engine版本升级,将客户业务迁移到2500台的集群上;依托新的机群,阿里小贷的业务量飞速增长;

6.2012年Q1,冰火鸟项目启动,团队在Data Engine和Moye之间做技术选择,并决定使用Moye作为ODPS产品的核心引擎,Data Engine退出历史舞台;历经8个月的时间,冰火鸟项目一期结束,阿里⊙小贷和淘宝的数仓业务迁移到ODǐPS,ODPS第一个版本开始生产运行;

7.2013年年中,金融业务的快速发展再次造成机群资源吃紧,〩存储即将撞墙!由阿里¤云和数据交换平台组成的联合项目组开始5k项目,经过5个月的技术攻关,金融机群顺利扩容,生产系统平滑迁移,ODPS进入5000台机器和跨机房调度时代;

 

【登月计划】

阿里内部关于云梯1(基于hadoop)和云梯2的技术争论由来已久,在事实上促进了ODPS团队的成长。

2013年10月,为了融合阿里小贷和支付宝的数据,支付宝希望ODPS团队协助他们搬家,将支付宝数♡仓业务从hadoop机群搬到ODPS上,登月1号项目启动。2014年5月,登月1号项目顺利成功,小微金服的全部数据业务开始基于ODPS发展;

2013年底,受到登月1号项目的启发,阿里数据平台团队联合技术保障部☞和集团各事业部,开始了一系列宏大的登月计划,致力于将搜索、♣广告、物流等多*个BU的数据统一,未来ODPS将成为承载阿里集团全部数据的统一处理平台。“登月计划”共计划了20多个项目,涉及阿里巴巴和小微金服所有的事业部,覆盖集团全部数据人员,其牵扯人员、资源之多,在集团内部罕见。登月计划的全面启动,标志着阿里集团自研的飞天+ODPS平台,从功能和性能上已经渐渐超越了Hadoop,阿里云的技术走在了世界前列。

从Oracle到Hadoop,我们解决了海量数据如何存储和分析的问题,阿里的数据业务不再受制于规模的瓶颈;从Hadoop到ODPS,更是一次质的飞跃,为后续大数据业务的开展扫清了障碍。

ODPS商用,则是中国大数据时代发展的一个标志性事件。

 

【ODPS跟飞天平台的关系】

最底层是Linuшx+PC Server,上层软件是飞天,飞天是阿里云09年开始开发的一款分布式系统软件,主要提供分布式存储和分布式计算的调度、编程框架。开发语言是C++, 2013年该系统а在生产环境支持调度5000台机器的集群。

飞天比较有意思的是模块的名字,都是从中国传统的神话中选择,比如分布式存储模块叫盘古,调度叫伏羲。

站在hadoop的角度看,飞天提供的功能和hadoop是类似的,在yarn之前,hadoop主要的编⊙程模型是MapReduce,飞天的编程模型是一个有向无环图,而且除了支持批处理任务以外还支持常驻的Service。实现的细节上当然完全不同,首先实现的编程语言飞天就选择了C++。其他像安全、运维体系都有很大区别。

ODPS是在飞天之上提供的一套服务,功能包括SQL,基҉于java的Mapreduce编程①框架,图计算编程模型,一系列机器学习算法的实现等等。所有的功能是以RESTful API的形式对外提供,所以从系统边界上说,这层AP◑↔↕▪I隔离了ODPS平台和用户的系统,和hadoop的区别也很明显。ODPS设计之初就是为了对外开放,做基于互联网的多租户的公共数据处理服务,所以安全性在ODPS的设计和实现中具有最高的优先级。

 

【阿里集团使用ODPS现状】

目前阿里集团内部使用ODPS的状况:阿里集团大部分数据业务都运行其上,包括阿里小贷,数据魔方,阿里妈妈广告联盟,广告搜索,点击预测模型训练、支付宝所有业务,淘宝指数,阿里无线,高德,中信21cn等。阿里妈妈广告的核心算法,包▨括⿱点击预测模型的训练

 

【ODPS的产品优势】

1)海量运算触手可得:用户不必关心数据规模增长带来的存储困难、运|︴()〔〕算时间延长等烦恼,ODPS可以根据用户的数据规模自动扩展机群的存储和计算能力,使用户专心于数据分析和挖掘,最大≡化发挥数据的价值

2)服务“开箱即用”:用户不必关心机群的搭建、配置和运维工作,仅需简单的几步操作,就可以在ODPS中上传数据、分析数据并得到分析结果

l 数据存储安全可靠:ODPS采用三重备份、读写请求鉴权、应用沙箱、系统沙箱等多层次数据存储和访问安全机制保护用户的数据:不丢失、不泄露、不被窃取

3)多用户协作:通过配置不同的数据访问策略,用户可以让组织○中的多名数据分析师协同工作,并且每人仅能访问〗自己权限许可内的数据,在保障数据安全的前提下最大化工作效率

4)按量付费:ODPS根据用户实际的存储和计算消耗收费,最大化的降低用户的数据使用成本

 

【后续产品计划】

后续阿里云会持续研发和优化ODPS平台,提供更多功能满足客户更多层次需求:

1、提供ADC平台——基于ODPS的集成数据解决方案,包括代码集成开发环境,任务发布,任务调度,任务监控管理,BI/商业智能等。

2、提供更加丰富的SQL语法,还将提供MapReduce编程模型和大规模机器学习建模能力。

3、支持准实时查询:为支持BI/商业智能等功能提供支持。

4、支持数据的实时导入、计算、导出。

5、更复杂的计算模型,不仅支持Map/Reduce,还会支持DAG模型的任务。

6、支持用户自定义的迭代/图模型编程接口:用户可以依赖这样的接口编写聚类(例如Kmeans),PageRank。

7、内存计算,计算的中间数据不落磁盘,直接在内存中。

8、流式计算支持。

9、开放odps更底层的逻辑计算单元,支持用户基于odps开发spark,pig等分布式系统。

10、地理/空间数据√类型的支持。

11、使用数据存储新技术raidfile:1.5份copy技术,目前数据每份存储三份,后续将会提供新的存储技术raidfⅫile,在同等保证数据安≮全的情况下,每份数据只存储1.5份,大大优化存储空间。

 

【天池平台】http://102.alibaba.com/competition/addDiscovery/index.htm

1、“天池”平台是基于阿里云ODPS的大数据开放平台,向学术界免费提供科研数据和数据处理服务。ODPS以RESTful API的形式提供针对PB级别数据的批量处理能力,主要应用于数据分析、海量数据统计、数据挖掘、商业智能等领域。

2、天池平台已开放的科研数据:天池平台的数据和计算资源是免费开放给学术界的,第一期开放三类科研数据集,包括用户购买成交记录、商品购买评论记录、商品浏览日志记录等,数据经过脱敏处理,所有数据均只能在“天池”平台中使用。(ODPS是一个收费的、商用的平台,而天池平台是基于ODPS,开放给高校和科研机构的一个平台,也就是说,相当于阿里巴巴替这些高校科研机构付费了)

3々、天猫推荐算法大赛开放的竞赛数据:在天猫,每天都会有数千万的用户通过品牌发现自己喜欢的商品,品牌是联接消费者与商品最重要的纽带。本届赛题的任务就是根据用户在天猫的行为日志,建立用户的品牌偏好,并预测他♂们在将来对品牌ι下商品的购┍买行为。

4、从阿里巴巴的角度来说,做天池的⿳主要目的是:1)为教育事业做贡献。目前中国高校科研所用数据,都是很老的数据集,科研单位非常渴望能拿到阿里的真实数据集做学术研究,我们提供这些数据集也是为了帮助大数据科研领域的发展;同时,培养和储备人才也是一个目的。

 

【御膳房】clouddata.taobao.com

基于ODPS,阿里为第三方软件服务商和品牌商提供大数据计算、挖掘、存储的云环境开发平台,构建阿里数据生态。通过御膳房数据市场,数据消费者与数据提供者可以安全地交易、使℉用海量数据,实现数据价值。

丰富的淘宝数据。目前御膳房已开放商品、商家、客服绩效、品牌四大主题数据,后Ъ续会继续开放行业、竞品等主题Ↄ数据;同时开发者也可以将个人数据上传使用。 指标标准可靠。开放共建的聚石塔数据标准联盟,御膳房提供完善准确的基础指标定义,计算口径,检验工具等,确保数据标准、唯一可靠。 自助计算。强大稳定的计算能力,提供离线分布式计算平台及强大的算法环境▼,自主提交计算任务,自主开发模型挖掘数据价值,大数据计算快速响应。 安全的操作平台。御膳房支持隔离的数据存储、独立的数据任务部署,确保御膳房内的数据交易与数据开发安全防泄漏。 灵活数据接口。开发者可根据需求灵活定制API,数据输出符合TOP API规范。 大数据挖掘工具。御膳房提供R、Python、MySQL在内的主流大数据挖掘工具,支持模型研究与快速迭代试验,提升数┏据价值。

 

【参考文章】

阿里大数据“榨果汁” http://www.wtoutiao.com/a/336506.html

创业机会包含四个因素_创业机会的方法_创业机会的识别包括 2019-2022版权所有