加入收藏 | 设为首页 | 会员中心 | 我要投稿 PHP编程网 - 金华站长网 (https://www.0579zz.com/)- 科技、建站、经验、云计算、5G、大数据,站长网!
当前位置: 首页 > 教程 > 正文

阿里为什么要拿下Flink?

发布时间:2019-01-27 19:49:04 所属栏目:教程 来源:王珂玥
导读:副标题#e# 如果这不是因为阿里新年消费的第一个大单,更多人知道 Flink 或许还会晚一点。据欧洲外媒 Deutsche Startups 报道,阿里巴巴集团以 1.033 亿美元(9000 万欧元)的价格收购了总部位于柏林的初创公司 Data Artisans。此消息之后得到了多家媒体从阿

第三,随着大数据流式计算可以提供更快的数据决策,用户针对传统批处理模式正在加速向实时数据场景迁移,为此流式计算技术在做好创新架构突破的同时也要注意对传统数据资产的有效衔接。诸如,Flink 已经在其分布式的流式计算框架中实现了事物的 ACID 操作,有效解决的事物的分布式存储环境的缓存一致性和分布式锁的概念。Data Artisans 联合创始人兼首席执行官 Kostas Tzoumas 表示,他们正为这一技术申请专利,“我们允许公司摆脱他们真正昂贵和复杂的 Oracle 数据库,这些数据库目前为他们提供 ACID 交易,并转向允许您扩展的新技术,允许您实施自定义代码,”他同时表示:“但存在一些明显的局限性,例如 Flink 与 Oracle 数据库不兼容 API。”

在这方面,Spark 因为未能及时支持 Spark 结构流和高级会话处理的新 API,从而让 Netflix 的高级数据工程师 Arora 决定 Netflix 批量作业迁移选择了 Apache Flink 的流式操作。

第四,阿里在获得 Flink 商业所有权后,需要更为清晰且落地的 Flink 商业规划。在这方面,Apex 似乎是个很好的例子。DataTorrent 将其 RTS 平台的核心处理引擎在两年前开放给 Apache,当时其已经可以利用 YARN 实现按需规模伸缩且通过 HDFS 实现容错能力。那是的 Flink 依旧显得稚嫩呢。不过在随后的发展中,DataTorrent 表越来越激进,诸如 DataTorrent 首席执行官 Guy Churchward 宣布 DataTorrent 标记的主要新功能包括通过与 Druid 集成扩展支持 SQL 和分析,通过 Python 和 PMML 实现更多机器学习和 AI 功能,通过与 Drools 集成支持复杂事件处理规则,以及存储和重放以记录和重放来自一个时间点等诸多功能,从平台方向到应用软件的创新让 DataTorrent 的发展陷入一种混乱。在 2018 年 2 月,在 Guy Churchward 宣布其将提供流媒体数据应用程序来实现颠覆性技术和颠覆性商业模式的 90 天后,DataTorrent 破产了。显然,由于流式计算和批处理在当下依然有着较为明确的作用场景,阿里极力致力于批流一体化的实现还需要有明确的场景支撑才会更有说服力。

第五,作为阿里云最为有利的两个竞争对手,Amazon 或是微软早已经实现托管的高速实时流分析服务,显然阿里云的流式计算堆栈 Flink 还需进一步完善。例如 Amazon Kinesis 可以从前端的应用服务器(例如 Web 服务器)或者移动的客户端(手机等移动设备或者 IoT 设备)直接注入流式数据,数据可以通过 EMR 进行流式处理和计算(例如基于 Spark Stream 的 EMR 计算框架),并将数据存储于 Amazon DynamoDB 或者对象存储 S3 之上。

(编辑:PHP编程网 - 金华站长网)

【声明】本站内容均来自网络,其相关言论仅代表作者个人观点,不代表本站立场。若无意侵犯到您的权利,请及时与联系站长删除相关内容!