FlinkForwardAsia2022将于11月26-27日在线上举办,议程内容正式上线!
流批一体专场由来自快手、京东、数禾、Shopee、蚂蚁集团等企业的技术专家为你呈现流批一体的大规模应用实践案例,详细拆解落地难点和应对方案。另有来自阿里巴巴的技术专家手把手教你如何基于HiveSQLonFlink构建流批一体引擎。
张静|快手技术专家,ApacheFlink/CalciteCommitter
马年圣|蚂蚁集团数据技术专家,实时数仓架构师
王鑫|蚂蚁集团高级技术专家,ApacheStormPMC,ApacheRocketMQCommitter,ApacheIoTDBCommitter
蚂蚁实时研发体系经过一年多的升级,已经形成了基于元表资产+Flink引擎的实时研发模式,并在此基础上构建了实时的资产消费和保障体系。再往前一步,我们探索并落地了蚂蚁的低代码研发和流批一体研发能力,来降低实时研发门槛并提效实时开发。本次FFA期望能够向大家介绍这两种能力的构建背景(业务/技术)、构建思路、核心能力和应用场景案例,来详细分析这两个能力构建的细节。
杨涵冰|上海数禾信息科技有限公司,大数据架构师
在如今互联网金融服务场景中,特征、模型、决策的实时性变得越来越重要,各场景对于实时化的需求也越来越多。
在对各场景的实时化实践中,我们遇到了一些共有的问题:离线、实时数据口径不一致;离线、实时逻辑不一致;批量、点查等查询场景多样;实时流特有概念较难理解,开发门槛较高;实时流回溯测试困难等问题。
祝海峰|阿里巴巴高级技术专家
罗宇侠|阿里云开发工程师
方盛凯|阿里云开发工程师
在Flink1.16中,社区通过加强对HiveDialect的支持以及引进了SQLGateway进一步提升了Flink对于Hive兼容性,帮助用户方便地将已有的Hive批作业迁移到Flink上以构建流批一体的计算引擎。在大部份的场景下,用户只需要将提交作业的地址更改为FlinkSQLGateway就可以将原本的Hive作业改为通过Flink来执行,做到了无缝切换。同时用户既可以使用HiveSQL也可以使用FlinkSQL的语法写流式任务。
在本篇演讲过程之中,将介绍以下内容:
李明昆|Shopee高级研发工程师,FlinkRemoteShuffleContributor
Shopee各个业务线对Flink流批一体有很多需求,目前Flink流批一体已经具有支持大规模生产的能力,可以给数据开发的带来极大价值。
Shopee的Flink团队大力发掘流批一体的价值,这次演讲将对这些落地实践做详细介绍。
周凯波|阿里云高级技术专家,ApacheFlinkContributor
李志刚|蚂蚁集团高级技术专家,蚂蚁集团流计算平台负责人
介绍Flink在蚂蚁的实践情况,主要包含Flinkonk8s,onk8s集群模式,热启动,自动化调优,流控,流批一体等技术
李恒|爱奇艺资深研发工程师
贾承昆|知乎大数据架构负责人
亓文凯|开源DinkyMaintainer
王世涛|货拉拉大数据实时研发平台负责人
董剑辉|美团数据系统研发工程师
张彬|美团数据系统研发工程师
穆纯进|联通数科实时计算团队负责人,ApacheStreamParkCommitter
周超|小米软件开发工程师
王华杰|ApacheStreamParkPPMC,社区发起人
ApacheStreamPark(Incubating)于2022年9月1号正式通过投票成为Apache软件基金会的孵化项目,初衷是让流处理更简单,StreamPark规范了项目的配置,定义了最佳的编程方式,提供了一系列开箱即用的Connectors和一套快速开发的脚手架,使用StreamPark开发,可以极大降低学习成本和开发门槛,让开发者只用关心最核心的业务。
另一方面,在实时作业开发部署管理方面,没有针对Flink作业的专业管理平台,这是企业在实践中会遇到的一道坎。StreamPark提供专业的作业开发管理平台,包括但不限于作业开发、调试、交互查询、部署、操作、运维、实时数仓&流式数仓等,是一个完整的解决方案,这次演讲将对这些落地实践做详细介绍。
AI特征工程专场将由来自腾讯、字节跳动、阿里巴巴的技术专家带来基于Flink的实时特征工程平台建设思路与落地实践。
林东|ApacheKafkaCommitter和PMC成员
本次演讲中,我们将介绍FeatHub,一个由阿里云自研并开源的实时特征平台。我们将介绍FeatHub的架构设计,已经完成的工作,以及近期的发展计划。
李天旺|腾讯专家级工程师
议题大纲如下:
张颖莹|阿里云计算平台算法专家
廖嘉逸|字节跳动推荐特征生产方向负责人
刘首维|字节跳动推荐架构工程师
字节跳动推荐架构在去年开始着手构建了流批一体的特征生产系统,基于Flink和强大的State能力功能实现了有状态的窗口统计类特征,并在ETL特征场景实现了FlinkStreaming&Batch的流批一体。随着业务的逐步上量和场景的不断丰富,系统又在易用性、性能、机器学习生态支持上,出现了新的问题和挑战。我们在特征系统推广的过程中遇到了算法工程师调优实时特征的成本过高、生产链路无法和特征回溯打通、长周期的实时特征无法初始化、特征类型支持不足等问题。通过对流批一体架构的多次迭代,我们在计算层面引入了跨作业的流批一体Planner、状态Bootstrap等能力,帮助特征生产系统的生态更上了一个台阶。
以上为FlinkForwardAsia2022流批一体&平台建设&AI特征工程专场内容节选,了解更多大会详情可点击下方链接: