通用数仓模型实践

个人介绍:专注大规模数据的分布式计算和传输领域,提供高效、可靠的全域数据集成解决方案;开源社区爱好者,BitSail开源项目负责人之一。

演讲题目:字节跳动数据集成引擎BitSail开源架构演进和实践

1.BitSail背景介绍

2.BitSail新功能介绍

3.BitSailCDC解决方案

4.未来展望

听众收益:

1.了解开源数据集成引擎功能特点

2.如何使用好一款开源数据集成引擎

余俊Aloudata大应科技技术副总裁

演讲题目:DataFabric在数据集成场景的实践

演讲提纲:

1.什么是DataFabric?DataFabric可以解决什么问题?

2.数据虚拟化落地实践

3.基于虚拟化技术的逻辑数据平台同传统解决方案的差异

1.了解DataFabric及数据虚拟化在实际场景的应用。

2.逻辑数仓的业务价值和技术挑战

刘波滴普科技FastData产品线DataFacts产品负责人

个人介绍:刘波,滴普科技FastData产品线DataFacts产品负责人,从事大数据开发10年+,在滴普科技负责30+个数据项目的架构设计与落地,先后主导了TOP级新零售企业的数据智能平台与互联网医疗企业的数据湖建设,目前负责一站式数据智能开发与治理平台的研发工作,聚焦湖仓一体和流批一体的架构设计及实践。

演讲题目:滴普科技数据集成产品FastDataDCT架构演进与实践

1.产品概述

2.功能介绍

3.技术架构演进

4.应用场景

5.成功案例(百丽、中石油)

1.了解DataFabric

2.通过FlinkCDC实现批流一体海量数据采集

3.数据集成产品的设计思路与实践

莫云卿腾讯高级大数据工程师

个人介绍:腾讯高级大数据工程师,腾讯云InLong奠基人,ApacheInLongPMC。

演讲主题:腾讯云Inlong实时集成应用与实践

1.数仓的复杂度

2.软件设计原则在数仓应用

3.数仓加工元模型

冯成林蚂蚁集团高级数据方案专家

个人介绍:近十年蚂蚁安全领域的工作经历,主要从事面向智能风控的数据建模、架构及产品方案的工作。

演讲题目:大宗产业风控领域的数据探索与实践

演讲提纲:基于大宗商品行业场景,从风控视角探索大数据的应用,重点介绍蚁盾安全科技服务大宗产业客户的落地实践。

1.大宗商品行业风控的特点

2.数字化在大宗传统产业的应用

3.行业的非标性对数据应用的挑战

宋志毅网易云音乐资深数据开发工程师

个人介绍:北京邮电大学本科、硕士毕业,加入网易云音乐7年,负责数据仓库内容生态数据体系建设,服务于toC和toB场景,同时负责数据仓库数据治理工作。

演讲题目:网易云音乐用户行为归因数据体系建设

1.用户行为归因面临的问题,主要介绍归因的业务背景,上一阶段的做法和存在的问题

2.归因数据体系建设当前的解决方案,主要包括埋点、模型、平台三个方面

3.未来的规划

1.归因分析主要从哪些方面来做?

2.如何做数据建设支持复杂多样的归因分析?

3.如何将归因的技术手段和业务知识结合?

4.归因实现如何做到高效、统一?

彭欢蚂蚁集团资深数据研发专家

个人介绍:14年大数据领域工作经验,先后在新浪、百度、蚂蚁任职。2014年加入蚂蚁集团,期间负责了金融线数据仓库和蚂蚁大数据治理体系的建设,最近3年重点围绕大数据的质量风险、成本治理、安全合规进行探索与实践。

演讲题目:蚂蚁集团EB级大数据治理架构与实践

演讲提纲:随着蚂蚁业务的快速发展,数据已经贯穿于每个业务场景,我们的大数据任务和服务也出现井喷式的增长,当前在蚂蚁大数据平台中,存储规模已经达到EB级、有数十万以上的数据调度任务、有3000+用户直接参与到数据开发过程中。在如此庞大且快速增长的数据规模下,加上蚂蚁金融业务对数据的强依赖和苛刻性要求,对蚂蚁数据治理体系的建设都带来非常大的挑战。

陈龙腾讯数据资产服务负责人

个人介绍:腾讯游戏大数据平台部数据资产负责人,2007年加入腾讯,负责腾讯游戏大数据实时离线数据资产建设和团队管理。目前专注于数据治理系统的建设和数据资产价值应用挖掘工作。

演讲题目:腾讯游戏数据治理最佳实践

1.腾讯游戏数据治理背景

2.资产化建设与应用

3.数据质量/成本/安全建设

4.未来方向探索

听众收益:介绍腾讯游戏数据治理平台建设思想和技术方案,阐述数据治理建设落地实践,给听众提供详细的实现和技术架构参考方案。

郭炜白鲸开源CEO,ApacheSoftwareFoundation

个人介绍:郭炜先生毕业于北京大学,现任中国通信学会开源技术委员会委员,中国软件行业协会智能应用服务分会副主任委员,全球中小企业创业联合会副会长,TGO鲲鹏会北京分会会长,ApacheConAsiaDataOps论坛主席,波兰DataOps峰会、北美BigDataDay演讲嘉宾,虎啸十年杰出数字技术人物,中国开源社区最佳33人,中国2021年开源杰出人物。郭炜先生曾任易观CTO,联想研究院大数据总监,万达电商数据部总经理,先后在中金、IBM、Teradata任大数据方重要职位,对大数据前沿研究做出卓越贡献。同时郭先生参与多个技术社区工作,Presto,Alluxio,Hbase等,是国内开源社区领军人物。

演讲题目:大模型时代下的DataOps&DataFabric

演讲提纲:大模型时代来临,对于DataOps领域产生了哪些影响?哪些Ops流程可以利用大模型来自动化解决?而大模型出现之后,又对DataOps和DataFabric产生了哪些影响?

1.DataOps如何提高大模型训练效率与质量

2.大模型促进DataFabric智能化落地

3.未来企业大模型+大数据架构与研发模式

1.大模型时代来临,对于DataOps领域产生了哪些影响?

2.哪些Ops流程可以利用大模型来自动化解决?而大模型出现之后,DataFabric是否可以从概念落地。

李成强阿里巴巴技术服务专家

个人介绍:13年数据平台实施经验,先后就职于Teradata、阿里巴巴,以架构师角色支持过零售企业、电信行业、金融企业、烟草行业等企业数据平台架构设计和系统建设,专注于架构设计、数据中台实施、阿里云产品解决方案建设。

演讲题目:阿里云DataOps数据运营中心实践

演讲提纲:通过阿里云数据运营中心的。

1.数据运营中心如何建设

2.如何盘活数据体现价值

3.阿里云云上用数解决方案

1.监管的四道风控防线

2.各保司风控关键举措

3.保司经营风险监控体系

4.新能源车风控定价模型

梁臣京东零售数据产品架构师

个人介绍:京东零售数据产品专家,先后供职于多家世界500强企业,多次主持及参与数据产品平台项目建设,在零售、金融两大领域具有丰富的数据实践经验。2020年加入京东,目前为京东零售数据可视化平台产品负责人,聚焦数据可视化分析、数据中台、数仓模型等方向,此前曾负责京东零售数据中台商业化赋能输出,成功落地多个海内外大型数据中台商业化项目。

演讲题目:京东零售数据可视化平台产品实践与思考

1.京东数据可视化平台产品能力介绍

3.数据可视化平台的挑战与展望

1.理解数据可视化平台:听众将对京东的数据可视化平台有深入的理解,包括平台的核心功能等;

2.学习平台实践经验:听众将了解如何建设数据可视化平台,以及数据可视化平台如何向业务赋能;

3.思考数据可视化平台发展:听众将对数据可视化平台的挑战、发展趋势和创新有深入的理解和思考。

陈鑫伟火山引擎DataWind技术专家

个人介绍:火山引擎智能数据洞察DataWind研发架构师,曾就职于IBM、阿里云等企业,一直从事大数据分析、数据湖等产品研发。

演讲题目:火山引擎DataWind智能化探索与实践

演讲提纲:企业级自助式BI已经逐步成为企业数据分析的标配,抖音集团作为数据驱动型企业,在内部充分践行数据民主化的理念,超过80%的员工在日常工作中能够访问和分析数据,以数据来指导决策和日常工作。大模型的崛起,给数据分析领域带来了重大变革契机。火山引擎DataWind,作为抖音集团内部统一的ABI分析平台,一直致力于通过AI能力来简化BI分析过程、强化分析能力。本次演讲,将重点介绍DataWind在智能化方面的探索与实践,主要包括以下内容:

1.火山引擎DataWind产品技术介绍

2.支持AI算子的数据建模

3.指标数据的异动检测与智能归因

4.结合LLM的数据探索与自助分析

1.了解企业级BI的通用能力及发展趋势

2.BI智能化的实践思路,包括AI建模、指标智能归因、智能数据问答等

3.了解抖音集团结合LLM在BI领域的探索应用

谭李数势科技联合创始人

个人介绍:数势科技联合创始人,服务了沃尔玛、永辉、宝洁、中金、平安等头部零售和金融企业的数智化建设,在指标体系设计、指标平台建设、数据价值化场景落地方面有丰富经验。曾任京东零售技术与数据中台总监,百度IDL高级经理。

THE END
1.四个“一体化”——构建数智融合时代下的一站式大数据平台一站式大数据平台,旨在通过一个平台即可满足各类业务需求,成为数智融合时代下数据基础设施的发展趋势,并从四个维度向四个“一体化”方向演进:数据架构-湖仓集一体化;数据处理-多模型一体化;数据分析-历史与实时数据一体化;资源管理-多集群应用、资源和数据一体化。 https://www.163.com/tech/article/J5OTS3BR00099BK0_pa11y.html
2.数据闭环研究:自动驾驶3.0阶段,做好端到端,赢取数据掌控权福瑞泰克具备软硬一体平台化开发和量产交付能力,已打通了“规模数据获取-数据处理体系-自动化迭代”的数据闭环链路,其ODIN智能驾驶数智底座支持量产的大规模数据闭环系统,既包括福瑞泰克大规模量产数据基础,也有部署于国家超算中心算力平台,并全面形成了支持算法演进的完整数据闭环体系,可同步完成感知算法的迭代演进与规控https://www.dongchedi.com/article/7262526986319610420
3.国务院办公厅关于印发“互联网+政务服务”技术体系建设指南的通知充分利用国家数据共享交换平台和各地方已有的数据共享交换平台等信息基础设施资源,构建全国政务服务数据共享平台体系。 1.目录与交换体系 (1)目录体系 政务信息资源目录体系是为整合利用各类政务信息资源而建设的信息服务体系。根据业务需求,按照统一的信息资源目录体系标准,对相关政务服务信息资源进行编目,生成政务服务公共信https://www.cac.gov.cn/2017-01/13/c_1120300337_8.htm
4.AI增强型数据管理和分析平台赋能人工智能+物联网一直以来,Kyligence 与微软紧密合作,通过与微软不断深入地合作和技术探索,将 Kyligence AI 增强型数据分析平台构建在 Microsoft Azure 云平台上,结合微软行业领先的商业智能分析工具 Power BI、机器学习、物联网等数据应用,为客户提供端到端的云上智能大数据 OLAP 解决方案。 https://cn.kyligence.io/news/kyligence-on-microsoft-ai-iot-lab-open-day/
5.唯品会:在Flink容器化与平台化上的建设实践作者:王康,唯品会数据平台高级开发工程师 自2017 年起,为保障内部业务在平时和大促期间的平稳运行,唯品会就开始基于 Kubernetes 深入打造高性能、稳定、可靠、易用的实时计算平台,现在的平台支持 Flink、Spark、Storm 等主流框架。 本文将分为五个方面,分享唯品会 Flink 的容器化实践应用以及产品化经验: https://xie.infoq.cn/article/3727e40b362526efdee34d21c
6.62家央企数字化转型路线图打造数字平台,构建“安全可信、开放生态、智慧运营、敏捷高效”平台能力,快速响应业务需求; 收放结合,实现集团数据资产及IT资源的集中管控(收),应用及业务的快速创新(放)。 28 中国节能定调“2022科技创新年” 将2022年确定为集团公司的科技创新年,围绕集团产业链的科技创新来聚焦发力。 https://www.ciicmc.com/nciichr/zyzx96/ldy/zcjd64/871552/index.html
7.北医三院基于“互联网+”的人力资源信息系统应用与创新转型升级后,北医三院建设了全院共享的人事数据平台,成功完成了组织机构、岗位以及各类人员近百万条历史数据的完整迁移,并基于消息模式实现了与院级主数据集成平台的对接。 二、规范的业务应用,实现人事业务流程化、规范化管理 北医三院在系统建设和应用阶段,通过规范的业务应用来驱动数据的动态更新,保证信息的及时性、有https://www.douban.com/note/782334089/
8.什么是应用与数据集成平台应用与数据集成平台ROMAConnect企业在向数字化转型的过程中会面临诸多难题:缺少统一的设备信息集成途径;数据格式多样化,难以传输和集成;缺少与合作伙伴分享数据和后端服务的便捷途径;缺少云上云下跨网络的安全信息通道。ROMA Connect是一个全栈式的应用与数据集成平台,源自华为数字化转型集成实践,https://support.huaweicloud.com/productdesc-roma/what-is-ROMA.html
9.中台是什么——后篇(数据中台?财务中台?自建中台如何做?)据悉,小米数据中台的架构,底层是大数据平台,包括采集、存储、计算,在大数据的基础之上搭建了一系列的应用,如商业分析、数据探索、驾驶舱(管理决策参考)、企业结算、新零售图谱、天弓(类似业务系统)。 有专门的X DATA团队负责数据,在权限管控内,各部门分析人员可直接得到对应的数据并进行数据分析。小米想从业务端沉淀https://maimai.cn/article/detail?fid=1503683863&efid=HY-KeadUM7K482Y9G08eIQ
10.10分钟搭建你的第一个图像识别模型(附步骤代码)机器之心一、什么是图像分类以及它的应用案例 二、设置图像数据结构 三、分解模型建立过程 四、设置问题定义并认识数据 五、建立图像分类模型的步骤 六、开始其他挑战 一、什么是图像分类以及它的应用案例 观察以下图片: 你应该可以马上就认出它——是一俩豪华车。退一步来分析一下你是如何得到这个结论的——你被展示了一https://www.jiqizhixin.com/articles/2019-02-20-9
11.从技术和业务视角,认识数据平台人人都是产品经理本文主要面向读者为互联网行业相关从业人员,期望对企业数据平台有所了解的人群;因篇幅有限,文中所述的主题及相关概念点到为止。 一、什么是数据平台? 数据平台字面的意思是“数据+平台”: 数据:源于业务又作用于业务; 平台:基于数据也服务于数据。 整体看数据平台是由「数据流程」和「业务流程」两大运转主体共同构https://www.woshipm.com/data-analysis/1391920.html
12.虚拟主机是什么虚拟主机详细介绍中小企业、专业门户网站可以使用虚拟主机空间提供数据共享、数据下载服务。对于大型企业来说,可以作为部门级应用平台。 数据库存储平台 可以为中小企业提供数据存储数据功能。由于成本比独立服务器低,安全性高做为小型数据库首选。 选择提供商的注意事项 稳定和速度 https://m.elecfans.com/article/618777.html
13.湾区评论以数相融:深港跨境数据验证平台助力粤港澳大湾区一体化融该平台的建立,不仅是对现有跨境数据交换模式的重大创新,更是响应了国家关于数据跨境流动与合作新途径、新模式的探索需求。 一、什么是“深港跨境数据验证平台”? “深港跨境数据验证平台”本质上是一个创新的数字化基础设施,其功能在于促进深圳与香港之间的数据安全、便捷地跨境验证和流通。通过对区块链技术的创新应用,https://www.thepaper.cn/newsDetail_forward_27309317