尚硅谷与腾讯云、Apache等技术企业深度合作打造AI时代的新型大数据课程
学企业真实项目真流程掌握让AI落地的真本领
依托国内电商巨头的实际业务场景,引入海量的真实点击数据和业务数据,紧跟大数据主流技术需求,配备AI辅助开发技巧详解,拥有丰富的数据仓库功能模块。
参考众多大厂的实时数仓项目的经典架构研发推出,采用当前主流的实时数据流处理框架Flink作为主要计算引擎,涉及多种实时计算关键技术,新增AI辅助开发技巧的讲解,全面满足企业对实时开发的要求。
基于在线教育行业的实际业务场景,引入海量的真实点击数据和业务数据,紧跟大数据的主流技术需求,穿插AI辅助开发技巧讲解,搭建了一整套完整的离线数据仓库和实时数据仓库。
涵盖了大数据的数仓建模理论、数据处理技术手段和大数据平台搭建方法,依托真实在线听书行业的实际业务场景,展示全面的离线与实时的指标体系,配备AI辅助开发技巧详解。
站在汽车物联网数据仓库的技术前列,依托真实汽车传感器数据,展示完整的离线指标体系,搭建功能完善的离线数据仓库,熟练应用大数据技术框架。
依托真实的金融审批行业的海量业务数据,构建离线数据仓库,依据数仓建模理论完成数据的存储、分析与调取,分析实现整套金融审批指标体系,构建指标分析仪表盘。
依托真实的医疗问诊行业的海量业务数据,构建离线数据仓库,依据数仓建模理论完成数据的存储、分析与调取,分析实现整套医疗问诊指标体系,构建指标分析仪表盘。
依托物流行业的真实业务场景,基于目前各大互联网企业对于腾讯云EMR架构体系的需求,将整个电商的数据仓库体系搭建在腾讯云架构上。课程中穿插对AI辅助开发技巧详细讲解,令AI真正赋能大数据开发。
依托国内电商巨头的真实业务场景,基于目前各大互联网企业对于阿里云架构体系的需求,将整个电商的数据仓库体系搭建在阿里云架构上,做到全项目全流程上云。
该项目是一个完整可落地的湖仓一体项目,依托真实电商行业的海量数据集,充分利用Hudi,将数据湖概念与数仓建模理论融汇贯通,将Hudi与其他主要大数据框架充分集成。
一站式搞定数据治理、血缘管理、元数据管理、数据质量监控、批处理和实时处理的可视化调度、可视化即席查询、可视化数据采集配置。
着眼于用数字化的标签描述用户个性特征、勾画目标用户,实现了从标签定义、标签任务处理、任务调度、任务监控、用户分区、用户洞察的全功能平台化管理。
依托于真实的中文亚马逊电商数据集,以及真实的电商企业业务数据体系,构建了符合教学体系的一体化电商推荐系统,充分理解推荐系统的运作流程,拓宽技术视野。
依托企业级真实的实时数据分析环境,对目前互联网大厂中常见的实时分析场景提出了一套基于SparkStreaming的全面实用的技术解决方案,丰富实时技术栈。
依托真实的彩票行业的海量业务数据,构建离线数据仓库,依据数仓建模理论完成数据的存储、分析与调取,分析实现整套彩票指标体系,构建指标分析仪表盘。
依托真实的保险行业的海量业务数据,构建离线数据仓库,依据数仓建模理论完成数据的存储、分析与调取,分析实现整套保险指标体系,构建指标分析仪表盘。
该项目是一个完整可落地的流批一体项目,依托真实电商行业的海量数据集,充分利用Doris,将Doris概念与数仓建模理论融汇贯通,将Doris与其他主要大数据框架充分集成。
6大阶段塑造高效成才路线
本阶段除了JavaSE中要求大家必会的常见知识外,重点加强了数据结构思想、集合源码分析,逐步培养大家深入学习的能力,此外为大数据框架学习打好基础,加
强对SQL的讲解,重点培养学生数据处理思想。
本阶段以Hadoop生态系统为主,是大数据主要框架的入门阶段。根据课程的前后关联性,先后为Linux、Hadoop、Hive、Zookeeper、Flume、Kafka、电商数据采集项目。课程顺序经过精心调研安排,符合学习的基本认知规律。每个框架的
讲解都是从基础的安装部署和架构讲解入手,穿插经典实操案例,配以关键源码解读。阶段最后安排讲解数据仓库采集系统,对各种框架融会贯通,带领学员回顾所学框架的同时,迅速增长实际开发经验。
本阶段课程进入进阶阶段,主要讲解核心大数据框架Spark和HBase,对两大框架进行了深入讲解,包括两大框架的基本安装部署以及深入源码解读。此外,本阶段还包含三大项目——离线数据仓库项目、用户画像项目和项目实战。前两大项目均采用新架构体系,稳定的框架选型、经典的理论解读,手把手教你如何从0到1
搭建一个功能完善的大数据系统。内容涵盖大部分大数据经典流行框架、大部分经典需求实现,并配合企业级部署调优讲解,助力学员迅速增长开发经验,适配大部分企业的大数据开发需求。项目实战主要锻炼学生动手实战能力,根据前两个项目所学,自己独立按照企业需求完成开发任务。
本阶段课程以大数据处理框架Flink为中心,从架构讲起,详细讲解了各种层面API的使用,并对Flink的高级应用场景进行了案例化讲解,还配备了详细的源码解读和优化技巧。本阶段还围绕Flink讲解了大数据领域另一个十分重要的项目——Flink实时数据仓库项目。本项目与离线数仓项目可以无缝对接,两大项目共同组成一个完整的企业级大数据架构。课程中包含深入全面的数仓理论讲解、实用高效的实时问题解决方案。通过学习本项目,可以迅速掌握实时开发的重点难点,掌握多种实时难点问题解决方案,对实时领域框架的搭配应用融会贯通,提升开发和调
架技术,对如何利用AI辅助编写代码都有针对性讲解。在实战项目方面,对于不同的大数据项目,也细致讲解如何利用AI辅助项目开发、性能调优等。通过本阶段的学习,可以让学员充分掌握AI的使用,大大提高开发效率、提升经验、减少错误。
本阶段课程主要围绕学员的就业需求,在真正就业前,帮助学员多维度复习巩固所学知识和项目,串讲经典高频面试题,传授面试答题技巧,总结项目开发经验,手
把手简历指导,解决学员在就业过程中遇到的各种难题。通过AI辅助,重构优化简历,优化面试技巧,以及利用AI辅助学员自助面试,全面提升学员的综合能力。