应届大学毕业生，工资待遇不理想，想要突破转行，或对数据开发和数据分析感兴趣的人员。
Python+大数据开发基础班课程大纲
技术要点
01_数据分析行业技能及课程介绍02_Excel简介和基本使用03_Excel数据处理和计算04_Excel图表05_Excel透视表06_Excel分析项目
01_数据库概念和作用02_MySQL数据类型03_数据完整性和约束04_数据库/表基本操作命令05_表数据操作命令06_Where子句07_分组聚合08_链接查询09_外键的使用10_SQL数据分析实战
01_数据图表基础02_故事和仪表板初探03_数据分析报告04_Tableau电商项目
本课程适合于：应届大学毕业生，工资待遇不理想，想要突破转行，或对数据开发和数据分析感兴趣的人员
Python+大数据开发就业班课程大纲
所处阶段
01_变量02_标识符和关键字03_输入和输出04_数据类型转换05_PEP8编码规范06_比较/关系运算符07_if语句语法格式08_三目运算符09_while语句语法格式10_while循环嵌套11_break和continue12_while循环案例13_for循环
01_字符串定义语法格式02_字符串遍历(while)03_下标和切片04_字符串常见操作05_列表语法格式06_列表的遍历(for)07_列表常见操作08_列表嵌套09_列表推导式10_元组语法格式11_单元素元组12_元组操作13_字典语法格式14_字典常见操作15_字典的遍历
01_函数概念和作用、函数定义、调用02_不定长参数函数03_函数的返回值04_函数的说明文档05_函数的嵌套调用06_可变和不可变类型07_局部变量08_全局变量09_组包和拆包、引用
01_面向对象介绍02_类的定义和对象的创建03_添加和获取对象属性04_self参数05_init方法06_私有方法和私有属性07_继承08_子类方法重写09_类属性和实例属性10_类方法、实例方法、静态方法
01_异常概念02_异常捕获03_自定义异常
01_模块介绍02_模块的导入03_包的概念04_包的导入05_模块中的__all__06_模块中__name__的作用
01_IP地址的介绍02_端口和端口号的介绍03_TCP的介绍04_socket的介绍05_TCP网络应用的开发流程06_基于TCP通信程序开发
01_多任务介绍02_进程的使用03_线程的使用04_线程同步与互斥锁、死锁介绍
01_闭包02_装饰器03_深浅拷贝04_正则
1.miniweb
01_视图的概念与使用02_Mysql窗口函数03_Mysql变量04_Mysql实战项目
01_Pandas数据组合_concat连接02_Pandas数据组合_merge数据03_Pandas数据组合_join04_缺失值处理介绍05_缺失值处理_缺失值数量统计06_缺失值处理_缺失值可视化07_缺失值处理_删除缺失值08_缺失值处理_填充缺失值09_melt整理数据10_stack整理数据11_wide_to_long整理数据12_unstack和小结13_Pandas数据类型简介14_数据类型转换15_分类数据category16_Series和DataFrame的apply方法17_apply使用案例18_向量化函数和lambda表达式
01_Python数据可视化介绍02_matplotlib绘图03_matplotlib绘制统计图04_Pandas绘图_柱状图05_Pandas绘图_折线图直方图饼图06_Pandas双变量可视化07_Seaborn绘图简介&单变量可视化08_Seaborn双变量可视化09_Seaborn多变量可视化和样式10_pyechars案例
01_AppStore项目_数据处理02_AppStore项目_单变量分析03_AppStore项目_可视化和结论04_AppStore项目_可视化和结论代码实现05_优衣库项目_案例介绍及简单数据探索06_优衣库项目_业务问题解读07_优衣库案例_代码实现08_RFM概念介绍09_RFM项目_数据加载和数据处理10_RFM项目_RFM计算11_RFM项目_RFM可视化12_RFM项目_业务解读和小结
01_人工智能概述02_机器学习开发流程和用到的数据介绍03_特征工程介绍和小结04_机器学习算法分类05_机器学习模型评估06_数据分析与机器学习
01_线性回归简介02_线性回归API使用初步03_导数回顾04_线性回归的损失函数和优化方法05_梯度下降推导06_波士顿房价预测案例07_欠拟合和过拟合08_模型的保存和加载09_线性回归应用-回归分析
01_逻辑回归简介02_逻辑回归API应用案例03_分类算法评价方法04_逻辑回归应用_分类分析
01_聚类算法的概念02_聚类算法API的使用03_聚类算法实现原理04_聚类算法的评估05_聚类算法案例
01_决策树算法简介02_决策树分类原理03_特征工程-特征提取04_决策树算法api05_决策树案例
01集成学习算法简介02Bagging和随机森林03随机森林案例04Boosting介绍05GBDT介绍
01_常用指标计算02_数据推断03_基于Kmeans的用户分群04_LTV用户生命周期05_购物篮分析06_用户标签
01_用户行为分析02_用户价值分析03_用户复购分析04_库存分析05_销售预测06_AB测试
01_互联网金融风控体系介绍02_风控建模流程概述03_风控建模流程_项目准备04_风控建模流程_特征工程05_风控建模流程_模型构建06_风控建模流程_上线运营07_业务规则挖掘案例
01_建模流程_实验设计02_建模流程_样本设计03_建模流程_模型训练与评估04_评分映射05_逻辑回归评分卡06_lightGBM特征筛选07_输出模型报告08_评分映射09_集成学习评分卡_xgboost10_集成学习评分卡_lightGBM11集成学习评分卡模型创建13_建模流程梳理
01_变量02_表达式03_常见符号04_流程控制
1.Java语言概述2.Java开发环境搭建3.IDEA的安装和配置4.HelloWorld案例5.注释，关键字，常量，变量，数据类型转换.6.for循环.while循环，循环嵌套，控制跳转语句，break和continue7.数组的概述和创建，数组的常见操作.8.方法的概述和定义，方法重载，方法形参类型，方法练习
1.面向对象介绍2.类和对象讲解3.对象的内存图4.成员变量和局部变量的区别5.private关键字，封装，this关键字，构造方法，继承，super关键字6.方法重写，多态，final，.static，抽象类，接口，包（package）
1.API解释2.Object类讲解3.String类讲，StringBuilder类讲解，冒泡排序4.Arrays工具类包装类5.自动拆装箱,Date类讲解6.SimpleDateFormat类讲解
1.Lambda表达式2.集合类,Collection,ArrayList3.列表迭代器,增强for,数据结构4.Set集合之HashSet,Map集合之HashMap5.File类,字节流,序列化流,字符流
1.大数据的特点2.分布式存储概念3.分布式计算的概念4.服务器种类介绍、机架、交换机5.网络拓扑、Raid、IDC数据中心6.Linuxshell编程、awk、sed、cut、ssh、scp、expect、yum、nestat、top、iostat等高级命令使用
1.Zookeeper的应用场景2.架构和原理3.存储模型4.选举机制5.客户端操作
1.HDFS设计的特点2.Master-Slave架构3.Block块存储、RF拷贝因子、机架感知4.Block拷贝策略、读写流程5.HDFSFederation、HDFSSnapshots、NameNodeHA架构和原理6.HDFS管理员常用操作、HDFS权限控制
1.MapReduce架构和原理2.Split机制3.MapReduce并行度4.Combiner机制5.Partition机制、自定义Partition6.MapReduce序列化、自定义排序、数据压缩
1.Yarn原理和架构2.Yarn高可用3.Container资源的封装（CPU、内存和IO）4.资源调度策略（FIFO、Fair和Capacity）
1.HQL操作2.数据类型3.分区、分桶、临时表4.explain执行计划详解
1.Hive原理和架构2.MetaStore服务3.HiveServer内置函数4.自定义UDF和UDAF5.数据压缩、存储格式、自动化脚本、常见性能优化
1.Hive滴滴出行案例实战
1.Hive亚马逊电商案例实战
1.大数据部署运维：ClouderaManager2.分析决策需求：数据仓库3.数据采集：sqoop4.数据分析：hive5.历史数据快照：拉链表6.数据更新后的统计分析：拉链表7.数据调度：oozie+shell8.OLAP系统存储：mysql9：数据展现：帆软BI
1.掌握离线数仓的分层与建模，从需求、设计、研发、测试到落地上线的完整项目流程2.大量教育大数据的真实业务逻辑，共涉及20多个主题，100多个指标，提升学员在教育行业中的核心竞争力3.包括海量数据场景下如何优化配置4.拉链表的具体应用5.新增数据和更新数据的抽取和分析6.hive函数的具体应用7.ClouderaManager可视化、自动部署和配置、Git、CodeReview功能
1.Redis原理及架构2.RedisCluster原理及架构3.Redis常用操作
1.HBase原理及架构2.预分区、LSM结构3.BloomFilter,co-processor,结合Phoneix进行优化查询
1.Kafka原理及架构分析2.分布式实时计算架构和思想
1.陌陌社交场景实战2.社交大数据架构剖析3.数据采集4.数据ETL5.数据分析
1.Scala函数式编程基础2.集合、Iterator、构造器、伴生对象、Akka编程3.Scala语言重点API编程
1.Spark架构和原理（运行机制、Driver和Executor、spark任务提交流程）2.RDD开发和原理（Partition、Task、RDD的依赖关系、RDD的容错机制、RDD的存储级别、RDD的缓存机制）广播变量3.DAG原理（DAG思想、DAG的生成、DAG的处理过程）
1.SparkSQL架构和原理2.DataFrame、DataSetDSL和SQL开发3.Spark多数据源整合（txt、CSV、Json、parquet、JDBC、Hive）4.SparkSQL执行计划原理5.SparkSQL性能调优
1.StructuredStreaming开发（input、output、window、watermark、过期数据操作、去重等）2.StructuredStreaming多数据源整合（socket、Kafka）3.Flume+kafka+StructuredStreaming案例实战
1.教育大数据场景案例实战
1.基于HDP快速搭建大数据平台2.基于Hive+SparkSQL搭建离线数据仓库3.基于StructuredStreaming构建高吞吐实时处理4.基于ECharts实现可视化
1.使用主流的Hive+Spark构建离线数仓2.使用StructureStreaming构建实时异常告警系统3.基于完整的工业业务背景实现的离线和实时大数据业务丰富地地图展示可视化开发4.学会使用SparkSQL处理复杂业务完整的离线采集+实时采集方案5.掌握如何使用调度平台调度T+1批处理任务Spark离线任务和实时任务整合，统一由YARN做资源管理
1.面试题必备SQL实战2.SQL优化加强
1.Hive基础2.Hive拉链表3.Hive数据仓库构建示例4.Hive面试题
1.Spark基础2.Spark拉链表3.Spark数据仓库构建示例4.Spark面试题
1.Kafka基础2.Hbase基础3.Kafka&Hbase面试题
1.数据分析流程2.大数据架构剖析3.多行业大数据架构设计4.大数据存储，调度等解决方案
1.Flink基础
1.FlinkDataStream的使用、2.Kafka+Flink
1.FlinkSQL开发2.Hive+FlinkSQL
1.Watermark2.Checkpoint3.任务调度与负载均衡4.状态管理
1.Flink性能监控2.Flink调优3.FlinkSQL执行计划
1.Flume+Kafka+Flink+Hbase+Sqoop+Canal+MySQL实战
1.离线数据分析：flinkbatch、hive2.实时在线分析：flink、hbase3.消息队列：kafka4.驾驶行程分析：flink、hbase5.实时在线故障分析:mongodb6.车型指标分析：hive、shell7.实时指标查询：phoenix8.后台数据服务接口：springboot、swagger-ui、echarts9.多数据源加载:flinkjdbc10.车辆告警规则分析：flink、zeppelin11.离线任务调度：azkaban12.报表：superset13.页面展示：echarts、javascript
1.海量数据处理，系统15分钟内收集的新能源车辆的数据超过千万条2.基于Hive、HBase、HDFS数据存储3.基于Kafka数据传输4.基于Flink全栈数据处理5.基于Nginx做反向代理、LSV和Keepalived负载均衡和高可用
备注：该课程大纲仅供参考，实际课程内容可能在授课过程中发生更新或变化，具体授课内容最终以各班级课表为准。