1.理论与实践相结合、案例分析与实验穿插进行;
2.专家精彩内容解析、学员专题讨论、分组研究;
3.通过全面知识理解、专题技能掌握和安全实践增强的授课方式。
1.整体掌握大模型理论知识;
2.了解自注意力机制、Transformer模型、BERT模型;
3.掌握GPT1、GPT2、GPT3、chatGPT原理与实战;
4.了解LLM应用程序技术栈和提示词工程PromptEnginerring;
5.了解国产大模型ChatGLM;
6.了解Sora大模型技术优势;
7.掌握语言理解与字幕生成及其应用;
8.掌握图像生成和应用实操;
9.了解应用场景与潜力分析;
10.了解大模型企业商用项目实战。
培训主题
培训大纲
第一天
预备知识第一节:大模型理论知识
1、初探大模型:起源与发展
2、GPT模型家族:从始至今
3、大模型_GPT_ChatGPT的对比介绍
4、大模型实战-大模型2种学习路线的讲解
5、大模型最核心的三项技术:模型、微调和开发框架
6、0penAlGPT系列在线大模型技术生态
7、0penAl文本模型A、B、C、D四大模型引擎简介
8、0penAl语音模型Whisper与图像型DALL·E模型介绍
9、最强Embedding大模型text-embedding-ada模型介绍
10、全球开源大模型性能评估榜单
11、中文大模型生态介绍与GLM130B模型介绍
12、ChatGLM模型介绍与部署门槛
13、ChatGLM开源生态:微调、多模态,WebUI等项目简介
预备知识第二节:自注意力机制、Transformer模型、BERT模型
RNN-LSTM-GRU等基本概念
编码器、解码器
自注意力机制详解
Transformer
MaskMulti-HeadAttention
位置编码
特定于任务的输入转换
无监督预训练、有监督Fine-tuning
BERT思路的理解
BERT模型下游任务的网络层设计
BERT的训练
HuggingFace中BERT模型的推断
基于上下文的学习
代码和案例实践:
基本问答系统的代码实现
深入阅读理解的代码实现
第一节:
GPT1、GPT2、GPT3、chatGPT原理与实战
监督微调(SFT)模型、
指示学习和提示学习
简单提示、小样本提示、基于用户的提示
指令微调
RLLHF技术详解(从人类的反馈中学习)
聚合问答数据训练奖励模型(RM)
强化学习微调、PPO、
InstructGPT遵循用户意图使用强化学习方案
InstructLearningvs.PromptLearning
ChatGPT增加增加了Chat属性
AI系统的新范式
GPT1-GPT2-GPT3-InstructGPT的-chatGPT的技术关系
使用chatGPT打造你的私人聊天助理
演示提示词技巧,翻译器润色器、JavaScript控制台、ExcelSheet
网站定制chatgpt-web
第二节:
Embedding模型实战
大模型技术浪潮下的Embedding技术定位
Embedding技术入门介绍
从Ono-hot到Embedding
Embedding文本衡量与相似度计算
OpenAlEmbedding模型与开源Embedding框架
两代OpenAlEmbedding模型介绍
text-embedding-ada-002模型调用方法详解
text-embedding-ada-002模型参数详解与优化策略
借助Embedding进行特征编码
Embedding结果的可视化展示与结果分析
【实战】借助Embedding特征编码完成有监督预测
【实战】借助Embedding进行推荐系统冷启动
【实战】借助Embedding进行零样本分类与文本搜索
Embedding模型结构微调优化
借助CNN进行Embedding结果优化
【企业级实战】海量文本的Embedding高效匹配
第三节:
LLM应用程序技术栈和提示词工程PromptEnginerring
设计模式:上下文学习
数据预处理/嵌入
提示构建/检索
提示执行/推理
Weaviate、Vespa和Qdrant等开源系统
Chroma和Faiss等本地向量管理库
pgvector等OLTP扩展
新兴的大语言(LLM)技术栈
数据预处理管道(datapreprocessingpipeline)
嵌入终端(embeddingsendpoint)+向量存储(vectorstore)
LLM终端(LLMendpoints)
LLM编程框架(LLMprogrammingframework)
LangChain的主要功能及模块
Prompts:这包括提示管理、提示优化和提示序列化。
LLMs:这包括所有LLMs的通用接口,以及常用的LLMs工具。
DocumentLoaders:这包括加载文档的标准接口,以及与各种文本数据源的集成。
Utils:语言模型在与其他知识或计算源的交互
PythonREPLs、嵌入、搜索引擎等
LangChain提供的常用工具
Indexes:语言模型结合自定义文本数据
Agents:动作执行、观测结果,
LangChain的代理标准接口、可供选择的代理、端到端代理示例
Chat:Chat模型处理消息
LLM大模型的使用
Prompts的设计和使用
第二天
第四节:LangChain的使用
构建垂直领域大模型的通用思路和方法
(1)大模型+知识库
(2)PEFT(参数高效的微调)
(3)全量微调
(4)从预训练开始定制
LangChain介绍
LangChain模块学习-LLMs和Prompts
LangChain之Chains模块
LangChain之Agents模块
LangChain之Callback模块
Embedding嵌入
自定义知识库
知识冲突的处理方式
向量化计算可采用的方式
文档加载器模块
向量数据库问答的设计
Lanchain竞品调研和分析
Dust.tt/Semantic-kernel/Fixie.ai/Cognosis/GPT-Index
LlamaIndex介绍
LlamaIndex索引
动手实现知识问答系统
动手实现知识问答机器人
LangChain文本摘要
PDF文本阅读问答
第五节:
国产大模型ChatGLM
新一代GLM-4模型入门介绍
智谱AlMass开放平台使用方法03GLM在线大模型生态介绍
CharGLM、CogView.Embedding模型介绍
GLM在线知识库使用及模型计费说明
GLM模型API一KEY获取与账户管理方法
GLM模型SDK调用与三种运行方法
GLM4调用函数全参数详解
GLM4Message消息格式与身份设置方法
GLM4tools外部工具调用方法
GLM4Functioncalling函数封装12GLM4接入在线知识库retrieval流程
GLM4接入互联网web_search方法
【实战】基于GLM4打造自动数据分析Agent
【实战】基于GLM4的自然语言编程实战
【实战】基于GLM4Functioncall的用户意图识别
【实战】基于GLM4的长文本读取与优化
第六节:
Sora大模型技术优势
什么是Sora
Sora视频生成能力
Sora技术独特之处
统一的视觉数据表示
视频压缩网络
扩散型变换器模型
视频压缩与潜在空间
第七节:
语言理解与字幕生成及其应用
使用图像和视频作为提示词
动画DALL·E图像
扩展生成的视频
视频到视频编辑
连接视频
字幕生成
重字幕技术
GPT技术应用
第三天
第八节:
图像生成和应用实操
新兴的仿真功能
长期连续性和物体持久性
角色和物体的一致性
视频内容的连贯性
与世界互动
简单影响行为模拟
模拟数字世界
第九节:
应用场景与潜力分析
电影与娱乐产业
游戏开发
教育与培训
科学研究与模拟
生成数据
毕业生职位分类案例研究
提示函数
FunctionCalling
提示工程在模型上的应用
AI聊天社交应用
CallAnnie
NewBing
迅捷AI写作
ChibiAI
AI办公智能助手
GrammaAI
AI艺术领域创作
第十节:
大模型企业商用项目实战讲解
使用大模型实现推荐系统(商用案例)
使用大模型实现汽车在线销售系统
企业自然语言sql生成(企业内部系统使用)
邹老师长春工业大学人工智能研究院院长,工程学术带头人、华东建筑设计研究总院研究员、山东交通学院客座教授、南昌航空大学硕士生导师、中国软件行业协会专家委员、上海市计划生育科学研究所特聘专家、天津大学创业导师、中华中医药学会会员、中国医药教育协会老年运动与健康分会学术委员;领导睿客邦与全国二十多所高校、国企建立了AI联合实验室,完成50多个深度学习实践项目,广泛应用于医疗、交通、农业、气象、银行、电信等多个领域。
带队完成了数十个AI项目,内容不仅包括深度学习、机器学习、数据挖掘等具体技术要点,也包括AI的整体发展、现状、应用、商业价值、未来方向等,涵盖内容非常丰富。
张老师Javaweb,资深架构师,Langchain开发者
精通大型分布式互联网应用架构设计与技术开发。对于大规模分布式架构、微服务架构、云计算与容器化技术、开发与运维一体化、应用系统安全与和架构设计、海量数量处理、大数据等方向特别有研究,尤其是偏后端的对于高并发系统上有丰富的架构和实施经验。擅长Java方向、软件架构、微服务、软件工程和研发团队管理,目前在为某上市集团公司做大数据架构师,该公司主要为国家和国外提供安全上服务。
主导公司AI大模型开发项目,利用AI实现公司智能SQL项目,利用AI开发推进系统和销售管理系统。
工作经历
11年IT开发经验,5年IT架构与管理经验。
培训费:6800元/人(含培训费、平台费、资料费及直播视频回放一年等费用)。
参加培训并通过考试学员,由工业和信息化部教育与考试中心统一颁发《AI大模型全栈工程师》工业和信息化职业能力证书,证书可作为专业技术人员职业能力考核的证明,以及专业技术人员岗位聘用、任职、定级和晋升职务的重要依据。