思必驰联合创始人兼首席科学家俞凯:ChatGPT是继AlphaGo之后最大的里程碑进步财专访证券要闻股票

(原标题:思必驰联合创始人兼首席科学家俞凯:ChatGPT是继AlphaGo之后最大的里程碑进步|财专访)

本期访谈人物:

思必驰联合创始人兼首席科学家俞凯

“GPT是人工智能发展的一个集中式突破,包括对话智能技术、深度学习大模型技术、工程化能力以及大数据的整体突破。”

▍个人介绍

思必驰联合创始人兼首席科学家、上海交通大学教授。

清华大学本科、硕士,剑桥大学博士。

入选国家级重大人才工程,上海市“东方学者”特聘教授。

IEEESpeechandLanguageProcessingTechnicalCommittee委员(2017-2019),中国计算机学会语音对话及听觉专委会副主任,中国人工智能产业发展联盟学术和知识产权组组长。世界顶尖科学家论坛(WorldLaureatesForum)青年科学家委员会委员,全国信标委用户界面分委会委员。

发表200余篇国际论文,获得多个国际研究挑战赛冠军,担任InterSpeech、ICMI等国际会议程序委员会主席和ACL、NAACL、EMNLP等国际会议对话交互领域主席。

曾获中国人工智能学会吴文俊人工智能科学进步奖、中国计算机学会青竹奖、2016年《科学中国人》年度人物。

▍第一标签

引领人工智能领域发展的长期主义者

▍公司简介

Q:在类ChatGPT的对话机器人研发方面,公司目前有何进展?

俞凯:在技术的迭代发展上,ChatGPT本质就是一个统计类的深度学习对话通用大模型。

思必驰应该算是国内最早一批去进行统计类对话模型的产业化研究的公司之一,并且在任务型对话上也取得了很多很好的研究成绩和应用成绩。思必驰已有的语音和语义的通用基础模型,已经达到亿级参数。

在通用基础模型技术方面,目前思必驰使用千块GPU卡量级的超算资源,正在整合扩展资源,在已有算法研究和数据积累的基础上,将亿级参数模型扩展到百亿以上量级。

Q:在类ChatGPT的对话机器人研发方面,公司未来有何计划?

俞凯:现在的ChatGPT还是以文本机器人的形式来出现,我相信这只是一个开始,未来一定会往语音对话机器人去进阶,会逐渐强化对语音和文本的深度融合。在听觉感知技术方面,思必驰能够实现高精度的语音转文字和高质量的声音播报效果;能够解决在人机交互过程中面临的远距离、复杂声场的多噪音干扰、多说话人判断;满足用户对方言、外语的识别及合成的需求。

在聊天机器人方向,融合语音、文本、图像信号的多模态交互技术也有很大机会。以当前新起的虚拟数字人为例,多模态、智能化的完整解决方案可以更好地应对不同场景的复杂变化,多模态交互成为行业发展的必然趋势。在多模态及交互技术方向,思必驰公司在业界率先发布了全双工对话架构,形成了独特的闭环人机对话系统构建的底层综合技术优势,与国际主流先进技术相比,取得声纹验证、语音分离等指标的显著提升。

Q:您怎么看此次ChatGPT火出圈?可能存在哪些原因?

俞凯:ChatGPT可以算是继AlphaGo之后最大的一个里程碑进步。AlphaGo解决的是确定规则情况下的搜索和处理,而GPT在无确定语法规则前提下,部分解决了自然语言交互的问题。我们并不能把GPT简单理解为某一个特定单点技术的突破,而是人工智能发展的一个集中式突破,包括其中的对话智能技术、深度学习大模型技术、工程化能力以及大数据的整体突破。

ChatGPT爆火还有个原因,即产业应用的需求对技术的召唤得到了回应。各种智能硬件发展到现在,功能上逐渐愈发同质化,体验上也很难做出自己的特色。ChatGPT的创作能力则满足了产业应用级的需求,打开了新的空间。

Q:据路透社记者统计,AI、生成式AI、机器学习等词出现在美国科技巨头最新季财报会议中的频率是上一季度的2-6倍。巨头纷纷发力生成式AI,您认为有哪些原因

其次,生成式AI有“创作性”的天然属性:即没有绝对的正确错误之分,甚至有些仁者见仁、智者见智的意味。决策性AI的结果一旦错误,很容易被诟病;而内容创作的多样性结果,则会被欣然接受。比如,现在的ChatGPT,在对一些事实性内容的结果是不太准确的,但大家仍然能够宽容接受,因为它的对话是流畅的、回复是有效的。

Q:您预判未来随着生成式AI能力的提升,将在哪些行业快速渗透

俞凯:短期来看,关于需要基于一定背景知识的创作型产业,以及一切刚需AIGC的场景、重视SOP(标准作业程序)的行业,能够快速突破。比如智能写作、文档管理、代码生成、流程管理、甚至游戏NPC等。

俞凯:中美的差距,其实是在工程化能力、基础架构设置方面,另外还有人员经验的问题、长期信念决心的问题。

ChatGPT的核心是大模型技术和对话智能技术,大模型是指通用基础模型,当参数足够大的时候,比如当有千亿级以上的大模型的时候,不再需要额外的采取数据对各个领域进一步训练。大模型的算法是通用的,而数据量在超过千亿级之后,对比也就不再那么明显。

底层基础的算法是公开的,并且国内外一流的研究机构都有非常不错的研究成果,在算法的迭代创新方面并不存在明显差距。当数据量足够大,微不足道的数据差距影响也没那么明显。

Q:您预判,中国何时能有产品对标ChatGPT

新技术出现的本质,是为了投入应用,而不是停留在技术指标层面的对比。我很期待中国的创业公司能够基于用户需求、产品情况,去探索出更多的类GPT应用,不管是在AI辅助、智慧办公、智能客服,还是在更大层面的产业应用上。

Q:近期围绕着ChatGPT成本、法律与伦理问题有诸多讨论,您认为生成式AI面临哪些主要挑战

俞凯:大模型的训练的确是很昂贵,所以从成本来说,目前只有巨头能负担起高昂的投入,但当大规模应用起来,从长远看,大模型技术反而能够降低机器学习的成本、提高应用效率。

伴随人工智能技术发展的,便一直是“AI有所为、有所不为”的讨论。技术本身是中性的,关键是运用技术的人,应该向善、不作恶。

人工智能,说到底还是人的智能。ChatGPT可以基于上下文理解的基础上,根据对话聊天来不断完善自我学习和进化,但是这种学习进化的机制,本质上也是由人类设计的。当然,为了保证AI的良序发展,我们的确需要去嵌入一些相应的限制手段和规则约束。

Q:近期Google对外指出了AI技术发展迅速而大公司行动缓慢的原因:需要将AI融入现有的产品与服务中,符合公司的业务战略才能展开,并不能如OpenAI这样只需要研发一款最佳模型就可以。对此您怎么看

俞凯:基础AI技术创新,必须最终走入产业,结合场景应用才会变得有价值。

作为新基建一环的AI技术,不能单靠底层原始创新来推动发展,其落地应用需要结合行业认知和客户需求输出整体性、结果导向性的实用解决方案。当然,OpenAI这样的基础模型工具也具有巨大价值。基础研究和应用研究本身就属于不同范畴,商业公司更多的还是要为市场负责,要计算投产比,更倾向于投入应用型研究;但基础性研究却可以更纯粹地去看更底层的算法工具和更前瞻性的技术未来。

近几年,行业也在加强产学研一体化合作,技术型企业和高校之间展开紧密合作,以推动基础研究和应用研究的融合,例如讯飞和中科大,思必驰和上交大。毕竟人工智能发展是一个长期主义,为了将来更稳定、更强的突破,必须重视基础创新和原始创新能力,短期内看研发投入会很高,但长远看却能降低成本、提高整体效率,也有利于建立中国人自己的“AI矿场”,更好地赋能传统百业。

THE END
1.从零基础到精通:一步步保姆级大模型训练教程,手把手教学,学不会你来2.3 模型的评测方法 CSDN独家福利 1.预训练阶段(Pretraining Stage) 工欲善其事,必先利其器。 当前,不少工作选择在一个较强的基座模型上进行微调,且通常效果不错(如:[alpaca]、[vicuna] 等)。 这种成功的前提在于:预训练模型和下游任务的差距不大,预训练模型中通常已经包含微调任务中所需要的知识。 https://blog.csdn.net/2401_85325726/article/details/144342271
2.训练人工智能基础模型的方法腾讯云开发者社区训练人工智能基础模型的方法通常包括以下步骤: 1. 数据收集:收集大量高质量的、标注的数据用于训练和测试。这些数据可以来自公开的数据集或自己收集的数据。 2. 数据预处理:将数据集进行预处理,例如https://cloud.tencent.com/developer/information/%E8%AE%AD%E7%BB%83%E4%BA%BA%E5%B7%A5%E6%99%BA%E8%83%BD%E5%9F%BA%E7%A1%80%E6%A8%A1%E5%9E%8B%E7%9A%84%E6%96%B9%E6%B3%95
3.ai大模型训练方法有哪些?使用多GPU或多节点来加速模型训练。 自动化机器学习(AutoML) 自动化模型选择、超参数调优等过程。 持续学习和在线学习 使模型能够持续学习新数据,而不需要从头开始训练。 模型评估 使用交叉验证、混淆矩阵等方法评估模型性能。 模型部署 将训练好的模型部署到生产环境中。 https://www.elecfans.com/d/4031955.html
4.随时间在线训练脉冲神经网络模型的图像数据分类方法与流程10.为了克服上述现有技术的不足,本发明提供一种基于随时间在线训练的脉冲神经网络模型进行图像视觉数据分类的方法,方法取名为ottt(online training through time)。通过本发明提供的方法,可以在训练snn模型时极大地减小训练内存的开销,将训练得到的模型用于计算机图像数据和神经形态图像视觉数据的分类与识别等视觉任务,能够https://www.xjishu.com/zhuanli/55/202210694741.html
5.大语言模型训练数据常见的4种处理方法不在线第一只蜗牛因此,如何从收集到的数据中删除低质量数据成为大语言模型训练中的重要步骤。大语言模型训练中所使用的低质量数据过滤方法可以大致分为两类:基于分类器的方法和基于启发式的方法。基于分类器的方法目标是训练文本质量判断模型,并利用该模型识别并过滤低质量数据。https://xie.infoq.cn/article/6edbb0252aecc0fce50c43abb
6.AI:ModelScope(一站式开源的模型即服务共享平台)的简介安装AI:ModelScope(一站式开源的模型即服务共享平台)的简介、安装、使用方法之详细攻略,ModelScope旨在打造下一代开源的模型即服务共享平台,汇集了行业领先的预训练模型,减少了开发者的重复研发成本。个人认为,相比于AIhttps://blog.51cto.com/yunyaniu/5935335
7.图解机器学习模型评估方法与准则使用历史数据训练一个适合解决目标任务的一个或多个机器学习模型。 对模型进行验证(Validation)与离线评估(Offline Evaluation)。 通过评估指标选择一个较好的模型。 2)在线实验方法 除了离线评估之外,其实还有一种在线评估的实验方法。由于模型是在老的模型产生的数据上学习和验证的,而线上的数据与之前是不同的,因此https://www.jianshu.com/p/70a6f39d91bf
8.《自然语言处理:基于预训练模型的方法》(车万翔)简介书评当当网图书频道在线销售正版《自然语言处理:基于预训练模型的方法》,作者:车万翔,出版社:电子工业出版社。最新《自然语言处理:基于预训练模型的方法》简介、书评、试读、价格、图片等相关信息,尽在DangDang.com,网购《自然语言处理:基于预训练模型的方法》,就上当http://product.dangdang.com/29273992.html
9.转化率预估(pCVR)系列延迟预估模型(上篇)3.模型训练及预估:CVR和DFM联合训练,采用EM算法或sgd-Joint Learning等方法。在线预估时,只使用CVR模型,DFM被舍弃。 背景 展示广告中,oCPX/CPA模式(eCPM=pCTR * pCVR * CPA)下pcvr预估的准确性至关重要。 在参考ctr模型优化经验优化cvr模型时,会遇到一个问题,与点击(相比曝光)发生时间相比,转化发生时间要晚的https://www.zhuanzhi.ai/document/fb87ca09a0899775ab401f8300c5e5f9
10.一步一步教你在线免费训练机器学习模型(启用GPU和TPU)由于我无法在这篇文章中涵盖所有在线训练机器学习模型的服务,因此本文将有第二部分。 所有需要学习和实践机器学习的资源都是开源的,可在线获取。从计算、数据集、算法以及免费在线提供的各种高质量教程,你只需要互联网连接和学习的热情。 我希望这篇文章有用,因为它解决了开始走向机器学习和数据科学之路的业界人士所面https://blog.itpub.net/31545819/viewspace-2216969/
11.朱庆华宋珊珊风险视角下生成式人工智能的司法应用路径建构全生命周期的模型治理路径 针对算法黑箱、算法偏见,通常的应对之举是算法治理,即通过一系列规章制度和实践方法,旨在确保算法的公正性、透明度、可解释性和安全性,重点关注算法的实现和运行过程,包括数据采集、特征工程、模型开发、评估和部署等方面。而模型治理更侧重于机器学习模型的整个生命周期,包括需求规划、数据https://www.thepaper.cn/newsDetail_forward_26236606