思必驰联合创始人兼首席科学家俞凯:ChatGPT是继AlphaGo之后最大的里程碑进步财专访股票频道

(原标题:思必驰联合创始人兼首席科学家俞凯:ChatGPT是继AlphaGo之后最大的里程碑进步|财专访)

本期访谈人物:

思必驰联合创始人兼首席科学家俞凯

“GPT是人工智能发展的一个集中式突破,包括对话智能技术、深度学习大模型技术、工程化能力以及大数据的整体突破。”

▍个人介绍

思必驰联合创始人兼首席科学家、上海交通大学教授。

清华大学本科、硕士,剑桥大学博士。

入选国家级重大人才工程,上海市“东方学者”特聘教授。

IEEESpeechandLanguageProcessingTechnicalCommittee委员(2017-2019),中国计算机学会语音对话及听觉专委会副主任,中国人工智能产业发展联盟学术和知识产权组组长。世界顶尖科学家论坛(WorldLaureatesForum)青年科学家委员会委员,全国信标委用户界面分委会委员。

发表200余篇国际论文,获得多个国际研究挑战赛冠军,担任InterSpeech、ICMI等国际会议程序委员会主席和ACL、NAACL、EMNLP等国际会议对话交互领域主席。

曾获中国人工智能学会吴文俊人工智能科学进步奖、中国计算机学会青竹奖、2016年《科学中国人》年度人物。

▍第一标签

引领人工智能领域发展的长期主义者

▍公司简介

Q:在类ChatGPT的对话机器人研发方面,公司目前有何进展?

俞凯:在技术的迭代发展上,ChatGPT本质就是一个统计类的深度学习对话通用大模型。

思必驰应该算是国内最早一批去进行统计类对话模型的产业化研究的公司之一,并且在任务型对话上也取得了很多很好的研究成绩和应用成绩。思必驰已有的语音和语义的通用基础模型,已经达到亿级参数。

在通用基础模型技术方面,目前思必驰使用千块GPU卡量级的超算资源,正在整合扩展资源,在已有算法研究和数据积累的基础上,将亿级参数模型扩展到百亿以上量级。

Q:在类ChatGPT的对话机器人研发方面,公司未来有何计划?

俞凯:现在的ChatGPT还是以文本机器人的形式来出现,我相信这只是一个开始,未来一定会往语音对话机器人去进阶,会逐渐强化对语音和文本的深度融合。在听觉感知技术方面,思必驰能够实现高精度的语音转文字和高质量的声音播报效果;能够解决在人机交互过程中面临的远距离、复杂声场的多噪音干扰、多说话人判断;满足用户对方言、外语的识别及合成的需求。

在聊天机器人方向,融合语音、文本、图像信号的多模态交互技术也有很大机会。以当前新起的虚拟数字人为例,多模态、智能化的完整解决方案可以更好地应对不同场景的复杂变化,多模态交互成为行业发展的必然趋势。在多模态及交互技术方向,思必驰公司在业界率先发布了全双工对话架构,形成了独特的闭环人机对话系统构建的底层综合技术优势,与国际主流先进技术相比,取得声纹验证、语音分离等指标的显著提升。

Q:您怎么看此次ChatGPT火出圈?可能存在哪些原因?

俞凯:ChatGPT可以算是继AlphaGo之后最大的一个里程碑进步。AlphaGo解决的是确定规则情况下的搜索和处理,而GPT在无确定语法规则前提下,部分解决了自然语言交互的问题。我们并不能把GPT简单理解为某一个特定单点技术的突破,而是人工智能发展的一个集中式突破,包括其中的对话智能技术、深度学习大模型技术、工程化能力以及大数据的整体突破。

ChatGPT爆火还有个原因,即产业应用的需求对技术的召唤得到了回应。各种智能硬件发展到现在,功能上逐渐愈发同质化,体验上也很难做出自己的特色。ChatGPT的创作能力则满足了产业应用级的需求,打开了新的空间。

Q:据路透社记者统计,AI、生成式AI、机器学习等词出现在美国科技巨头最新季财报会议中的频率是上一季度的2-6倍。巨头纷纷发力生成式AI,您认为有哪些原因

其次,生成式AI有“创作性”的天然属性:即没有绝对的正确错误之分,甚至有些仁者见仁、智者见智的意味。决策性AI的结果一旦错误,很容易被诟病;而内容创作的多样性结果,则会被欣然接受。比如,现在的ChatGPT,在对一些事实性内容的结果是不太准确的,但大家仍然能够宽容接受,因为它的对话是流畅的、回复是有效的。

Q:您预判未来随着生成式AI能力的提升,将在哪些行业快速渗透

俞凯:短期来看,关于需要基于一定背景知识的创作型产业,以及一切刚需AIGC的场景、重视SOP(标准作业程序)的行业,能够快速突破。比如智能写作、文档管理、代码生成、流程管理、甚至游戏NPC等。

俞凯:中美的差距,其实是在工程化能力、基础架构设置方面,另外还有人员经验的问题、长期信念决心的问题。

ChatGPT的核心是大模型技术和对话智能技术,大模型是指通用基础模型,当参数足够大的时候,比如当有千亿级以上的大模型的时候,不再需要额外的采取数据对各个领域进一步训练。大模型的算法是通用的,而数据量在超过千亿级之后,对比也就不再那么明显。

底层基础的算法是公开的,并且国内外一流的研究机构都有非常不错的研究成果,在算法的迭代创新方面并不存在明显差距。当数据量足够大,微不足道的数据差距影响也没那么明显。

Q:您预判,中国何时能有产品对标ChatGPT

新技术出现的本质,是为了投入应用,而不是停留在技术指标层面的对比。我很期待中国的创业公司能够基于用户需求、产品情况,去探索出更多的类GPT应用,不管是在AI辅助、智慧办公、智能客服,还是在更大层面的产业应用上。

Q:近期围绕着ChatGPT成本、法律与伦理问题有诸多讨论,您认为生成式AI面临哪些主要挑战

俞凯:大模型的训练的确是很昂贵,所以从成本来说,目前只有巨头能负担起高昂的投入,但当大规模应用起来,从长远看,大模型技术反而能够降低机器学习的成本、提高应用效率。

伴随人工智能技术发展的,便一直是“AI有所为、有所不为”的讨论。技术本身是中性的,关键是运用技术的人,应该向善、不作恶。

人工智能,说到底还是人的智能。ChatGPT可以基于上下文理解的基础上,根据对话聊天来不断完善自我学习和进化,但是这种学习进化的机制,本质上也是由人类设计的。当然,为了保证AI的良序发展,我们的确需要去嵌入一些相应的限制手段和规则约束。

Q:近期Google对外指出了AI技术发展迅速而大公司行动缓慢的原因:需要将AI融入现有的产品与服务中,符合公司的业务战略才能展开,并不能如OpenAI这样只需要研发一款最佳模型就可以。对此您怎么看

俞凯:基础AI技术创新,必须最终走入产业,结合场景应用才会变得有价值。

作为新基建一环的AI技术,不能单靠底层原始创新来推动发展,其落地应用需要结合行业认知和客户需求输出整体性、结果导向性的实用解决方案。当然,OpenAI这样的基础模型工具也具有巨大价值。基础研究和应用研究本身就属于不同范畴,商业公司更多的还是要为市场负责,要计算投产比,更倾向于投入应用型研究;但基础性研究却可以更纯粹地去看更底层的算法工具和更前瞻性的技术未来。

近几年,行业也在加强产学研一体化合作,技术型企业和高校之间展开紧密合作,以推动基础研究和应用研究的融合,例如讯飞和中科大,思必驰和上交大。毕竟人工智能发展是一个长期主义,为了将来更稳定、更强的突破,必须重视基础创新和原始创新能力,短期内看研发投入会很高,但长远看却能降低成本、提高整体效率,也有利于建立中国人自己的“AI矿场”,更好地赋能传统百业。

THE END
1.深度学习平台(SINGA)4.高性能:SINGA采用C++作为核心开发语言,并结合Python、C、CUDA等语言,以实现高效的跨平台运行能力。它利用GPU加速器优化深度学习运算,提升训练速度,同时其内存优化机制也有助于提高训练效率。 5.模型动物园:在Github和Google Colab上的SINGA仓库中提供了各种特定领域的深度学习模型,如医疗保健和科学等领域的模型,方便https://blog.csdn.net/weixin_43156294/article/details/144281329
2.深度学习—智慧树网深度学习(Deep learning,DL)是人工智能、机器学习研究中的一个非常有潜力的领域,其动机在于建立、模拟人脑进行分析学习的神经网络,它模仿人类大脑的机制来解释数据,例如图像、声音和文本。由于深度学习模型能够在大规模训练数据上取得更好的效果,因此在人工智能、机器学习领域中有着良好的应用前景。深度学习已经成功攻克了http://coursehome.zhihuishu.com/courseHome/1000013900/127200/
3.飞桨PaddlePaddle深度学习一般分为训练和推理两个部分,训练是神经网络“学习”的过程,主要关注如何搜索和求解模型参数,发现训练数据中的规律,生成模型。有了训练好的模型,就要在线上环境中应用模型,实现对未知数据做出推理,这个过程在AI领域叫做推理部署。用户可以选择如下四种部署应用方式之一: https://www.paddlepaddle.org.cn/tutorials/projectdetail/1550309
4.微博深度学习平台架构和实践微博深度学习平台架构和实践 随着人工神经网络算法的成熟、GPU计算能力的提升,深度学习在众多领域都取得了重大突破。本文介绍了微博引入深度学习和搭建深度学习平台的经验,特别是机器学习工作流、控制中心、深度学习模型训练集群、模型在线预测服务等核心部分的设计、架构经验。https://www.51cto.com/article/553994.html
5.金电联行Ark(方舟)平台深度学习模型训练软件免费在线试用金电联行-Ark(方舟)平台深度学习模型训练软件页面为您介绍金电联行-Ark(方舟)平台功能介绍以及产品定价、行业案例、文章点评等相关信息,便于您更快速的了解金电联行-Ark(方舟)平台深度学习模型训练软件。https://www.36dianping.com/space/5875360113
6.LintCode深度学习 算法 一次遍历 大数据 lambda函数 Library Access modifiers python System Settings optimal Linux | File System, 文件系统 暴力解法 Pandas 小顶堆 Data standardization AI | Data Processing, 数据处理 AI | Machine Learning, 机器学习 AI | Deep Learning, 深度学习 System swift Thread Mode 最短SQLhttps://www.lintcode.com/tag/
7.2020年最值得收藏的60个AI开源工具语言&开发李冬梅SiamMask 是一款实时在线目标跟踪与目标分割统一框架。技术简单、通用、快速高效。它可以对目标实时跟踪。此款库还包含预训练模型。 项目地址:https://github.com/foolwood/SiamMask DeepCamera 世界首个自动机器学习深度学习边缘 AI 平台 ARM GPU 上的深度学习视频处理监控,用于人脸识别以及更多方法。将数码相机变成人工https://www.infoq.cn/article/2uabiqaxicqifhqikeqw
8.度小满自动机器学习平台实践标注平台主要为 AI 算法的训练提供标注数据,自从深度学习诞生以来,模型已经具有了很高的复杂度,AI 算法效果的瓶颈从模型设计上转移到了数据质量和数量上,所以数据的高效生产是在 AI 算法落地中至关重要的环节。 ATLAS 的数据标注平台主要有两方面的能力特性:多场景覆盖和智能标注。 http://528045.com/article/4dad678f6d.html
9.关于发布可解释可通用的下一代人工智能方法重大研究计划2022通过规则与学习结合的方式,建立高精度、可解释、可通用且不依赖大量标注数据的人工智能新方法。开发下一代人工智能方法需要的数据库和模型训练平台,完善下一代人工智能方法驱动的基础设施。 (三)面向科学领域的下一代人工智能方法的应用 发展新物理模型和算法,建设开源科学数据库、知识库、物理模型库和算法库,推动人工https://www.ncsti.gov.cn/kcfw/xmsb/202205/t20220518_79110.html
10.cubestudio开源云原生一站式机器学习/深度学习/大模型AI平台cube studio开源云原生一站式机器学习/深度学习/大模型AI平台,支持sso登录,多租户,大数据平台对接,notebook在线开发,拖拉拽任务流pipeline编排,多机多卡分布式训练,超参搜索,推理服务VGPU,边缘计算,serverless,标注平台,自动化标注,数据集管理,大模型微调,vlhttps://github.com/HutCat/cube-studio
11.基于深度学习的个性化在线学习资源推荐研究基于深度学习的个性化在线学习资源推荐研究,在线学习,学习资源,个性化推荐,深度学习,深度神经网络,随着新兴计算机技术快速崛起和在线学习平台数量的增多,学习资源形式也越来越多样化,同时也造成教育资源规模呈指数式增长,导致学习https://wap.cnki.net/lunwen-1019952816.html
12.在线深度学习平台在线深度学习训练平台华为云为你分享云计算行业信息,包含产品介绍、用户指南、开发指南、最佳实践和常见问题等文档,方便快速查找定位问题与能力成长,并提供相关资料和解决方案。本页面关键词:在线深度学习平台。https://www.huaweicloud.com/theme/1082406-4-Z-undefined
13.LLM:预训练+指令微调+对齐+融合多模态+链接外部系统为了进一步提高LLM在未见任务上的指令泛化能力,即Zero-Shot能力,需要在自然语言众包指令数据上微调预训练模型,参考论文FLAN 。微调数据集来自于通用的NLP基准集,通过指令模板改造输入输出的格式得到CoT和非CoT任务的指令数据集,见下图。微调后可以显著提高在各种模型类(PaLM、T5、U-PaLM)、各种学习样例设置(Zero-Shot、https://www.shangyexinzhi.com/article/10160427.html
14.深度学习计算机视觉实战畅想中心数据平台在线试读 下载 注:如果您的电脑尚未安装PC客户端,请先 安装客户端 后再下载阅读!手机扫描阅读此书 支持(Android/Iphone) 简介 目录 评论 简介 本书内容可分为四个部分。第一部分包括第1-2章,主要讲解深度学习和计算机视觉基础;第二部分包括第3-6章,主要讲解图像处理知识;第三部分包括第7-11章,主要讲解计算机https://www.cxstar.com/Book/Detail?ruid=2a4ec7b2000111XXXX&packageruid=25f8e7ac012727XXXX
15.学堂在线学堂在线是清华大学于2013年10月发起建立的慕课平台,是教育部在线教育研究中心的研究交流和成果应用平台,是国家2016年首批双创示范基地项目,是中国高等教育学会产教融合研究分会副秘书长单位,也是联合国教科文组织(UNESCO)国际工程教育中心(ICEE)的在线教育平台。目https://www.xuetangx.com/?channel=i.area.navigation_bar
16.三维一体教育平台—三人行,必有我师学校教育、家庭协助、社会关注,最大限度共享教育资源;在线考试,试题上传,海量试题搜索;试题库拥有丰富的试题;是一个全国各种学历考试,资格认证考试的全真在线模拟考试网站,提供自动阅卷评分以及试题解析等多功能服务,是各类考生考前辅导学习的练兵必备工具https://www.ch3dedu.com/wiki/search.jsp?ct=FB15144199320FA8CE71ECBE824E261E
17.科学网—[转载]群视角下的多智能体强化学习方法综述该类问题的相关研究是将单智能体的深度强化学习算法应用在多智能体系统中,分析是否能在动态环境中涌现出新的行为。Zheng等人[10]设计了面向满足超多智能体群体智能分析的MAgent平台。Tampuu等人[15]在乒乓球竞争环境中,使用独立的DQN算法,查看两个智能体能否学会比赛动作。事实证明,原来独立的算法也可以在零和游戏的https://blog.sciencenet.cn/home.php?mod=space&uid=3472670&do=blog&id=1422698
18.算法服务平台算法模型服务平台是一个面向企业用户的数字化服务平台,旨在为用户提供高效、先进的算法模型。它以数据为核心,利用机器学习、深度学习等前沿技术,为用户提供行业定制化的算法模型解决方案。 应用场景 用户情感分析 使用情感分析模型,对文本进行情感分析,用于市场调研,客户服务和社交媒体监测。 https://wakedata.com/wakeAI.html
19.新国人,中小学生在线学习平台新国人专注K12教育20年,积累了丰富的教学经验和名师专家资源、视频课程资源,结合教育大数据分析、人工智能核心技术,精心打造新国人在线学习平台,为全国中小学生提供学习问题诊断,制定个性化教育解决方案服务.http://www.xinguoren.cn/