傅盛:大模型的弱点,才是我们的创业机会翻译人工智能

在本次大会上,猎户星空推出的基于大模型技术的企业服务产品“聚言”(chatmax.ai),也首次对外发布。

我们都知道ChatGPT最近很火,他是人类历史上第一个仅用2个月,实现月活过亿的产品,最近月活已经突破10亿。这是在没有任何推广的情况下,完全靠用户主动使用,实现的自然增长。

其实这款产品只有一个聊天窗口(用户界面也并不出众),但为什么能在全球引发如此大的风潮?

今天我从原理层给大家解读一下。

最开始,我也跟大家一样,认为ChatGPT是一款聊天软件,它只是将庞大的网络知识重新整合了一遍。

直到有一天,我突发奇想,问ChatGPT“你知道为什么我们家的狗叫三万吗?”我给了一个提示,它被前主人遗弃,我在宠物医院收养了它。结果,ChatGPT回复说,“是不是做手术的费用是3万,你们取这个名字是为了纪念这次手术。”

我当时很震惊,因为我收养它的时候都不知道它叫三万,是医生告诉我,以前的主人带狗来治骨折,结果一听手术费要3万人就消失了,后来医生就给它取名三万。

我突然意识到,这些信息网上搜不到,ChatGPT不是根据过去知识的总结,完全是靠自己的推理得出结论。

所以,ChatGPT看上去是一个聊天软件,但本质上,它是个具有推理能力的大脑。

一、为什么是ChatGPT?

我们从原理层,去看一下这个事情。

作为创业者,我们必须学习,但学习是要从底层原理开始。不能因为自己不懂技术,就不从原理层理解问题。不然你会容易被网上各种各样的信息带偏。

今天网上对ChatGPT的讨论很多,有人将它神话,有人产生恐慌,比如人是否要被替代,它是否会产生自我意识。我认为这些都被过度炒作了。

从底层原理去理解,我的体会是:“语义理解,是人工智能技术的皇冠。”

我是有论据的,六年前,我们就投身人工智能,花了近10个亿去做研发,可以说积累了大量成功和不成功的经验。

我们讲“智能”这件事,人与动物的核心区别是什么?是语言。更具体一点来说,是对于抽象语言的理解和逻辑推理能力。

因为智能也分好多种,图像识别、人脸识别都是智能,但这种智能很多动物也具备,比如你家的狗看到你回家,会摇着尾巴欢迎你;昆虫看到花草就会飞过去;猎豹看到食物,会依靠隐蔽和速度来捕猎等等。

所以,“识别”不是人类独有的智能,语言才是。《人类简史》中有一句话,智人之所以能够成为这个星球唯一霸主,一个重要的原因是他们发展出了“虚拟”的语言。人类可以聊八卦,聊一些虚拟的事情,其实就是对抽象语言有了理解能力。比如,“今天心情很emo”、“如果我再努力一点就好了”等等。

动物也有语言,但它们交流的都是“非虚构”语言,往往是属于或者部分属于事实,比如“河边有只狮子”、“前方有颗大树”等等。所以,只有“虚拟”语言,才是人类所独有的,也就是所谓逻辑。也是我们智能的最高阶体现。

但语言到底是个什么东西,其实人类自己都没有研究清楚。

前几天,我跟清华大学脑科学家刘嘉教授对谈,他说曾经有专家老师把人类语言学的所有规律都总结了一遍,你只要掌握规律,就可以轻松学会一门语言。但ChatGPT出来的时候,根本没有去学这套规律,而是直接自学,就掌握了多国语言。

我们总结的那套主谓宾定状补,真的是语言的核心规律吗?这不好说,也没办法证伪。

有本书叫《大数据时代》,讲的是谷歌翻译团队,最早是由语言学家和工程师组成。但翻译效果一直上不去,后来开掉一个语言学家,翻译效果就好一点,再开掉一个语言学家,翻译效果又好一点。后来,语言学家全开掉,只剩下工程师们,谷歌翻译终于好用了。就算工程师都不认识阿拉伯文,但翻译效果一样好。

还有一个故事,就是图灵测试。图灵是一个非常伟大的科学家,他在100多年前就提出了这样一个实验理论,如何判断一个机器有没有人的智能?他想到了一个极简单的测试方法,就是在黑屋里放一个计算机,让人在不知情的情况下,跟计算机聊天。如果超过30%的成年人认为一起对话的是真人,那就说明计算机有了智能。

所以,ChatGPT看上去是一款聊天软件,但它真的像人一样完成语言进化,拥有了对抽象语言的理解能力。区别于只能完成机械指令的传统AI,ChatGPT能像真人一样聊天,有了智人才拥有的高阶智能。

另外,人工智能攻克语义理解的难度,是远高于图像识别的。虽然在理论学上,图像识别更需要底层能力,也就是deeplearning(深度学习)。但从工程学上,最早斯坦福的两个研究生用一台GPU电脑,就把人工智能的图像识别能力提高了十几个点,开创了一个新的时代。

《奇点临近》中说,2035年会出现硅基生命超越人类实现永生,以前我觉得这本书完全在胡扯,因为语义理解很难突破,以前对人工智能的总结是,“有多少人工,就有多少智能”,很绝望。

但没想到ChatGPT出现了,语义理解被攻克。这也意味着,AI已经睁开眼,可以对这个世界进行对话了,AGI(通用人工智能)开始出现。

那ChatGPT是如何掌握人类语言的呢?我们再到原理层看一下。

语义理解的两条技术道路:“教育”神经网络和神经网络“自学”。

“教育”神经网络:

即按人类对语言的理解,“教育”神经网络语法结构和知识图谱。

这更符合我们对语言学习的逻辑理解,像人族学习外语,投入就能见到效果。绝大多数互联网公司开发AI时,都会选择这条路,试图“教会”AI理解各种逻辑和规则。但问题是,系统达到一定语言能力后(远低于人),无论如何优化,依然有大量的问题的回复完全是答非所问。

神经网络“自学”:

是让神经网络学习足够多的文本,自动发现文本之间的规律。这就是OpenAI训练ChatGPT的方式,没有严格的理论支撑,而且非常费钱,但没想到最后成功了。ChatGPT通过对海量文本的学习,自动构建了一个含有千亿参数的大模型,建立了对这个世界基本的逻辑认知,由此产生了基于逻辑的推理能力。

而在ChatGPT-3.0出现之前,OpenAI简直就是硅谷的笑话,很多人觉得就是一群神经病,烧着钱做一些费力不讨好的事情。结果没想到,AI自学语义这条路居然走通了,ChatGPT-3.0出来后,全世界都震惊了。

为什么之前ChatGPT一直不够智能?是因为投喂的数据还不够多。在我跟刘嘉教授的那场对话中,他也说道,ChatGPT的进化和我们人类大脑的进化有异曲同工之处。从动物进化到智人,花费了大约300万年,在此期间,人类大脑体积增加了三倍。而ChatGPT的突然开悟,也是因为人工智能被扩大了“脑容量”,参数增加到1000亿,就产生了智能。

另外,刘嘉教授一位在OpenAI工作的朋友告诉他,如果重新回到2017年,重新去搞大语言模型,未必能搞出现在的ChatGPT。

所以我们现在多用一个词,叫“涌现”,什么叫涌现?我们也不知道为什么ChatGPT突然“开悟”,只是把大量的文本信息灌给它,量变产生质变的情况下,它就开口说话了。所以,能造出涌现这个词,我觉得这也是人类语言的厉害之处。

由此,我们再来看看ChatGPT回答原理:当用户键入一段话,系统会根据这段话形成一个数学表达式去和大模型里的参数做匹配,产生关联概率最大的一个词,然后再以这个词和上面那段话继续以上过程。(注:所谓参数,简单理解,就是词和词之间的概率关系。)

基于以上原理,GPT的回答都是即时生成的,不是拷贝和组合。

而OpenAI创始人有一次做访谈,也说训练ChatGPT的原理,就像读一本侦探小说。根据提示和关键信息,不断地推理、推翻,再推理,再推翻,直到最后结尾,真相才公布天下。

所以,训练ChatGPT,就是给它提示词,让它自己找文本之间的联系。你要做的,就是不断用提示词训练它,比如第一个回答完全答非所问,你要不断引导提问,直到答案逐渐接近,最后完全符合你的需要为止,它就记住了。

这个原理听起来很容易,但每次推翻再来,它的答案是要不断进化的。

所以,ChatGPT的强大,不仅需要技术和勇气,还需要很强的迭代能力。

二、我们该如何看,

ChatGPT带来的变化?

ChatGPT是第一款理解了人类语言逻辑的AI,通过文字理解了这个世界,拥有了推理和创造能力。

ChatGPT出现之前,对话系统更像鹦鹉学舌,虽然能够部分匹配内容,但是系统并不完全理解具体的含义,所以同一个问题换种说法,AI就会答不上来。而ChatGPT出现以后,对话系统是建立在对语义理解的基础上的,尽管也会说错,但都是“一本正经”的胡说八道。

当然,新事物出现都不是完美的,就像汽车刚出来没有马车跑的快,iPhone刚出来没有诺基亚好用。但底层范式的变化才是关键。一本正经的胡说八道,重点在一本正经,而不在胡说八道。一本正经说明他的逻辑是正确的,胡说八道可以通过专用系统来矫正(plugin)。

所以说,ChatGPT的出现意义重大,因为,它带来了交互革命和生产力革命。

1.交互革命

当AI可以听得懂人话,这就说明,以自然语言为交互界面的时代终于到来了。

人机交互界面将以自然语言为主,那么我们所有的设备、所有的工具,都可以重新做一遍,真正实现机器围着人转。而在这之前,我们大量的工作都是人围着机器转,比如,你要使用电脑,需要懂输入法,以及电脑的基本操作技能,才能让它运转。但这一次,是机器理解了你的语言,人只要下达命令,它就会为你提供服务。

2.生产力革命

聊天只是ChatGPT能力的一个demo,大模型的本质是逻辑和推理能力,这种能力可以在任何需要脑力活动的地方发挥作用。这意味着,人工智能创造和创新的时代来临了。

我们知道,今天整个社会最重要的生产力是什么?是脑力劳动。而ChatGPT的出现,是人类第一次将电能转换成通用智力。这种能量转化,是区块链、元宇宙、互联网这些重塑生产关系的变革都没法比的,因为ChatGPT带来的是生产力革命,它诞生的意义不亚于蒸汽机的出现。

蒸汽机把热能转换成动能,人类由此进入工业化时代,生产力大幅度提升。而ChatGPT的出现,是将电能转换成了脑力和通用智力,增加了脑力劳动的不断输出。就如同你一插上电,就有了无数员工。

所以,马化腾以前认为ChatGPT是十年一遇的机会,现在认为是百年一遇的机会。

那大模型真的会颠覆人类?未来统治一切吗?目前来看,还不会。因为ChatGPT还没有生成意识,也没有好奇心和主动性,它所有回答都是根据人的提问,按照概率算出来的。它不会对写一堆代码感到难受,也不会对受制于人感到痛苦,这些个性和自我意识的东西还没有显现。所以,它还是一堆冷冰冰的代码。

所以,大模型的这些弱点,正好是我们的创业机会。

那未来行业会发生哪些变化呢?

第一个,就是大模型的核战争。我认为所有大公司都会参与到这场核战争中,他们会不断烧钱加码造出自己的大模型,因为大公司谁没有自己的大模型,就要被淘汰。

有很多人问,中国的大模型跟ChatGPT还有多大差距?其实没有太大差距,一年内基本可以追上,因为它的创新来自于公开论文,而且GPT-2.0已经开源了,一旦有人证明这件事可做,中国团队追起来的速度会非常快。

第二个,是平民化大模型。我相信,这会是大多数中小型公司的选择。因为大多数中小型公司的产品,不需要1000亿参数,也不需要爱因斯坦,只需要在特定场景下够用就行。比如做一个博物馆讲解机器人,100亿参数就可以了。

第三个,效率大提升,所有公司一定会产生巨大的组织变革,组织形式都会发生变化,效率将被极大提升。

第四个,陪伴和生成内容,互联网范式会发生变化,互联网的核心叫做连接信息,各行各业都将被深刻影响,“生成内容”将替代“链接信息”。

第五个,脑力劳动者将迅速被AI替换,技术、经验、创造力的壁垒将大幅度弱化,有任何问题都可以请教ChatGPT,它甚至会一步步引导你,掌握多个技能。

以前是五年一小变,十年一大变,现在可能一两年就会发生很大的变化。就像蒸汽机出来后,汽车代替了马车,马车夫就失业了。而ChatGPT出现后,人工智能最先替代的会是一些脑力劳动者,尤其是中间层的脑力劳动者。

比如,我有一个朋友,以前他的游戏公司,1000多人有300多人的美术团队,但ChatGPT来了以后,300多人的美术团队,基本上都被裁掉了。

这次大模型带来的变革,整个社会的发展可能会产生翻天覆地的变化。包括我自己,心态上也产生了很多变化,我们每个人都想在里面做些什么。

未来每个人该怎么办?还是要保持好奇心,主动学习。

那天问完我们家的狗为什么叫三万后,第二天送孩子上学,突然我就迷茫了。之前养孩子我都很佛系,觉得孩子爱干嘛就干嘛,只要愿意学就行。结果现在我迷茫了,孩子应该学什么,未来才不会被取代呢?

后来我想通了一件事,至少人类还有好奇心,还有主动学习和开放的心态。未来技能很快会被替代,但好奇心、主动学习能力、行动力是不会被替代的。

有一本书叫《正念领导力》,这本书,对我个人和我们组织帮助都很大,在此推荐给大家。

另外,行业创业者该怎么办?可以参考以下4个方向:

因为AI向前发展一定是必然,技术变革任何人都阻挡不了。所以最好的建议,就是去学习新知识,留恋是没什么意义的,每个马车夫都该去学习开汽车,你要成为AI的驾驭者,而不是被它替代的人。

三、未来,创业者的机会在哪里?

那么,大模型时代,创业者的机会在哪里?我认为也有四个方向:

第一种,大模型直接用。你技术特别牛,拿大模型直接去做二次开发,但是对于非科技企业,也比较困难,因为要与程序员沟通,没有沟通语言;

第二种,基于大模型的工具产品,直接用。这是很多科技型公司在做的,各个行业像一些电商等企业,就适合直接采购科技公司提供的B2B服务;

第三种,私有化大模型。比较适合中小型企业,可能不需要很强的“大脑”,但能够处理特定场景需求,保证数据安全性就行,这类企业很适合定制自己的私有化大模型;

第四种,自研大模型。更适合资金、技术雄厚的创业者选择。

为什么要做私有化大模型呢?因为通用大模型,比如ChatGPT,会更加适用于广泛C端用户的碎片化需求,但对于B端企业而言,想要更符合企业调性、深度需求的产出,就会差点意思。

目前,大模型已经是各个大厂的必争之地,而建立中国版“OpenAI”不仅需要勇气,还需要绝对的技术和资金实力。

对于没有雄厚技术和资金的中小企业,未来该怎么办呢?这也是我们最近一直在考虑的方向。猎户星空的基于大模型技术的企业服务产品“聚言”(chatmax.ai),主要针对中小企业解决数字员工以及大模型等难题:

一是把大模型包装成工具产品,依据不同的行业知识和工作流程,为企业解锁客服、导游、财务分析师、法律顾问、合同审核员等不同领域的专家级数字员工;另一个就是基于底层技术,为一些中小型公司提供私有化大模型,比如垂直行业的大模型或者特定应用场景的大模型,几十亿、几百亿参数就可以搞定。

从“聚言”(chatmax.ai)的技术原理来看:企业可基于公司业务数据、专业领域知识、私有信息等完成大语言模型的训练,比如律所需要具备全面的法律知识,财务需要专业的财税知识等,员工以自然语言描述完工作任务,大模型基于企业的业务流程,对交代的工作任务进行理解、规划,最后完成执行。

目前,猎户星空在AI机器人领域深耕六年,已经具备五大优势:

1.满足定制化需求:理解并掌握企业私有知识,使机器人能够使用企业知识进行回答,提升企业效率,增加收益;

2.打通业务系统融合业务数据:打通企业各个业务系统,获得更全面的数据视角,并从中发现潜在的关联和模式以支持自动化任务、自动化客户服务,提升服务效率和满意度;

3.业务流程自闭环:插件机制融合大模型,贯通企业服务流程,助力企业完成服务流程自闭环;

4.私有化部署,保障企业数据安全:私有化部署让企业拥有更高的数据安全性和隐私保护,更好的性能和稳定性;

5.低成本可控:通过自研大模型和企业内部知识“聚言”(chatmax.ai)建立了一个更适合企业的合理规模的语言模型,并且使用低门槛的算力配置,但实现了高效的自然语言处理能力。

猎户星空可以帮助千万中小企业打造专家级数字员工,让企业更高效。

在这百年一遇的生产力大变革时代,让我们一起去大力拥抱AI2.0!谢谢大家。

THE END
1.自学神经网络总结神经网络自学遵循这个思路,我自学神经网络时,会把重点更多地放在数学建模这一步。当然,适当了解计算机编程也十分有必要,但能力有限,在本篇总结中,我会只从数学建模这一个角度去阐述我的自学成果。 提出问题 我主要自学了两个板块:图像识别与自然语言处理。因此,对应提出的问题就是: https://blog.csdn.net/2401_82776339/article/details/136224406
2.神经网络入门基础知识腾讯云开发者社区引发了第一波神经网络的热潮,但感知机的致命缺点是:Minsky在1969年证明Perceptron无法解决异或问题。根源在于,二维层面上神经网络是一条直线。无法划分异或的区间。 0=σ(x0w0+x1w1+b)0=x0w0+x1w1+bx1w1=0?x0w0?bx1=?w0w1x0?bw1y=kx+b https://cloud.tencent.com/developer/article/2299888
3.神经网络极简入门简介:神经网络是深度学习的基础,正是深度学习的兴起,让停滞不前的人工智能再一次的取得飞速的发展。 神经网络是深度学习的基础,正是深度学习的兴起,让停滞不前的人工智能再一次的取得飞速的发展。 其实神经网络的理论由来已久,灵感来自仿生智能计算,只是以前限于硬件的计算能力,没有突出的表现,直至谷歌的AlphaGO的出现https://developer.aliyun.com/article/1554921
4.自学神经网络之路随笔分类梦想不大的小菜鸟走进神经网络——01.了解神经网络基本知识 摘要:最近一直想着写一篇神经网络入门级的的博文,由于学习的原因,一直拖到了今天,趁着周五没课,我将我自学神经网络的经历总结一下。由于本科的毕业设计就是使用卷积神经网络做的,因此我对神经网络有了一种不可言喻的兴趣,在读研的时候我就想着系统地学习一下神经网络。 https://www.cnblogs.com/nbq520/category/1874856.html
5.生信自学网神经网络GEO基础生信自学课堂生信自学网神经网络 GEO基础 GEO转录组 分子亚型 非肿瘤m6A WGCNA筛选 多芯片联合 GEO单基因 GEO免疫浸润 单细胞测序 geoBatch联合分析 肿瘤微环境 环状RNA芯片 长非编码RNA miRNA芯片 甲基化免疫 GEO精品 自噬基因 多芯片联合 氧化应激 节律基因 细胞衰老 铜死亡 https://ke.biowolf.cn/brand-68-c297.html
6.吴恩达神经网络和深度学习课程自学笔记(二)之神经网络基础2,因为如果不用非线性激励函数,每一层都是上一层的线性函数,无论神经网络多少层,输出都是输入的线性组合,与只有一个隐藏层效果一样。相当于多层感知机了。所以引入非线性激励函数,深层网络就变得有意义了吴恩达神经网络和深度学习课程自学笔记(一)之深度学习概论 一:什么是神经网络? 拿房价预测举例:中间那https://www.pianshen.com/article/78361453767/
7.NeuralNetwork(神经网络自学的英文材料).ppt内容提供方:little28 大小:878.5 KB 字数: 发布时间:2017-01-15发布于湖北 浏览人气:128 下载次数:仅上传者可见 收藏次数:0 需要金币:*** 金币 (10金币=人民币1元)NeuralNetwork(神经网络自学的英文材料).ppt 关闭预览 想预览更多内容,点击免费在线预览全文 免费在线预览全文 NeuralNetwork(神经网络https://max.book118.com/html/2017/0115/84067209.shtm
8.猎豹傅盛:为什么一款聊天软件可以带来生产力变革?参加学院第二条路是神经网络“自学”,所谓自学,就是给神经网络足够多的文本,神经网络会自动发现词与词之间的关系,这些关系简单理解就是参数。所以这是一个自动发现文本规律的路径。 第一条路更符合我们对语言学习的逻辑理解,就像人类学习外语,而且开始投入就能见到效果,所以绝大部分公司选择这条路线。但问题是,系统达到一定https://www.shangyexinzhi.com/article/8367219.html
9.deeplearn.js:在浏览器上训练神经网络目前我正在自学神经网络,想找一些现成的库可以帮我完成一些任务。谷歌最近发布了deeplearn.js,可以用来训练神经网络,于是我就试用了一把。在这篇文章里,我将分享如何使用deeplearn.js训练神经网络,并用它解决真实世界的Web访问性问题。 神经网络有什么用?https://labs.epubit.com/articleDetails?id=NC7E3EF979E300001D4711053BA389B60
10.人工神经网络基础人工神经网络基础是为信号与信息处理、模式识别与智能系统等学科的本科高年级学生和硕士生编写的教材,也是相关专业技术人员自学神经人工网络的入门参考书。全书共分7个章节,以信号与信息处理、模式识别与智能系统等学科为背景,对人工神经网络的基础知识作了介绍,具体包括前向多层网络、Hopfield网络、波尔兹曼机(BM)网络https://www.qwbaike.cn/doc-view-5283.html
11.8个学习AI的网站(免费自学人工智能必备)学吧导航DeepLearningAI网站也是由人工智能和机器学习领域的权威吴恩达教授创建的在线学习平台,该网站提供与深度学习相关的各种课程和资源,深度学习是机器学习的一个子领域,专注于人工神经网络和深度神经网络。课程设计为初学者和有经验的实践者都可以使用,分为入门、中级、高级三个层次,涵盖一系列与深度学习有关的主题,包括神经https://www.xue8nav.com/2090.html
12.神经网络控制《神经网络控制》是2009年年7月电子工业出版社出版的教材,作者是徐丽娜。[1] 该书共分五章,主要包括了神经网络理论基础,基于神经网络的动态系统模型、逆模型及其辨识问题,神经网络控制的多种结构及其设计问题,遗传算法的寻优机理,遗传算法与系统辨识、遗传算法与神经控制问题。[1] https://baike.sogou.com/v6372408.htm
13.“符号数学”终于向“神经网络”屈服:AI学会数学证明了?70多年前,作为思考大脑工作机制的一种革命性的手段,处在人工智能研究前沿的研究人员引入了神经网络。在人的大脑里,数十亿个互连的神经元网络会处理感知的数据,让我们能够从经验中学习。人工神经网络还可以按照它们自学而来的规则,通过互连的层过滤大量数据,从而预测和识别模式。 https://www.36kr.com/p/722866675812231
14.像大脑一样思考:深度学习如何让人工神经网络重现生机界面新闻但是,随着科学技术的发展,对控制系统智能化的要求也越来越高,基于串行计算的Von Neumann计算机面对复杂的智能控制系统逐渐显现出运作困难与其本身的局限性。而人工神经网络则采用并行计算方法,加之其对复杂的、不确定的问题拥有自适应性和自学能力,使人工神经网络为自动控制摆脱困境提供了一条可行的道路。https://www.jiemian.com/article/425375.html
15.神经网络阮一峰51CTO博客已为您找到关于神经网络 阮一峰的相关内容,包含IT学习相关文档代码介绍、相关教程视频课程,以及神经网络 阮一峰问答内容。更多神经网络 阮一峰相关解答可以来51CTO博客参与分享和学习,帮助广大IT技术人实现成长和进步。https://blog.51cto.com/topic/666469e43507794.html