关于多模态认知能力与通用人工智能,专访智谱AICEO张鹏

进入位于搜狐网络大厦的智谱AI(人工智能)办公区域,公司愿景映入眼帘。随着ChatGPT、Sora相继问世,智谱公司也在这波人工智能大模型浪潮中更为忙碌,调研、合作接踵而至。

“创业像用百米的速度跑马拉松。”创业的快节奏让张鹏团队不断拓展边界,跨出舒适圈。这正是众多风口创业者的常态。

坐落在北京中关村的搜狐网络大厦,见证着中国互联网行业腾飞,助力一批又一批明星企业成长。如今,再度站在风口,吸引众多人工智能创业企业入驻。

“用人工智能技术谱写未来的华章。”这是智谱公司名称的由来,张鹏团队创业之初便试图解局——如何将研究到实践落地的过程缩短,或者亲自下场产生更大价值。

目前,智谱AI专注于人工智能大模型研发与商业化落地。近日,针对Sora技术难点、行业发展趋势以及公司商业化进展等问题,新京报贝壳财经记者专访了智谱AICEO张鹏。

谈迭代

Sora领跑,生成视频连续性更好、逻辑性更强

贝壳财经:初次看到Sora生成的视频时感受如何?

张鹏:OpenAI近期发布了视频生成模型Sora,能够生成一分钟的高精度视频。更重要的是,让大家看到也许这是构建物理世界通用模型的可能路径。

Sora主要的优点是生成视频的连续性更好、分辨率更高、逻辑性更强,本质上解决了一些关键性的问题,对文生视频的理解和了解更深入、广泛。

贝壳财经:文生视频的技术难点在哪,Sora的技术具有哪些突破性?

张鹏:Sora的主要技术思路是用视觉块编码(VisualPatch)的方式,把不同格式的视频进行统一编码,然后用Transformer(变换器)架构进行训练,并引入类似Diffusion的Unet方式,在降维和升维的过程中做加噪和去噪。

Sora提到的DiffusionTransformer(扩散型变换器)架构,和之前的“小”视频模型不同,Sora是一个很大的视频模型,估算起来可能和千亿Dense语言模型需要的训练量(算力)相当。

Sora可以生成长达60秒语义丰富的视频,这说明训练的序列也比较长,训练时的窗口至少也得有5s+。

贝壳财经:Sora如何反映了大模型发展水平的差异?

张鹏:Sora的出现更鲜明地体现了OpenAI在技术方面的领先,它把这种领先具象化了。

这里面有很多原因,总体上看,OpenAI对大模型技术路线的认知更早、更透彻,目光更长远,足够坚持探索AGI(人工通用智能)机理。在人才方面,其团队足够强,都是世界比较顶级的人才聚集,有共同的理想和愿景。此外,专利、资金、数据等各资源能够集中发挥作用。

谈落地

需要承认差距,完美的产品靠打磨

贝壳财经:智谱已经在大语言模型上有诸多成果,比如智谱清言去年上线公测,目前使用效果如何?

张鹏:智谱清言是C端产品,产品本身根植在模型之上,它的版本迭代和效果提升,绝大部分来自于模型本身的迭代,从去年到今年更迭了3个版本,效果提升了许多。

智谱清言产品本身也做了非常多的优化,早期具备简单聊天功能,现在已经是比较全面的AI效率工具,无论是工作学习和日常生活都可以用AI赋能。

贝壳财经:1月16日,智谱AI发布了基座大模型GLM-4,从标准大模型评测角度看,其性能整体上已经逼近GPT-4。不过,如何看待有些评测的效果并不是很惊艳?

张鹏:从主流、标准的大模型测评角度看,我们在1月的智谱AI技术开放日上已经公布了完整的benchmark(基准)测评结果,GLM-4性能整体比肩GPT-4,在一些测评中还有所反超,比如在基于AlignBench的测评中,GLM-4的中文对齐能力优于GPT-4。

当然,我们留意到了在某些案例中,智谱清言的效果不尽如人意,我们的产品团队正在持续优化,努力为所有用户提供优秀体验。完美的产品是靠打磨出来的,大模型是个新生事物,在发展过程中肯定会出现各种问题,在某一方面存在差距非常正常,我们正视差距,努力做到超越大家的预期。

贝壳财经:你曾表示希望2024年让大模型真正落地,大模型如何从实验室到商业化?

张鹏:2021年就提出商业化落地,目前商业化效果还可以,现在已经有2000多家合作伙伴,其中有1000多家实现了规模化落地,有200多家深度共创的用户。商业化当然还有很大的空间。

另外,我们也在思考大模型商业化落地的逻辑和范式是什么?市场上可能有各种各样的声音,是做通用技术模型还是做行业垂直模型,是以标准化产品的方式做平台,还是定制化开发应用落地,大家都有很多的讨论。

贝壳财经:大家用智谱大模型,更看重产品的性价比?

张鹏:我觉得我们给大家的价值应该是技术本身的优势,重要的是把技术做到最好,技术决定模型能力的好与坏。我们努力给客户提供有竞争力的价格方案。

贝壳财经:对标OpenAI的过程中,智谱AI有什么转变吗?

张鹏:我们起步比OpenAI晚,人家做得比我们好,需要承认差距,但是我们的目标一致,那就是AGI。现在OpenAI还是处于领先地位,有非常多值得我们学习的地方。

谈布局

让机器像人一样思考,通用人工智能不是单项能力突破

贝壳财经:智谱在文生视频方面有无布局,下一步有何计划?

实现全系列产品矩阵对标OpenAI,是我们大模型系列产品布局的一贯目标,多模态模型在其中扮演着重要角色,也始终是我们的研究重点。

贝壳财经:除了文生图、文生视频外,智谱是否有其他计划?

张鹏:首先创业团队做事要聚焦,我们布局文生图、文生视频,最终还是要收拢,并不是去做一堆的模型,更要看重技术之间解决了哪些核心问题,是否具有一致性。我们的愿景是“让机器像人一样思考”。

最后要解决通用人工智能认知问题。文生图、文生视频就是把人的认知能力拆解,一项一项解决,最终才能把这些事情统合起来解决。真正的通用人工智能不是单项能力的突破,而是追求本质上的认知能力突破。一旦让机器具备这种认知能力,就有可能突破人脑上限。

THE END
1.第一部分:AI视频生成基础ai生成视频原理知乎在探索AI视频生成的旅程中,我们首先需要了解这项技术的基础。AI视频生成,简而言之,是利用人工智能技术自动创建或编辑视频内容的过程。这一过程减少了人工编辑的需求,使视频制作更加高效和个性化。AI视频生成技术的应用范围广泛,从生成简短的社交媒体视频到创建复杂的动画序列,它为视频内容的创作开辟了新的可能性。 https://blog.csdn.net/m0_52537869/article/details/136263600
2.AI生成视频的法律风险随着人工智能(AI)技术的飞速发展,AI生成视频的能力越来越强。从简单的图像编辑到复杂的影片制作,AI已经可以 在很大程度上模仿人类的创造力。然而,这种技术进步也带来了前所未有的侵权风险。 一、版权归谁所有 著作权法保护的作品的原创性,无论视频、图文等都受到法律保护。但AI生成的视频是否属于原创作品,这在法律https://m.thepaper.cn/newsDetail_forward_26841318
3.VeggieAI:在线AI视频生成工具Veggie AI 是一种在线动画视频生成工具,它利用人工智能技术生成可控视频。用户可以输入图像、视频或文本提示,来创建与提供的动作和角色描述完全匹配的短视频。这个工具有几种模式,包括混合模式、动画模式、创意模式和风格化模式,每种模式都允许用户以不同的方式生成视频https://pidoutv.com/sites/20696.html
4.难以置信,全AI生成美女视频,46秒逼真神态骗过所有人一位推特网友于是使用AI来检测视频是不是AI生成的: 他使用了两个不同来源的AI检测软件,结果证明视频就是人工智能生成的。 毕竟,视频中鸟鸣声一直在循环,花草都纹丝不动,这实在太诡异了。 参考资料 https://twitter.com/BenjaminDEKR/status/1772730757695275072https://36kr.com/p/2707411553941382
5.如何通过AI生成视频的网站分享SD分享导航站SD分享导航站Lumen5将强大的人工智能与简单的拖放界面相结合,可帮助用户在几分钟内创建专业的视频内容。 7、Genmo AI 网址:https://alpha.genmo.ai/ Genmo提供具有AI的梦幻视频生成。还可以查看社区生成的视频。 8、Wonder Dynamics 网址:https://www.wonderdynamics.com/ https://home.designshidai.com/5810.html
6.AI生成视频:有点惊艳,有点离谱在创投圈,视频生成类AI正在取代大语言模型,成为近期最热门的赛道。前段时间出圈的Pika,给这团火又添了一把柴。https://chuangke.aliyun.com/info/1070957.html
7.6个绝佳AI短视频生成工具ai大模型计算机视觉人工智能技术随着人工智能技术的飞速发展,AI视频生成工具逐渐成为了视频制作领域的热门话题。这些工具利用先进的深度学习、自然语言处理和计算机视觉技术,大大简化了视频制作过程,能够节省你的时间和精力。 下面给大家介绍六个非常棒的AI视频生成工具,可以助你在制作视频时更轻松、更高效,分别是: https://dy.163.com/article/J6REDL7S0518R7MO.html
8.人人都可以用的免费AI全自动生成视频软件,一键生成视频!现在小编要向大家介绍一个免费好用的工具——万彩AI,它可以一键生成视频,还能生成文章,并有着将照片制作成数字人等功能,让不少领域的人群都能轻松享受到人工智能的便利。 所以,万彩AI是什么样的?下面跟着小编来了解。 传送门:扫描下方二维码或点击链接https://ai.kezhan365.com/inviteCode/shFdDt,即可免费体验万https://www.animiz.cn/blog-7759.html
9.免费的人工智能文本到视频生成器创作者和编辑器Designs.ai Video Maker 是一个由人工智能驱动的视频创建和视频编辑平台,允许用户快速轻松地创建令人惊叹的自定义视频。该平台使用机器学习算法来协助视频创建过程,包括生成自动视频编辑和建议设计元素。它与 Chatgpt 配合使用,可以创建无缝的文本到视频体验。 https://designs.ai/cn/videomaker
10.ai一键生成短视频免费版什么是AI智能生成短视频? AI智能生成短视频,顾名思义,就是借助人工智能技术实现视频制作的自动化。使用者只需输入相关素材或文本,AI便能依据特定算法创建出一段完整的视频。这一过程高速、便捷、且能在很大程度上满足用户的个性化需求。 AI智能在短视频生成中的优势 https://fuwu.11467.com/info/32079506.htm
11.ai生成短片视频ai生成短片高清原创视频下载AIGC-创意 广告片-TVC广告 VPLAY 共 2 位创作人 VPLAY代理/策划/制片人/制作 Yang导演 播放:706 人气:227 时长:03:52 《弦外知音》——人工智能生成动画视频创作 剧情短片-喜剧 AIGC-创意 肖仁余 共 5 位创作人 肖仁余监制 donlinlin策划/摄影师 何定益特效师/创意/后期导演/合成师/动画师 胡不胡桃视https://www.xinpianchang.com/search/1173369
12.2024年10个最佳人工智能视频生成器10个最佳人工智能转录软件和以下是市场上一些最好的人工智能视频生成器: Pictory图片 https://www.unite.ai/zh-CN/%E8%BD%AC%E5%88%B0/%E5%9B%BE%E7%94%BB Pictory是一款AI视频生成器,可让您轻松创建和编辑高质量视频。 该工具最好的方面之一是您不需要任何视频编辑或设计经验。 https://blog.51cto.com/u_12763213/9987769
13.AI视频生成平台AI视频生成平台是一款集成了强大的AI视频生成、剪辑和制作工具的综合平台。通过利用先进的人工智能技术,AIGC视频平台能够帮助用户快速、高效地创建精美的视频内容。无论您是个人用户还是专业视频制作人员,AIGC视频平台都能满足您的需求,让您轻松实现视频创作的梦想。https://www.aigc.cn/favorites/ai-video
14.分享几个免费AI生成工具(第一期)腾讯云开发者社区今天来给大家分享几个国外免费的AI视频生成工具 Artflow ai https://app.artflow.ai Artflow.ai 是一款人工智能工具,旨在帮助用户创建自定义头像并让他们的故事栩栩如生。主要特点和优势包括: 自定义创作:从文本中生成角色、场景和声音,并编写独特的对话 https://cloud.tencent.com/developer/article/2296041
15.elai.io官网,ai视频生成软件工具,数字虚拟人,文字,ppt生成视频在Elai.io 的帮助下,本地化变得前所未有的简单。您将会惊讶于您的视频可以传播多远和广泛。 450+ 声音 亦来提供针对不同类型的内容和受众量身定制的多样化声音。用户可以选择不同的口音和语言,以及各种语气和风格。 根据提示生成视频 输入一个主题,我们的人工智能会生成文本,可以对其进行审查、增强并自动转换为视https://feizhuke.com/sites/elai-io.html
16.最全合集!20个AI视频生成产品推荐&实战教程!优设网本篇通过产品介绍和丰富的案例实践,带你了解 AI 视频有哪些产品,效果如何实现。产品概况若从生成方式分类,AI 视频生成包含:文生视频、图生视频(Runway、Pika labs、SD + Deforum、SD + Infinite zoom、SD + AnimateDiff、Warpfusion、Stabilihttps://www.uisdc.com/aigc-video-2
17.15个免费的AI视频生成工具和软件,视频创作提效神器AI工具集视频,作为最吸引人的媒介之一,已经成为传达信息、讲述故事和创造影响力的强大工具。高质量的视频制作往往需要昂贵的软件和专业的技能。随着人工智能技术的飞速发展,现在有了免费的AI视频生成工具,本文将介绍15个免费的AI视频生成工具,降低了视频制作的门槛,为创意表达打开了新的可能性。帮助用户无需专业知识就能创造出https://ai-bot.cn/ai-video-generation-tools/