国产全AI游戏来了?!大模型直出开放世界游戏,有声可交互动画动作音效全ai游戏

距离普通人凭想法就能做出游戏的时代,又近了一步。

AI游戏生成天花板今年以来不断突破,就在昨天,国产游戏AI团队也加入卷出了新高度。

巨人网络发布了“千影QianYing”有声游戏生成大模型,其中包括游戏视频生成大模型YingGame、视频配音大模型YingSound。

用一段文字、一张图,就能生成模拟开放世界游戏的视频,并且有声、可交互,可操控角色的多种动作。

面向开放世界游戏,无需游戏引擎

概括来说,YingGame是一个面向开放世界游戏的视频生成大模型,研究团队来自巨人网络AILab、清华大学SATLab,首次实现角色多样动作的交互控制、自定义游戏角色,同时具备更好的游戏物理仿真特性。

精确的物理规律仿真

从生成的视频中看,无论是汽车碰撞、火焰燃烧这类大场面,还是水中慢走、障碍物自动绕行这种人物行进,都表现出了出色的遵循物理规律能力。

多样动作控制

交互对游戏至关重要,YingGame能够理解用户的输入交互,包括文本、图像或鼠标、键盘按键等操作信号,从而让用户能够操控游戏角色的多样动作。

视频中展示了角色在开枪、变身、施法、使用道具、攀爬、匍匐、跑跳等肢体动作的交互,相比同类模型更加丰富、丝滑。

角色个性化与精细主体控制

YingGame还支持输入一张角色图片,实现角色自定义生成,同时对角色主体实现精细化控制,从过去的AI捏脸跨越到现在的AI捏人。

第一人称视角

此外,还看到模型生成的第一人称视角的游戏画面,不得不说,这个视角有很足的游戏沉浸感。

怎么实现的?

从技术上看,YingGame通过融合跨模态特征、细粒度角色表征、运动增强与多阶段训练策略,以及所构建的高效、高质量游戏视频训练数据生产管线,使得生成内容具备可交互能力的多样动作控制、角色自定义与精细主体控制、复杂运动与动作连续性等特性。

在交互性实现上,YingGame结合了多个InteractiveNetwork模块:理解用户输入的多模态交互方式,实现多样动作控制的多模态交互网络—MMIN(Multi-ModalInteractiveNetwork);实现复杂与连续角色动作生成的动作网络—IMN(InteractiveMotionNetwork);自定义角色生成与提高角色生成质量的角色网络—ICN(InteractiveCharacterNetwork)。

此外,为实现高质量训练数据构建,巨人AI团队设计了一条高效的游戏视频数据处理管线:

让AI游戏进入有声时代

除了YingGame之外,巨人还发布了针对视频配音场景的多模态音效生成大模型YingSound。

这是在此之前AI游戏生成领域没有实现的,而“声音”是游戏的基本要素。

YingSound由巨人网络AILab、西工大ASLPLab和浙江大学等联合研发,它最重要的技能是:给无声视频配音效,实现音画同步。

理解各种视频画面能力一绝

来一段游戏的配音示例,通过演示视频可以清晰看到,这个模型能够精确地生成与场景高度匹配的音效,包括开镜、炮轰、射击等声音,完美还原坦克进攻与士兵防守射击的声音,创造了沉浸式的游戏体验。

△视频源自《战地游戏》录屏

在动漫场景中,模型展示了对复杂剧情的理解能力。例如,在一段鸟儿互相扔蛋的动画中,模型生成了从惊讶到扔蛋、蛋飞行轨迹、接住蛋等一系列卡点且高度符合视频内容的音效。

△视频源自动画《Boom》片段

再来看看以下小球快速移动的画面,模型生成的声音能够精准匹配画面的动态变化,并针对小球不同状态生成相应的场景音效,充分展现了其对动画内容的深度理解。

△视频源自3D动画短片《TheMarble》片段

在真实世界场景中,通过一段激烈的乒乓球对战视频,模型能够精准地生成每次击球所产生的音效,甚至还生成了球员跑动时鞋底与地面摩擦的声音,这充分展现YingSound对视频整体语义的深刻理解和出色的音效生成能力。

测评结果领先

研究团队公开了YingSound的两个核心模块:基于DiT的Flow-Matching构建的音效生成模块,以及多模态思维链(Multi-modalCoT)控制模块,为音效生成提供精准支持。

在音效生成模块中,团队基于DiT的Flow-Matching框架,提出了创新的音频-视觉融合结构(Audio-VisionAggregator,AVA)。该模块通过动态融合高分辨率视觉与音频特征,确保跨模态对齐效果。通过多阶段训练策略,逐步从T2A过渡到V2A,并采用不同数据配比训练,使模型具备从文本、视频或二者结合生成高质量音效的能力。

同时,团队设计了多模态视频-音频链式思维结构(Multi-modalCoT),结合强化学习实现对少样本情况下音效生成的精细控制,可广泛适用于短视频、动漫及游戏等配音场景。

长期来看,视频生成技术因其展现出的取代游戏引擎的潜力,势必会对游戏行业带来颠覆式创新。

通过文字描述就能创作一个游戏,不再是异想天开。这个领域的发展速度之快超乎想象,AI将带来游戏创作平权,未来游戏创作的唯一限制可能只是创作者们的想象力。

今年年初,史玉柱谈到巨人网络在探索打造一个AI游戏孵化平台,降低做游戏的门槛,让普通人也能做游戏。这不,年底就交了第一份“作业”,期待他们在AI游戏赛道的下一步规划。

THE END
1.虚拟现实游戏机品牌排行榜十大品牌京东JD.COM为您提供虚拟现实游戏机排行榜、虚拟现实游戏机哪个牌子好、虚拟现实游戏机十大品牌等相关资讯,从虚拟现实游戏机价格、评价、图片等多方便比较,为您推荐品牌虚拟现实游戏机,网购虚拟现实游戏机上京东,放心又轻松!https://m.jd.com/phb/652a9abc99ce827a223.html
2.AR游戏世界让传统玩具焕发新生机的科技力量AR游戏之父:无缝融合 增强现实技术首先在移动设备上实现,它允许用户通过智能手机或平板电脑看到虚拟物体叠加到真实环境中。这项技术最早由美国帕洛阿尔托研究实验室(PARC)的科学家约翰·奥卡菲特提出的概念,被称为“头戴式显示器”。随着时间的推移,尤其是苹果公司推出iPhone后,这一概念得到了进一步发展和完善。 https://www.206sk8xl.cn/zhi-neng/632058.html
3.目前为止最好的AR游戏设备竟然出自联想北京时间9月1日,在德国柏林消费电子展(IFA 2017)上,联想与迪士尼合作的一款由智能手机驱动的增强现实头戴设备——Lenovo Mirage,全球首发。 本届IFA期间发布的Lenovo Mirage正是用来运行此游戏的沉浸式AR设备,把装有《星球大战?:绝地挑战》游戏APP的手机插入此款AR设备中,再配备酷炫的手持设备光剑控制器后,进行畅http://m.cheaa.com/n_detail/w_516314.html
4.10年前的AR游戏是什么样的现在,当我们谈论增强现实(Augmented Reality,AR)游戏的时候,脑海里跃出的是生动鲜活、叫声可爱的皮卡丘。AR游戏进化到这个样子并不是一蹴而就的。从实验室到公众身边,从笨重的可穿戴设备到轻巧便携的智能手机,AR游戏的发展花了50多年时间。 ■火箭筒大战外星人?一款10年前的AR“老游戏” http://www.chuapp.com/article/286327.html
5.SpatialMRX便携设备发布,可以将手机或平板电脑转换成AR游戏机这款名为Spatial MRX的便携设备可以把用户的手机或平板电脑转换成全息的AR游戏机,内置摄像头,用户不需要拿着。这款多人游戏平台几乎就像一款升级版的桌面经典战舰,将任何桌面都变成了一种MR游戏体验,投射出来的全息字符可以实时控制。构建空间MRX是一回事儿,但系统还需要内容使其可行。幸运的是,《空间游戏》已经与几https://www.elecfans.com/d/730781.html
6.加特林生产厂家儿童ar游乐设备3D实景娱乐射击枪全国供应AR加特林游戏枪的操作非常简单,用户可以通过手柄随意选择切换不同类型和内容。这种便捷的操作使得即使是小孩也能快上手,并享受到游戏的乐趣。而且,设备的外观科技感十足,本身就具有一定的吸引力。 3. 多样化的游戏模式与内容 AR加特林游戏枪提供了多种游戏模式,包括双人玩、三人玩、*多四人玩等。游戏中有各种各样的http://tjyjzxc.51sole.com/companyproductdetail_431633542.htm
7.VRAR星际狩猎多人互动游戏体感设备射击游戏体验馆批发,厂家报价提醒:以上所展示的 "VRAR星际狩猎 多人互动游戏体感设备 射"信息由卖家自行提供,内容的真实性、准确性和合法性由发布卖家负责,交易前请认真核实,中外玩具网不承担任何保证及法律责任。 买家还在看 1件起订¥8888.00 VR体验馆加盟 各种VR设备VR游戏体感互动设备出售 https://www.ctoy.com.cn/sell/show-1213293.html
8.AR狙击游戏设备AR狙击游戏设备实感射击游戏,采用裸眼VR技术,不用戴头显即可沉浸游戏体验中;四人独立枪位输出,枪柄后座实时反馈,逼真模拟;游戏中加入双杀、连杀、超远爆头、移动爆头等各种超强竞技氛围机制,为游戏增添趣味性;12个游戏关卡,可联机,复玩率高、粘性强。https://www.yingdl.com/item/50.html
9.AR体感互动游戏AR投影互动游戏儿童AR互动投影设备我们提供最先进的AR体感互动游戏和AR投影互动游戏设备,让您身临其境地体验游戏的刺激和乐趣。我们还提供专门为儿童设计的AR互动投影设备,让孩子们可以在游戏中学习和成长。无论您是想寻找一种新颖的游戏体验,还是想让孩子们在游戏中获得乐趣和启迪,我们都可以为您提供最https://www.whkleader.com/artouyinghudongyouxi.html
10.VR一VR和AR怎么选?玩游戏的沉浸感真的有那么强吗?附PICORokid如果你想买AR眼镜的话,推荐雷鸟air plus,重量轻,佩戴起来没有负担。需要外连投屏盒子或者其他设备才能享受到海量影视资源,外连PS游戏机或者Switch还能体验大屏打游戏的乐趣,沉浸式相对一般,比较推荐单纯想体验大屏看电影、玩游戏的朋友入手这款AR。 广告 https://post.smzdm.com/p/a90pp7w7/
11.VR/AR概述因此,现阶段的消费级AR设备通常具有的轻便、透明棱镜、摄像头的标识。 2.2.3 技术区别 (PS:技术小白,此部分直接摘抄自TechWeb) 类似于游戏制作,创作出一个虚拟场景供人体验,其核心是Graphics各项技术的发挥。和我们接触最多的就是应用在游戏上,可以说是传统游戏娱乐设备的一个升级版,主要关注虚拟场景是否有良好的体https://maimai.cn/article/detail?fid=1606838732&efid=uGnd_NVzQ4bCLDYWIJeBmg
12.AR设备的商业和技术潜力接下来,《EE Times》将带您回顾AR和VR的基本原理,并着重于讨论增强现实的商业和技术潜力。 AR与VR的异同 增强现实(AR)很容易被误认为就是虚拟现实(VR)。这是因为我们都看过参加展会的与会者试戴体积庞大且笨重的光学头戴式显示器(HMD)以及类似的设备。这是无意中发生的趣事,很难让人忘记。 http://www.360doc.com/content/15/0306/10/1751130_453010119.shtml
13.共享AR加特林游戏枪VR射击儿童体感3D游戏机网红摆地摊设备批发【抖音同款】掌上游戏机400种游戏全新经典怀旧SUP双人充电游戏机 ¥ 29.80 大号螃蟹水机套圈怀旧玩具游戏儿童幼儿园经典回忆游戏机玩具 ¥ 3.00 电玩城娱乐设备VR游戏机大型商用娃娃机儿童商场未来主机共享街机 ¥ 812.50 新款智能AR枪玩具亚马逊全景ar加特林4D体感代发儿童礼品游戏枪AR ¥ 66.00 客户http://wap.yiwugo.com/products/957551676
14.AR体感互动游戏AR投影互动游戏儿童AR互动投影设备专为提高儿童观察和应变能力而定制的高科技体感互动游戏,在游戏机里面使用了首创的体感指令识别TXM技术,高精度巨幅游戏画面、绚丽的**,所到之处必定引起消费者驻足,争相感受高科技的神奇魅力。 所属分类:中国仪表网/投影仪 AR体感互动游戏-AR投影互动游戏-儿童AR互动投影设备-武汉科领多媒体的文档下载:PDFDOCTXT https://wuhan.11467.com/info/19484086.htm
15.AR游戏机AR加特林儿童玩具游乐设备机械/设备产品06:02:59 r** 联系了该商品所在商家 03:43:15 s** 联系了该商品所在商家 01:44:20 w** 联系了该商品所在商家 14:06:25 t** 联系了该商品所在商家 22:36:59 u** 联系了该商品所在商家 4人精品机 剪刀机 礼品机 娃娃机 1000.00/台 电玩游戏设备厂家 http://www.qtwb2b.com/sell/show.php?itemid=2097267
16.「图文」AR增强现实百科1、具有国际水平的可视化编辑器,制作出生动的AR应用。 2、所见即所得,立即生成,立即使用。 3、支持Windows、苹果iOS、安卓、Linux等系统;支持PC、平板电脑及智能手机等移动设备。 AR增强现实视频案例 苏州宜家AR增强现实 大众车展AR增强现实 无锡万达广场AR增强现实游戏https://www.huomi360.cn/far/aar/a101057.html
17.《视网么AR》AR眼镜设备推荐清单综上所述,以上几款AR眼镜设备在功能和应用上都有着各自的优势和特点,适合不同的使用场景。在选择时,可以根据自己的需求和预算进行综合考虑,以获得更佳的AR体验。 关于《视网么AR》AR眼镜设备推荐清单的介绍到此就结束了,如果你还想了解更多这方面的信息,记得收藏关注《搜搜游戏网》。https://www.sousou.com/bk/316066.html
18.在虚拟和现实里游刃有余:增强现实技术另外,可穿戴设备特别是智能眼镜的逐步成熟,Google Glass、Vuzix AR 眼镜、Ora-SAR 增强现实眼镜、还有 iOptik 增强现实隐形眼镜,包括近日刚在 MWC 亮相的索尼 Smart Eyeglass 原型产品,无疑是为增强现实培育了一块***土壤。特别是 Google Glass 对于增强现实的推动作用,将无异于微信之于二维码。 https://www.51cto.com/article/431188.html
19.IDC发布2019年VR/AR市场十大预测,VR游戏市场将增长75%界面新闻特别在AR领域,电力、制造等巡检将布局AR应用,配合5G网络更好提供远程信息交互及支援。 AR技术的应用在工业互联网的智能化发展中发挥重要作用。通过物联网以及AR技术的结合来实现可视化管控,工作人员能够通过AR设备直观获取目标设施的关键实时信息,同时可根据异常提示快速定位问题以及制定解决方案,从而有效降低设备事故率,提https://www.jiemian.com/article/2854853.html
20.混合现实一体机VR智能3d眼镜头显XR设备游戏机非AR参数配置规格苏宁易购为您提供最全的PICO 4 Ultra MR 混合现实一体机VR智能3d眼镜头显XR设备游戏机非AR参数配置、规格、性能、功能等详细信息。想了解更多PICO 4 Ultra MR 混合现实一体机VR智能3d眼镜头显XR设备游戏机非AR相关信息,请关注苏宁易购。https://www.suning.com/itemcanshu/0000000000/000000012435373405.html
21.儿童AR魔幻沙盘室内游乐设备益智款游戏桌儿童玩沙3D互动投影主营产品:AR全息投影、互动装置开发租赁、暖场活动道具、美陈展览 -- 产品标签| 魔幻沙盘租赁儿童益智装置儿童多媒体道具创意投影装置沙滩投影游戏 致力于公关活动策划,VR/AR/AI内容开发设备租赁及创意节目策划演绎三大领域公司永远有一批设计师团队,多年来一直投入在演出与会展https://www.china.cn/qtshangwufuwu/5027871186.html