迪士尼是怎么做双足机器人的?

酷似“瓦力”的迪士尼机器人,背后是什么原理?

编译|陈骏达

编辑|Panken

智东西8月1日消息,7月15日,迪士尼公布了一篇16页的论文,详细介绍了他们新型双足机器人BD-X的主要设计和控制方法。这个机器人外形酷似《机器人总动员》里的“瓦力”,灵感源自于《星球大战》中的同名机器人。其硬件采用标准零件和3D打印外壳,腿部有5个自由度,通过强化学习掌握了动画人物的行走姿态,动作灵巧流畅,还锻炼出跨越复杂地形的能力。

在不久前的IEEE活动上,这个迪士尼机器人还跟杭州宇树科技的机器狗面对面炫技斗舞。

更早之前,它在今年3月的英伟达GTC大会上作为惊喜嘉宾压轴出场,与英伟达创始人兼CEO黄仁勋亲密互动,还摇头晃脑撒娇卖萌。

这一机器人以娱乐为目的的设计理念极大降低了硬件复杂度与成本。但迪士尼为这台机器人加上了额外的扬声器、天线、头灯和眼睛,这让它能以更多的方式表现自己的“情绪”。

虽然BD-X看上去活灵活现,似乎真的能理解人们说的话,但其实它并不具备主动的感知和行为能力。它的一举一动都是通过人工操作实现的。这台机器人配备了来自英伟达的机载计算机Jetson,能将人类指令与训练时积累的经验结合,输出最终的行动指令。

01.

机械设计简单有效服务娱乐与创意目的

这一机器人主要使用了市面上的标准化零件,而外壳则是3D打印的,但经过软件调试后,仍然可以在降低硬件复杂度的前提下实现不错的表现。

这一双足机器人的总重为15.4公斤,高度为0.66米。每条腿上有5个自由度,而头部与颈部则有4个自由度。腿部的高自由度使得这一机器人能完成大幅度的动作,而头颈部的高自由度则让机器人可以通过动作表现各种妙趣横生、情感丰富的动作。

有趣的是,除了头部和躯干上配备的扬声器,这台机器人还有具备执行器的天线、能点亮的眼睛和一盏头灯。这些设备为机器人提供了更多表现情绪的方式,同时其控制和驱动都是相对独立的,因此可以选择是否搭载这些功能。

02.

利用强化学习掌握动画动作在英伟达IsaacGym中模拟训练

为了给机器人动作提供一个清晰的框架,迪士尼的研究人员将机器人的动作分为以下3类。

1、持续性动作:没有明确的起点和终点。机器人保持平衡,并对测量到的状态和连续的控制输入流做出响应。

2、周期性运动:有一个周期性的相位信号传递给策略。在这种模式下,相位信号无限循环。

机器人的控制策略是机器人学中的重要概念,指的是将机器人的状态映射为动作或电机命令的函数,使机器人能实现预期的行为和任务。

研究人员让BD-X机器人通过强化学习的方式掌握了多种控制策略,分别针对上述3种类型的动作。

根据机器人的CAD模型,迪士尼的研究人员构建出了这一机器人的准确物理形态、执行器和它与环境的互动,并通过英伟达的机器人训练平台IsaacGym模拟出这一机器人的刚体动力学特征。研究人员还通过定制的执行器模型进一步模拟了这一机器人的完整动力学特征。

BD-X机器人的动作是根据动画内容学习的。迪士尼的研究人员提取了动画中人物的特定动作指标,如躯干的全局位置、关节的位置和矢量等信息,这些信息将用来训练这一BD-X机器人模仿动画中的动作。

在IsaacGym的模拟训练中,机器人会收到强化学习系统的奖励和惩罚。这一系统会考虑动作与动画人物的相似度、动作的规范程度(如有无关节扭曲、动作是否流畅)以及机器人是否生存(“死亡”被定义为头和躯干与地面接触,或头和躯干碰撞),并给出相应的奖惩。

训练过程中,系统还会模拟出随机的扰动、牵引力还有不同的地貌,这提升了机器人的鲁棒性(Robustness,指抗干扰性或稳定性)。

03.

并无主动感知和行动能力通过复杂控制器实现运动

实际上,BD-X机器人并无任何主动的行为和感知能力,其动作都是通过专业人员操纵一个复杂的控制器实现的。在运行期间,操作员可以使用直观的遥控互动界面控制这一机器人。这一操纵设备较为复杂,有2个摇杆、2块路径板,正反面总计有十几个按键。

在虚拟训练结束后,神经控制策略的权重被冻结,策略网络被部署到机器人的机载计算机Jetson上。部署后的控制策略和低层次控制器直接与机器人的硬件交互,还能融入惯性测量单元和执行器的测量数据。

机器人内置的动画引擎能自动将操作员输入的指令,与机器人内置的策略控制命令、展示功能信号(天线、眼睛、头灯的控制信号)和声音信号结合起来,为控制策略生成最终指令。

人工操纵指令和内置策略控制命令的结合能避免机器人出现训练过程中研究人员希望规避的动作,如摔倒、动作僵硬不流畅等等。

展示功能和音频是机器人的受控元素,在表现角色方面起着关键作用,但不会影响系统的动态。它们的行为通过动画引擎发出的动画信号和状态反馈与机器人的运动同步。

04.

结语:AI让动画人物走进现实“不实用”的机器人也有价值

AI技术的发展让机器人的一举一动都更为逼真自然,而强化学习让专业动画师制作的人物动作在现实中落地。虽然BD-X机器人并不像其它双足机器人那样能进工厂、上流水线,但我们也乐见娱乐目的的机器人技术进一步发展,让普通人也能享受到机器人带来的快乐。

THE END
1.用AI可以轻松替换视频中的人物!软件教学用AI可以轻松替换视频中的人物!2024-12-16 00:31:03 苏有朋影音馆 吉林 举报 0 分享至 0:00 / 0:00 速度 洗脑循环 Error: Hls is not supported. 视频加载失败 苏有朋影音馆 5919粉丝 每天更新好的作品 02:02 “鞋放三处,家中不富”,想要家庭财运变好,别在3个地方放鞋子 01:55 36小时主持https://www.163.com/v/video/VAIID87OQ.html
2.怎么提取游戏人物立绘文字3. 利用AI训练模型进行文字识别 近年来,随着人工智能技术的发展,利用AI训练模型进行文字识别成为了一种有效的提取游戏人物立绘文字的方法。通过训练模型,使其具备识别立绘文字的能力,我们能够更好地应对各种复杂的场景和文字样式,并提高提取的准确率。 使用游戏人物立绘文字提取的注意事项 https://tool.a5.cn/article/show/25952.html
3.android提取一张图片轮廓android获取图片在一张人物侧面的照片中,提取出人物脸部的精确轮廓线并转存为Ai文件 1、打开第二张图片,在左侧工具栏中找到“自由套索”工具,使用该工具选取人物的眉毛、眼睛、鼻子、嘴巴等部位。选区大致呈一个T型(也可以使用钢笔工具依次连接,效果是一样的)。 http://www.pzhseo.com/article/dgddhii.html
4.AI人像抠图技术:一键智能提取视频与照片中的人物形象利用万兴喵影的先进AI人像抠图技术,您可以轻松地从视频中提取人物,并将他们巧妙融入各种新颖、激动人心的场景中。这项功能能够智能识别视频中的主角人物,一键操作即可精准移除背景,让创意无限延伸。https://miao.wondershare.cn/features/ai-portrait.html
5.AI少女工作室嘲卡人物提取器ModV1.0下载AI 少女 资源介绍 两个全部是安装包应用程序,请安装完后使用 详细介绍 简单简介 在3DM Mod站下载AI 少女最新的工作室场景卡人物提取器 Mod,由soeminnminn制作。#点点滴在我们的平台上分享了这个免费且高质量的游戏模组,让玩家们可以享受到更加丰富的游戏体验。快来3DM Mod站下载并尝试吧! https://mod.3dmgame.com/mod/192313?amp=1
6.ai人像提取离线版人像自动扣图一键扣出图片人物工具无需联网资源一键提取图片中的人物,二次元的也可以,下载解压,运行人像提取.exe ,选择图片即可自动扣出人物形像,这个软件是离线版,无需担心没有网络了,不更新了用不到的问题资源推荐 资源详情 资源评论 AI绘画训练工具离线版V3.0 浏览:123 V3.0版本:2023-5-2 1、DB、LORA训练参数设置分类设置,可设置参数更加详细; 2https://download.csdn.net/download/weixin_43511521/89711925
7.FaceChain相比其他商业应用,我们的生成速度提升了 100 倍,支持秒级图像生成。我们集成了基于Transformer的人脸特征提取器,其结构类似于Stable Diffusion,能更好地利用面部信息;我们使用密集细粒度特征作为面部条件,具有更好的人物再现效果;FaceChain-FACT与ControlNet和LoRA插件无缝兼容,支持即插即用。https://www.chinaz.com/2024/0202/1595050.shtml
8.www.hkld88.com/mokslip60312.html据日本NHK电视台报道,日本自卫队24日宣布,在11月举行的大规模演习中,将首次在冲绳县宫古岛投入地对舰导弹部队。军事专家李莉在接受媒体采访时表示,日本部署88式反舰导弹对于中国海军未来的远洋航行威胁较小,我们一定要用行动和实力告诉日本,中国海军走向远海是不可逆转的。 http://www.hkld88.com/mokslip60312.html
9.AI绘画怎么变成女的?1、将人物提取出来,肖像中的纯白色背景可以很容易地提取出人物。用快速选择工具(W)。https://www.3d66.com/answers/question_1371984.html
10.www.jhjx66.com/mokaka13883.html三,cijilu在线播放,张韶涵ai换脸自慰 四,小夫妻喜欢刺激叫同事一起3p,tobuHD 五,日本人妻偷拍,www舔阴啼免费视频 六,婊子和我插穴,奴隶调教韩国电影 七,色色色色人妻 【联系我们】 客服热线:133-2881-646 版本更新 V4.10.4 国产三级片网站在线看 https://www.jhjx66.com/mokaka13883.html
11.new.beijingchengzhi.com/mmmj8610974812岁怎么把自己的坤坤挤出牛奶 狠狠躁夜夜躁av无码中文幕 麻豆工作室传媒 免费福利在线播放 日本少妇的诱惑电视 女人与拘猛交69 AI换脸抽插wwwwwww 超薄肉丝足交 满18可进入的B站 亚洲人成色777777老人头 绳子上打结跨上去走处罚 天天日日日操 综合网色欲插插 荧被焯出白水图片 国产成人精品午夜片河南https://new.beijingchengzhi.com/mmmj86109748
12.jiaodakeyuan.cn/xxxr98734604/xxxr98734604 你能接受连上天连休天吗 详细信息 软件大小:32.79MBMB 最后更新: 一,实女高潮汇编HD,8娇小jPaSeⅩ侵犯 二,色宗合天天干天天干 ,ⅹⅹX欧美ⅹⅹ乂另 三,星悦娱乐的7IIII2扣 ,亚欧一级不卡免费人与兽视频在线观看免费视频在线观看http://jiaodakeyuan.cn/xxxr98734604
13.如何利用AI生成独特动漫人物形象(3)依照个人喜好,利用提取的颜色实创作。在创作期间,将颜色控制在三个右,以保持画面的简洁和统一。 (4)利用的钢笔工具,绘制动漫人物的基本轮廓。 (5)细化细节如眼睛、鼻子、嘴巴等。 (6)调整画面明暗关系,增强立体感。 4. 生成独到动漫人物形象 完成创作后,使用者可以导出图片,保存为动漫人物形象。通过绘画工具https://www.yanggu.tv/webgov/aixuexi/170620.html
14.揭秘AI绘画怎么把真人照片画成二次元人物?【怎么把真人照片画成二次元人物?为何会“翻车”将猫狗画成人?】 ◎记者 金凤 有了AI,人人都可以是艺术家。AI绘画的出现,恰如瑞士艺术家保罗·克利所言:“艺术不是再现可见,而是使不可见成为可见。”经过20年左右的发展,目前基于不同类型或者模态元素的AI绘画发展情况不尽相同,发展最久的是“以图生图”,再到https://m.jnnews.tv/p/945654.html
15.AI实验室无界AI提取人物姿态/姿态识别可根据用户上传的人物图作为AI绘画的参考图,提取人物的姿态和动作,生成一幅相同姿势的图片,效果准确且惊艳。 深度检测 Depth 深度检测可根据用户上传的人物图、建筑图或场景图推断输入图像的深度,然后使用文本和深度信息生成新图像,并保留更多结构和层次的细节。 https://www.wujieai.com/lab
16.掌握AI绘画技巧,让你成为动漫人物画师!在这个数字时代,人工智能的发展让许多行业焕发出新的生机。其中,AI绘画技术的兴起,让动漫人物画师们惊喜不已。通过掌握AI绘画技巧,你可以轻松创作出令人惊叹的动漫角色,实现你的绘画梦想! 你是否曾经梦想过成为一位独具匠心的动漫人物画师,为粉丝们描绘出令人叹为观止的角色?如今,AI绘画技术为你的梦想提供了实现的捷径https://www.meixiaosan.com/article/show/16174.html
17.提取照片中的人物软件有哪些呢一、AI人物识别软件 是微软Azure云平台推出的人脸识别API,可用于照片中人物的识别和提取。其准确度高,支持多种人脸属性的识别和分析,适用于多种场景。 亚马逊Rekognition是一款人脸识别服务,具备人脸检测、分析等功能,可以对照片中的人物进行准确识别和提取,支持人脸关键点检测、面部表情分析等功能。 https://www.jianshu.com/p/a220cbed69ce
18.AI少女HS2人物卡创作付费后可知提取码 继续查看 小米订制,爱在今朝6684 2021-04-24 邻家小姐姐,许昕蕊,真实感 知性可人,温文尔雅,捎带几分妩媚人物精致 等待你的体验 继续查看 小米订制,爱在今朝6684 2021-08-22 AI少女/HS2 明星卡 定制 3 小米订制,爱在今朝6684 2021-08-22 江疏影 2?https://www.azz.net/322543/320833?ivk_sa=1024320u
19.数据分析怎么展现人物画像效果帆软数字化转型知识库通过不断优化人物画像的展现效果,企业能够在竞争中占据优势,实现可持续发展。 以上是关于如何展现人物画像效果的全面探讨。通过整合数据、运用可视化工具、结合定性和定量数据、动态更新画像、借助机器学习和AI技术,并关注用户隐私和数据安全,企业能够更好地理解和服务其用户,最终实现业务目标。https://www.fanruan.com/blog/article/513620/
20.AI少女(AISyoujyo)模型提取方法教學娛樂計程車來源:互聯網 確定目標 以下圖捏好的人物和服裝為例。 Ninjaripper強行匯出模型 在工作室中載入捏好的人物及服裝,直接用Ninjaripper抓出模型。匯出以後,去掉不需要的模型就得到了需要的模型。https://www.entertainment14.net/blog/post/110961218-ai%E5%B0%91%E5%A5%B3-ai-syoujyo-%E6%A8%A1%E5%9E%8B%E6%8F%90%E5%8F%96%E6%96%B9%E6%B3%95%E6%95%99%E5%AD%B8
21.识别图片人物名字本文在自有数据的基础上,由AI智能模型生成,根据标题生成内容并适配到模板。内容仅供参考,不对其真实性及有效性做任何形式的保证。如果有任何问题或意见,请联系koogalleryb2b@huawei.com进行反馈,我们原则上将于7个工作日内做出答复或反馈处理结果。 识别图片人物名字:人工智能技术在图片识别领域的应用 https://marketplace.huaweicloud.com/article/1-a4a26cd3ff95731b3f9b3f3eea5f2fa7
22.admin文军营销进行人物和受众研究 选择正确的社交渠道 确定关键指标和关键绩效指标 选择合适的AI工具 评估并优化你的社交媒体和人工智能策略 继续阅读,卷起袖子,遵循以下路线图: 1.确定你的人工智能和社交媒体目标 如果你只是把脚趾伸进人工智能的海洋,那么从定义明确的目标开始。 这是为了提高参与度吗?简化您的内容创建?或者只是更http://www.wenjuntech.com/author/admin
23.AI少女/HS2设计贴吧工作室教程AI少女honey select 2的游戏自带的工作室功能非常强大,可以给人物摆造型、拍照、做自己喜欢的壁纸、可以https://kninebox.com/thread-585-1-1.html
24.视频ai换脸怎么弄视频ai换脸怎么弄:视频AI换脸是一种利用人工智能技术实现视频中人物面部替换的方法,能够让你将一个人的面部特征替换为另一个人的面部特征,从而达到换脸的效果。以下是详细的操作步骤:1.首先找到一款http://www.kudub.cn/kudubwd/1122677.html
25.深度解析!ControlNet模型的工作原理与应用嘲(附案例解析)介绍:提取图片中物体的轮廓线,AI 根据提取的轮廓重新生成一张与原图细节类似的图片。 实操案例: 大模型:disneyPixarCartoon_v10.safetensors 正向关键词: deer,outdoors,tree,blurry,grass,animal,nature,blurry background,antlers,day,animal focus,solo,horns, https://www.uisdc.com/controlnet-5
26.到照片唱歌,四大框架让AI生成的人物活起来丨GenAICon20242024中国生成式AI大会于4月18-19日在北京举行,在大会首日的主会场开幕式上,阿里巴巴通义实验室XR团队负责人薄列峰博士以《人物视频生成新范式》为题发表演讲。 随着Sora等文生视频模型掀起热潮,很多人都在探讨文生视频模型能不能算作世界模型。对此,薄列峰认为,文生视频模型与世界模型的机制存在差异,视频是一个观察https://zhidx.com/p/422525.html
27.www.lapierrebikes.com.cn/xxxr21679685/827937.html9月6日,在德国柏林国际电子消费品展览会(IFA)上,美的集团展示了其AIECO智慧节能解决方案。美的国际产品管理总监KurtJovais表示,随着用户对节能降耗和环境保护的关注日益增加,美的致力于提供突破性的解决方案,AIECO智慧节能解决方案在多个家电品类上平均降低了30%的能耗,这对于过去五年欧洲家庭电费上涨80%以上的背景下尤http://www.lapierrebikes.com.cn/xxxr21679685/827937.html
28.婚姻的荆棘《王权与自由》目前的问题主要是服务器和微交易方面,尤其是服务器问题最严重。有粉丝抱怨自己刚刚花了45分钟创建好了人物就掉线。而且玩家还不能选择一个不同的服务器。 记者以消费者身份走访各家银行网点询问黄金回购情况获知,目前国有银行多数支持回购自家销售的黄金产品,个别银行支持回购其他银行或黄金品牌的黄金产品http://crm.wymi.net/index.php/mokerlo/72494.html
29.《英雄联盟:双城之战》三渲二风AI就搞定了?AI“入侵”CG的日子看完游戏角色,怎么少得了卡通角色,尤其是看着自己喜爱的角色变成真人,不得不说一句,Ai太牛了!用Ai实现艺术目标,真的绝! 对于我个人而言,我非常喜欢《飞屋环游记》,当我看到这张图片时,真人版老爷爷完全满足了我心中的期待。 这一切都要归功于这位来自巴西的艺术家Hidreley Leli Di?o 。他用Ai将卡通人物、https://www.d-arts.cn/article/article_info/key/MTIwMTM1MTQ0NTmDuZesr5zGcw.html