单图10秒快速建模,腾讯的AI新神器卷入了3D赛道视图ai新神器视频生成模型

腾讯ARCLab又有新动作,这一次,生成式AI的焦点放在了3D生成上。

不久前,腾讯ARCLab发布了一种新的AI模型“InstantMesh”,可以使用单张静态照片渲染3D对象。

根据腾讯研究院的说法,InstantMesh是一种用于从单个图像即时生成3D网格的前馈框架,能够在10秒内创建多样化的3D资产。通过网络图片实时转换,InstantMesh可以生成元宇宙中的OBJ格式3D模型。

实际体验下来,InstantMesh生成的模型质量见仁见智,但生成速度的确出乎意料。有用户在社交媒体上展示了利用InstantMesh预置图像生成3D模型的过程,并一连用“Superfast”“highquality”形容InstantMesh的输出效果。

10秒内快速3D建模,还附赠模型六视图

InstantMesh的架构与Instant3D类似,都是由多视图扩散模型和稀疏视图重建模型组成。整个3D生成过程拆分为了两步:

首先,在给定输入图像后,使用多视图扩散模型生成3D一致的多视图图像;然后,利用稀疏视图大型重建模型直接预测3D网格,通过集成等值面提取模块(即FlexiCubes)渲染3D几何形状,并将深度和法线等几何监督直接应用于网格表示以增强结果。几秒钟内就可以完成建模。

1、多视图扩散模型

面对单一输入图像,InstantMesh选择了将具有可靠的多视图一致性和定制的视点分布的Zero123++集成到框架之中,通过多视图扩散模型生成围绕对象调整的六个新视图,捕捉全方位视角。同时微调Zero123++来合成一致的白色背景图像,确保后期稀疏视图重建过程的稳定性。

2、大型稀疏视图重建模型

InstantMesh稀疏视图重建模型架构在Instant3D的基础上进行了修改和增强,训练数据集由Objaverse80万个对象初始池中筛选出的大约27万个高质量实例组成。

在训练过程中,InstantMesh为了与Zero123++的输出分辨率保持一致,将所有输入图像的大小都调整为320×320,并将Zero123++生成的6张图像作为重建模型的输入,以减轻多视图不一致问题。

最后,生成的多视图图像进入基于Transformer的大型稀疏视图重建模型,进行精细化的3D网格重建。

而为了进一步提升3D模型的质量与逼真度,InstantMesh还引入了等值面提取模块FlexiCubes,可以直接作用于网格表示,将深度和法线等关键几何信息融入重建过程,犹如为3D模型披上了一件质地细腻、纹理丰富的外衣。得益于此,InstantMesh生成的模型在视觉上更为细腻,在几何结构上更为精准,从内到外优化全面。

整个图像到3D的转化过程在短短10秒内即可完成,这无疑为创作者开启了全新的效率时代。

无论是专业设计师寻求快速迭代设计方案,还是普通用户渴望将生活瞬间转化为立体记忆,InstantMesh都能快速满足需求。更重要的是,其强大的泛化能力确保了在面对各类开放域图像时,都能生成合理且连贯的3D形状,打破了传统方法对特定数据集的依赖,实现了万物皆可3D的跨越。

腾讯开发团队声称实验结果表明InstantMesh的性能显着优于其他最新的图像转3D方法,那么,站在使用者的角度,InstantMesh的输出效果相比其他同类型的模型,是否真的做到了又快又好呢?

新的家具建模神器

InstantMesh的生成速度有多快呢,实测从照片导入到最终的模型生成总用时不超过50秒,建模过程则基本维持在10秒左右。

对于模型质量,InstantMesh声称其生成的3D网格呈现出更加合理的几何形状和外观。

实际使用下来发现,InstantMesh生成的模型具有完成清晰的表面,并且结构完整,这一点在生成家具等物体时尤为明显。

可以看到,生成的六视图以及最终模型不仅完美复现了图片视角的椅子材质结构形态,甚至连图片中不可见的椅面连接处结构也复现得合理且准确。

而当图片中出现两个以上物体时,InstantMesh不仅能复现椅子和桌子的不同形态,甚至连二者的位置关系也完全一致。

同样的,在生成手办、玩偶等虚拟形象的3D模型时,InstantMesh的表现也十分出色。

生成的3D模型几乎已经可以看做是图片内容的一比一手办了,无论是在色彩、结构还是体积感上都处理得已经接近商用水准。只不过还是有瑕疵存在,在识别玩偶图像中衣领部分时,模型似乎不知道如何呈现衣领部分,而是简单的将其去除,导致玩偶3D模型看起来脖子过长。

而在处理动物等现实生物的图像时,InstantMesh就开始显得力不从心了。

可以看到,在处理几何形状简单的动物形象(比如下图的鸟)时,InstantMesh水平仍旧在线,对于图片整体十分还原,唯一的不足出现在抠图上,导致模型腿部缺失,为3D建模拖了后腿。

而面对更加复杂的动物图像,InstantMesh虽然尽力还原除了模型的大概,但也出现了脸部细节缺失、背部材质缺失等不足。

甚至,在面对连人类都会疑惑的“奇怪动物”时,InstantMesh同样也无从下手,当然,这一点无法苛责InstantMesh,毕竟目前的AI还无法向人类这样理解世界,至少在图片视角上,InstantMesh已经做到了还原,也算是合格了。

在论文中,InstantMesh不仅展示了自身的能力,还与TripoSR、LGM等类似的生成模型作了效果对比,称“TripoSR结果令人满意但缺乏想象力”“LGM等具有想象力但明显多视图不一致”。

那么,在同样的输入下,TripoSR和LGM的实际表现如何?

可以看到,TripoSR生成模型的质量在细节把控上优于InstantMesh,但相比之下,TripoSR对于体积感的把握并没有能够胜过InstantMesh,生成的企鹅形象未能像图片展示的一样饱满,从侧面看仿佛被砍了一刀。

而LGM生成的模型完美呈现了图片中没有展示的部分,且模型材质、形态控制出色,不足之处在于模型出现了轻微的重影,且在尾巴、后腿部分出现了不必要的模型粘连增生。

但同时,受制于输出过程中的分辨率控制,InstantMesh输出的图像在清晰度上明显遇到了瓶颈,虽然研发团队有意在未来的工作中解决这一限制,但即使解决了清晰度问题,由于客观存在的多视图不一致、细节建模问题,InstantMesh的建模效果离商用也还存在着一定差距。

至少目前来看,InstantMesh的应用场景更多可能还是在游戏3D资产等对建模精细度要求不高的领域上。当然,作为新一代的家具建模神器,在电商领域未来或许也能有InstantMesh的一席之地。

从百思买已经公布的电商购物应用《BestBuyEnvision》来看,用户在购买之前就可以在VisionPro界面中浏览产品的3D模型外观,这意味着一款拥有数以万计商品的购物软件的背后有着同样数量级的3D资产需求,而电商产品的迭代速度之快又要求企业能以速度更快、成本更低的方式完成商品建模,这使得以InstantMesh为代表的AI建模未来有机会成为电商人的标配工具。

3D生成的终点不是场景建模

3D生成技术在数字人领域的应用前景更多体现在超写实3D数字人建模上。

根据上海交通大学人工智能研究所的一篇论文显示,AI主要通过数据驱动的方式学习真实的数据分布、对数据分布进行采样以生成新的样本表示,并对数据表示进行渲染从而打造出高度真实的三维数字人。

而在3D数字人模型的表示方式上,常见的表示方式可以分为显式表示和隐式表示两种形式。其中,显式表示一般直接给出满足条件的所有元素的集合,如点云包含三维空间中点的位置,多边形网格则包含顶点位置及其连接关系等信息。

这一方法通常被应用在游戏、影视制作等工业应用中,优点在于传统的渲染管线已经能对其进行高效处理,但缺点在于生成模型的精细程度会受到分辨率限制,在对数字人高拟真外表的要求下,模型细节的增加会造成模型复杂度的上升。

在分辨率的硬性要求下,隐式表示就要好用得多。仅仅需要符号距离函数、水平集等三维空间约束,隐式表示就能够使数字人模型突破空间分辨率的限制,此外,使用深度符号距离函数、神经辐射场等神经网络逼近隐式函数还能恢复出数字人的精细几何与纹理,相比显式表示更加灵活。

国内团队推出的文本指导的渐进式3D生成框架DreamFace就结合了视觉-语言模型、隐式扩散模型和基于物理的材质扩散技术,可以生成符合计算机图形制作标准的3D数字人形象。

DreamFace不仅支持基于文本提示的发型和颜色生成,生成的模型还具备动画能力,能够提供更细致的表情细节,并且能够精细地捕捉表演。

而在国外,更有以谷歌DreamHuman为代表的的文字生成带动画3D数字角色技术。

DreamHuman将大型文本到图像合成模型、神经辐射场和统计人体模型连接到新的建模和优化框架中,使得生成具有高质量纹理和特定要求的动态3D人体模型成为可能。

经过完整的生成式三维数字人建模流程之后,生成模型将学习到数字人的先验信息,针对模型进行相应微调即可应用到下游任务。

特别是在数字人重建应用中,生成式数字人模型为重建任务提供了有效的先验约束,不仅有助于生成合理的重建结果,也减少了对于训练标签的要求,降低了重建成本。只需要从图像或视频中恢复人体和人脸的三维几何形状以及对应的外观信息,就可以实现真人与虚拟数字人一对一的数字化映射。

代表应用既有从单张图片重建出目标人3D化身,并合成支持大姿态驱动的真实说话人视频的“单图3D说话人视频合成技术(One-shot3DTalkingFaceGeneration)”,也有无需复杂采样和建模,只要一段几秒钟视频就能实现人物动作流畅的3D数字人合成工具“HUGS”(HumanGaussianSplats)。

其中,HUGS由苹果推出,是一种基于高斯函数的生成式AI技术,可以通过3DGaussianSplatting(3DGS)和SMPL身体模型的融合创造出更加生动和真实的数字人物。

苹果对于数字人的研究并非一时兴起,而是有实际服务于产品的先例。在VisionPro上,用户就可以通过前置摄像头扫描面部信息,并基于机器学习技术和编码神经网络生成数字分身。当用户使用FaceTime通话时,数字分身还可以模仿用户的面部表情及手部动作。

可以预见,HUGS等技术的加入将使数字人形象无论是在二维平面屏幕还是三维元宇宙空间中都能演绎出生动逼真的表演。在AI的加持下,无论是智能助手、虚拟现实游戏,还是视频会议等多元场景,未来都将被“身手矫健”的虚拟人占据,为用户带来与现实无异的沉浸式互动体验。

而这也是InstantMesh们未来可以选择的方向。

我们有理由期待AI生成技术将以更快的步伐不断迭代,带来愈发惊艳的视觉享受与生活便利。虚拟现实的好日子还在后头。

THE END
1.三维立体图制作软件排行榜前十名偏玩手游盒子分享十大三维立体图制作软件排行榜前十名手机应用,编辑为您推荐手机三维立体图制作软件排行榜第一名到前5名到前十名的应用。找三维立体图制作软件有哪些、三维立体图制作软件哪个好用,上偏玩手游盒子https://m.pianwan.com/s/zj-2583876
2.平面图app有哪些?手机绘制平面图的app推荐平面图软件平面图app有哪些?现在很多的平面图绘画都是设计师最基础的能力,好的平面创作app能提高大家的创作效率,今天小编就给大家带来很多好用的手机绘制平面图app,让更多的设计师小伙伴在手机上也能轻松绘画平面图,轻松提高自己的绘画能力,有兴趣的小伙伴快来和小编一起看看有没有你想要的绘制平面图的app吧! http://www.downcc.com/k/pmtapp/
3.扫描图纸生成三维立体图软件合集APP推荐豌豆荚扫描图纸生成三维立体图软件合集榜单为您提供最新扫描图纸生成三维立体图软件合集大全,这里不仅有扫描图纸生成三维立体图软件合集安卓版本APP、历史版本应用下载资源,还有类似扫描图纸生成三维立体图软件合集的应用推荐,欢迎大家前来豌豆荚下载。https://www.wandoujia.com/bangdan/395271/
4.PS怎样把立体图变成平面图3d溜溜设计问答平台为广大设计师们提供各种PS怎样把立体图变成平面图问题解答,3d溜溜素材问答平台汇聚全球各地的设计师、名师名司、设计爱好者等设计灵感和经验,迅速为您解决PS怎样把立体图变成平面图的困惑。https://www.3d66.com/answers_relation/relation_3280395.html
5.3dsMax怎么将平面图纸变成立体图3dsMax是一款基于PC系统的3D建模渲染和制作软件,有些新用户不知道该软件怎么将平面图纸变成立体图,接下来小编就给大家介绍一下具体的操作步骤。具体如下:1. 首先第一步打开电脑中的3dsMax软件,先点击左上角小图标,接着在展开的下拉列表中根据下图箭头所指,点击【导入】选项。2. 第二步先选择需要https://zhidao.baidu.com/question/1616175776881716947.html
6.CAD软件怎么将平面图变成立体图?CAD将平面图变成立体图的操作方法以上就是CAD软件将平面图变成立体图的操作过程了,你按照我的步骤操作就可以得到立体图了,自己试试看吧。想学习CAD,就来羽兔网!点击链接69套全面系统课程为你提供:https://www.yutu.cn/search/course.html?t=9&k=CAD 今日课程特别推荐: 学习CAD,刚入门便会遇到很多问题,如果没有得到有效的解决办法,会形成我们https://www.yutu.cn/question/tiwen_159074.html
7.CAD二维平面图转三维图CAD常见问题中望CAD官网CAD二维平面图转三维图 在CAD当中有多种方法可以帮助我们进行图像维度的转换,可以把二维图形转换成三维立体的图形,今天给大家介绍的是面域功能,面域指的是通过闭合的形状或环组成的二维平面的区域,他的有效对象有多段线、直线、曲线,曲线包括圆弧,圆等等样条曲线,主要的作用就是把一个个封闭的图形转换成面域之后,可以https://www.zwcad.com/service_69_9546.html
8.高级3D建模软件AgisoftMetashapePro激活版Agisoft Metashape Pro 是一款强大的PC端3D建模软件,专门设计用于将静态图像转化为专业级3D模型。此软件基于先进的多视图3D重建技术,能处理任意图片,并在各种环境下有效运行,极大提升了工作效率。 使用Agisoft Metashape Pro,用户能从任何角度和位置处理图片,只要目标物体在至少两张图片上可见,即可生成立体图形。软件的图https://www.bilibili.com/opus/955400425468592146
9.CAD平面图纸如何变成立体的?CAD图纸视图调整技巧分享在CAD软件中,将平面图纸变成立体图形需要遵循一定的步骤。首先,你需要选择合适的制作软件,然后借助软件来将CAD图纸的二维平面图调整为三维立体图。 推荐软件:迅捷CAD编辑器 软件介绍:迅捷CAD编辑器是一款功能齐全的CAD软件,用于创建和编辑2D和3D图形。 它提供了各种工具和功能,使用户能够轻松地绘制和编辑复杂的设计。 https://www.xunjiecad.com/30087.html
10.3dsMax肿么将平面图纸变成立体图以上就是使用3dsMax软件将平面图纸转换为立体图的详细操作步骤。通过这些步骤,您可以轻松地在3dsMax中https://ask.zol.com.cn/x/21869792.html
11.怎么把犀牛的立体图形拉成平面块面,就像纸盒打开变成平面一样根据以下资料。回答问题。 2012年北京地区外贸进出口规模达到4079亿美元,比2011年增长4.7%。其中,出口596亿美元,同比增长1.1%;进口3483亿美元,同比增长5.3%。 2012年北京地区文化产品进出口6亿美元,同比增长6.3%。其中,进口4.5亿美元,同比增长13.1%,增速较整体进口增速高出7.8个百分点。从全国范围https://www.shuashuati.com/ti/074cbb03a8d443fc9cf43c213922692f.html
12.怎么将平面图变换成立体图(软件教程)把平面形状图变成立体图是很快捷的,下面教你利用AI如何操作。 01 打开电脑中的AI软件,先在画板上绘制一个矩形。 02 矩形绘制完成之后,在上方菜单中选择“效果-3D-凸出和斜角” 03 在3D凸出和斜角选项界面,根据预览效果对位置、凸出厚度效果进行调整,就能够得到立体图了。 https://www.qb5200.com/article/500722.html
13.写了一年多的设计师装修笔记,现在分享给你优设网装修过程中最重要的几项资料:平面图、立体图、尺寸清单、配色表、预算表、施工采购顺序表。 平面图 装修公司会给你的,上面标有精确的距离尺寸。手机上要存一份,前期采购建材时估算价格用。 立体图 主要作用是设计格局,并方便与家人和装修公司沟通你的想法。立体图的制作要花些功夫,但也不至于太难。是准确表达你https://www.uisdc.com/designer-renovation-note
14.如何将C4D平面图转变为立体图像BIM免费教程>本文将介绍如何将C4D平面图转变为立体图像的方法。C4D是一款强大的三维建模软件,它允许用户创建高质量的平面图像。然而,有时候我们需要将平面图像转化为更具立体感https://www.tuituisoft.com/donghua/102606.html
15.怎么将平面图变换成立体图把平面形状图变成立体图是很快捷的,下面教你利用AI如何操作。 操作方法 01 打开电脑中的AI软件,先在画板上绘制一个矩形。 02 矩形绘制完成之后,在上方菜单中选择“效果-3D-凸出和斜角” 03 在3D凸出和斜角选项界面,根据预览效果对位置、凸出厚度效果进行调整,就能够得到立体图了。 https://www.coozhi.com/youxishuma/hulianwang/31229.html
16.3DVistaVirtualTourSuite2023.0.10激活版无需安装任何特殊软件或插件即可创建的游览,并可以在任何设备上在线和离线查看,通过虚拟导览,您在屏幕上看到的位置与在现实生活中的真实情况是十分一致的。虚拟游览通常可以包含许多不同类型的媒体和工具,例如照片,全景图,视频和音频。从技术上讲,虚拟漫游是将平面全景图像转换为球形格式。虚拟导览使观看者可以使用其http://www.sd173.com/soft/9292.html
17.数学平面立体几何图形绘制软件,教育绘图好帮手下载亿图数学平面、立体几何图设计软件,支持Mac, Windows和Linux 购买专业版 亿图软件绘制“数学平面、立体几何图”的特点 尺寸标尺:拖拽符号库的尺寸标尺,用户可以双击数值根据图形大小修改。 支持外部导入:绘制项目管理图时,亿图的软件也支持用户导入外部文档。 https://www.edrawsoft.cn/science/mathmatics/
18.3D如何把图形放在一个平面上2. 线框渲染:将3D线条渲染成线框模型,并通过透视投影将线框投影到2D平面上。线框渲染可以使用OpenGLhttps://www.hxsd.com/wenda/68507/
19.三维立体图能够让人感觉到立体效果平面图像、一类能够让人从中感觉到立体效果的平面图像 展开 发现时间 1838年 见载刊物 生物化学名词·生物物理学名词( 科学出版社) 目 录 1基本简介 2阴阳图 3案例说明 4注意事项 5主要分类 6区别 7制作软件 8基本功能 9后期制作 https://baike.sogou.com/v411113.htm
20.平面图生产立体效果图软件零代码企业数字化知识站Lumion:专为建筑师和设计师打造的渲染软件,可以快速生成高质量的立体效果图和动画。 Blender:免费开源的三维建模软件,功能强大,支持多种操作系统,深受设计师和艺术家喜爱。 以上软件都具有独特的特点和优势,设计师可以根据自己的需求和技术水平选择合适的软件来进行平面图到立体效果图的设计和展示。https://www.jiandaoyun.com/blog/article/464879/
21.用Matlab软件画平面图用Matlab软件画立体图三.ppt用Matlab软件画平面图用Matlab软件画立体图三.ppt,Matlab软件 一、用Matlab软件画平面图; 二、用Matlab软件画立体图; 三、 用Matlab软件求极限、导数、积分; 四、 用Matlab软件解方程; 五、用Matlab软件进行统计分析,数据拟合等 教学内容 命令 功能 plot3(x,y,z,’线形https://max.book118.com/html/2019/0318/6101240053002015.shtm
22.立体图形的平面展开图20240406.ppt关于立体图形的平面展开图主视图左视图俯视图第2页,共13页,2024年2月25日,星期天主视图左视图俯视图第3页,共13页,2024年2月25日,星期天第4页,共13页,2024年2月25日,星期天第5页,共13页,2024年2月25日,星期天第6页,共13页,2024年2月25日,星期天你知道我展开后是什么样子的吗?第7页,共13页,2024https://m.renrendoc.com/paper/322857768.html
23.普通物理学(一)课程教学大纲使学生理解机械波的产生和传播,平面简谐波的余弦表达式及其意义,理解波的能量、能量密度,掌握波的干涉,理解多普勒效应。 第八章 狭义相对论基础 1.教学内容 经典力学的相对性原理和时空观,狭义相对论基本假设,洛仑兹变换,狭义相对论时空观,相对论动力学。 https://physics.suda.edu.cn/6f/8f/c1873a28559/page.htm
24.平面转3d立体图片工具立体画制作专业技术教程资料 3d立体画制作教程!绝对是好东西 上传者:cgmolin时间:2014-02-26 全景奇画软件3d99--psdto3d立体画软件 用了不错,没有任何限制。保存的图片也不错。 上传者:shop2500时间:2010-02-04 全景图转360度互动3D图工具-可批量转换-社交媒体可识别-平面全景图转VR图 https://www.iteye.com/resource/songbc111-5676169