单图10秒快速建模,腾讯的AI新神器卷入了3D赛道视图ai新神器视频生成模型

腾讯ARCLab又有新动作,这一次,生成式AI的焦点放在了3D生成上。

不久前,腾讯ARCLab发布了一种新的AI模型“InstantMesh”,可以使用单张静态照片渲染3D对象。

根据腾讯研究院的说法,InstantMesh是一种用于从单个图像即时生成3D网格的前馈框架,能够在10秒内创建多样化的3D资产。通过网络图片实时转换,InstantMesh可以生成元宇宙中的OBJ格式3D模型。

实际体验下来,InstantMesh生成的模型质量见仁见智,但生成速度的确出乎意料。有用户在社交媒体上展示了利用InstantMesh预置图像生成3D模型的过程,并一连用“Superfast”“highquality”形容InstantMesh的输出效果。

10秒内快速3D建模,还附赠模型六视图

InstantMesh的架构与Instant3D类似,都是由多视图扩散模型和稀疏视图重建模型组成。整个3D生成过程拆分为了两步:

首先,在给定输入图像后,使用多视图扩散模型生成3D一致的多视图图像;然后,利用稀疏视图大型重建模型直接预测3D网格,通过集成等值面提取模块(即FlexiCubes)渲染3D几何形状,并将深度和法线等几何监督直接应用于网格表示以增强结果。几秒钟内就可以完成建模。

1、多视图扩散模型

面对单一输入图像,InstantMesh选择了将具有可靠的多视图一致性和定制的视点分布的Zero123++集成到框架之中,通过多视图扩散模型生成围绕对象调整的六个新视图,捕捉全方位视角。同时微调Zero123++来合成一致的白色背景图像,确保后期稀疏视图重建过程的稳定性。

2、大型稀疏视图重建模型

InstantMesh稀疏视图重建模型架构在Instant3D的基础上进行了修改和增强,训练数据集由Objaverse80万个对象初始池中筛选出的大约27万个高质量实例组成。

在训练过程中,InstantMesh为了与Zero123++的输出分辨率保持一致,将所有输入图像的大小都调整为320×320,并将Zero123++生成的6张图像作为重建模型的输入,以减轻多视图不一致问题。

最后,生成的多视图图像进入基于Transformer的大型稀疏视图重建模型,进行精细化的3D网格重建。

而为了进一步提升3D模型的质量与逼真度,InstantMesh还引入了等值面提取模块FlexiCubes,可以直接作用于网格表示,将深度和法线等关键几何信息融入重建过程,犹如为3D模型披上了一件质地细腻、纹理丰富的外衣。得益于此,InstantMesh生成的模型在视觉上更为细腻,在几何结构上更为精准,从内到外优化全面。

整个图像到3D的转化过程在短短10秒内即可完成,这无疑为创作者开启了全新的效率时代。

无论是专业设计师寻求快速迭代设计方案,还是普通用户渴望将生活瞬间转化为立体记忆,InstantMesh都能快速满足需求。更重要的是,其强大的泛化能力确保了在面对各类开放域图像时,都能生成合理且连贯的3D形状,打破了传统方法对特定数据集的依赖,实现了万物皆可3D的跨越。

腾讯开发团队声称实验结果表明InstantMesh的性能显着优于其他最新的图像转3D方法,那么,站在使用者的角度,InstantMesh的输出效果相比其他同类型的模型,是否真的做到了又快又好呢?

新的家具建模神器

InstantMesh的生成速度有多快呢,实测从照片导入到最终的模型生成总用时不超过50秒,建模过程则基本维持在10秒左右。

对于模型质量,InstantMesh声称其生成的3D网格呈现出更加合理的几何形状和外观。

实际使用下来发现,InstantMesh生成的模型具有完成清晰的表面,并且结构完整,这一点在生成家具等物体时尤为明显。

可以看到,生成的六视图以及最终模型不仅完美复现了图片视角的椅子材质结构形态,甚至连图片中不可见的椅面连接处结构也复现得合理且准确。

而当图片中出现两个以上物体时,InstantMesh不仅能复现椅子和桌子的不同形态,甚至连二者的位置关系也完全一致。

同样的,在生成手办、玩偶等虚拟形象的3D模型时,InstantMesh的表现也十分出色。

生成的3D模型几乎已经可以看做是图片内容的一比一手办了,无论是在色彩、结构还是体积感上都处理得已经接近商用水准。只不过还是有瑕疵存在,在识别玩偶图像中衣领部分时,模型似乎不知道如何呈现衣领部分,而是简单的将其去除,导致玩偶3D模型看起来脖子过长。

而在处理动物等现实生物的图像时,InstantMesh就开始显得力不从心了。

可以看到,在处理几何形状简单的动物形象(比如下图的鸟)时,InstantMesh水平仍旧在线,对于图片整体十分还原,唯一的不足出现在抠图上,导致模型腿部缺失,为3D建模拖了后腿。

而面对更加复杂的动物图像,InstantMesh虽然尽力还原除了模型的大概,但也出现了脸部细节缺失、背部材质缺失等不足。

甚至,在面对连人类都会疑惑的“奇怪动物”时,InstantMesh同样也无从下手,当然,这一点无法苛责InstantMesh,毕竟目前的AI还无法向人类这样理解世界,至少在图片视角上,InstantMesh已经做到了还原,也算是合格了。

在论文中,InstantMesh不仅展示了自身的能力,还与TripoSR、LGM等类似的生成模型作了效果对比,称“TripoSR结果令人满意但缺乏想象力”“LGM等具有想象力但明显多视图不一致”。

那么,在同样的输入下,TripoSR和LGM的实际表现如何?

可以看到,TripoSR生成模型的质量在细节把控上优于InstantMesh,但相比之下,TripoSR对于体积感的把握并没有能够胜过InstantMesh,生成的企鹅形象未能像图片展示的一样饱满,从侧面看仿佛被砍了一刀。

而LGM生成的模型完美呈现了图片中没有展示的部分,且模型材质、形态控制出色,不足之处在于模型出现了轻微的重影,且在尾巴、后腿部分出现了不必要的模型粘连增生。

但同时,受制于输出过程中的分辨率控制,InstantMesh输出的图像在清晰度上明显遇到了瓶颈,虽然研发团队有意在未来的工作中解决这一限制,但即使解决了清晰度问题,由于客观存在的多视图不一致、细节建模问题,InstantMesh的建模效果离商用也还存在着一定差距。

至少目前来看,InstantMesh的应用场景更多可能还是在游戏3D资产等对建模精细度要求不高的领域上。当然,作为新一代的家具建模神器,在电商领域未来或许也能有InstantMesh的一席之地。

从百思买已经公布的电商购物应用《BestBuyEnvision》来看,用户在购买之前就可以在VisionPro界面中浏览产品的3D模型外观,这意味着一款拥有数以万计商品的购物软件的背后有着同样数量级的3D资产需求,而电商产品的迭代速度之快又要求企业能以速度更快、成本更低的方式完成商品建模,这使得以InstantMesh为代表的AI建模未来有机会成为电商人的标配工具。

3D生成的终点不是场景建模

3D生成技术在数字人领域的应用前景更多体现在超写实3D数字人建模上。

根据上海交通大学人工智能研究所的一篇论文显示,AI主要通过数据驱动的方式学习真实的数据分布、对数据分布进行采样以生成新的样本表示,并对数据表示进行渲染从而打造出高度真实的三维数字人。

而在3D数字人模型的表示方式上,常见的表示方式可以分为显式表示和隐式表示两种形式。其中,显式表示一般直接给出满足条件的所有元素的集合,如点云包含三维空间中点的位置,多边形网格则包含顶点位置及其连接关系等信息。

这一方法通常被应用在游戏、影视制作等工业应用中,优点在于传统的渲染管线已经能对其进行高效处理,但缺点在于生成模型的精细程度会受到分辨率限制,在对数字人高拟真外表的要求下,模型细节的增加会造成模型复杂度的上升。

在分辨率的硬性要求下,隐式表示就要好用得多。仅仅需要符号距离函数、水平集等三维空间约束,隐式表示就能够使数字人模型突破空间分辨率的限制,此外,使用深度符号距离函数、神经辐射场等神经网络逼近隐式函数还能恢复出数字人的精细几何与纹理,相比显式表示更加灵活。

国内团队推出的文本指导的渐进式3D生成框架DreamFace就结合了视觉-语言模型、隐式扩散模型和基于物理的材质扩散技术,可以生成符合计算机图形制作标准的3D数字人形象。

DreamFace不仅支持基于文本提示的发型和颜色生成,生成的模型还具备动画能力,能够提供更细致的表情细节,并且能够精细地捕捉表演。

而在国外,更有以谷歌DreamHuman为代表的的文字生成带动画3D数字角色技术。

DreamHuman将大型文本到图像合成模型、神经辐射场和统计人体模型连接到新的建模和优化框架中,使得生成具有高质量纹理和特定要求的动态3D人体模型成为可能。

经过完整的生成式三维数字人建模流程之后,生成模型将学习到数字人的先验信息,针对模型进行相应微调即可应用到下游任务。

特别是在数字人重建应用中,生成式数字人模型为重建任务提供了有效的先验约束,不仅有助于生成合理的重建结果,也减少了对于训练标签的要求,降低了重建成本。只需要从图像或视频中恢复人体和人脸的三维几何形状以及对应的外观信息,就可以实现真人与虚拟数字人一对一的数字化映射。

代表应用既有从单张图片重建出目标人3D化身,并合成支持大姿态驱动的真实说话人视频的“单图3D说话人视频合成技术(One-shot3DTalkingFaceGeneration)”,也有无需复杂采样和建模,只要一段几秒钟视频就能实现人物动作流畅的3D数字人合成工具“HUGS”(HumanGaussianSplats)。

其中,HUGS由苹果推出,是一种基于高斯函数的生成式AI技术,可以通过3DGaussianSplatting(3DGS)和SMPL身体模型的融合创造出更加生动和真实的数字人物。

苹果对于数字人的研究并非一时兴起,而是有实际服务于产品的先例。在VisionPro上,用户就可以通过前置摄像头扫描面部信息,并基于机器学习技术和编码神经网络生成数字分身。当用户使用FaceTime通话时,数字分身还可以模仿用户的面部表情及手部动作。

可以预见,HUGS等技术的加入将使数字人形象无论是在二维平面屏幕还是三维元宇宙空间中都能演绎出生动逼真的表演。在AI的加持下,无论是智能助手、虚拟现实游戏,还是视频会议等多元场景,未来都将被“身手矫健”的虚拟人占据,为用户带来与现实无异的沉浸式互动体验。

而这也是InstantMesh们未来可以选择的方向。

我们有理由期待AI生成技术将以更快的步伐不断迭代,带来愈发惊艳的视觉享受与生活便利。虚拟现实的好日子还在后头。

THE END
1.ai建筑素材ai建筑图片ai建筑素材图片下载觅知网为您找到998个原创ai建筑素材图片,包括ai建筑图片,ai建筑素材,ai建筑海报,ai建筑背景,ai建筑模板源文件下载服务,包含PSD、PNG、JPG、AI、CDR等格式素材,更多关于ai建筑素材、图片、海报、背景、插画、配图、矢量、UI、PS、免抠,模板、艺术字、PPT、视频等设计https://www.51miz.com/so-sucai/2834226.html
2.ai建筑效果图如何自动生成?建E网设计资讯AI建筑效果图自动生成是通过使用先进的人工智能技术和算法,将建筑设计的理念和要求转化为视觉上的呈现。这种技术结合了计算机图形学、机器学习和深度学习等领域的成果,可以快速地生成高质量的建筑效果图。 要实现AI建筑效果图自动生成,首先需要收集大量的建筑数据和图像,这些数据和图像将作为训练模型的素材。然后,利用深度https://www.justeasy.cn/news/16266.html
3.解放双手!利用AI和辅助工具完成了建筑图纸到结构施工图的设计其实结构设计行业的一些工程师也在智能化设计方面做了一些探索,比如清华大学陆新征教授团队将生成对抗网络技术运用到工程设计中,自动将建筑图纸转化为结构模型。PKPM也和奥雅纳联合开发了智能辅助设计软件,可以智能完成指标调整和截面优选,省去反复的手动调整工作。智能施工图和审查软件也有一定的发展,市面上有不少成熟的产https://www.hxsd.com/information/9199/
4.AI建筑分析图制作应用教程OUGraphicsAI建筑分析图制作应用教程 | OU Graphics 查看原文 SketchUp 2019 建筑透视剖面图教程 作者:OUGraphics今天与大家OUGraphics出品的SketchUp2019建筑透视剖面图教程我们都喜欢剖面分析图,因为它便于我们展示项目的思路。 但是你知道什么比剖面趣的结果。 以上为今天分享的所有内容。建筑透视图可用于参加建筑竞赛,深度的https://www.pianshen.com/article/67941271587/
5.设计建筑户型图,速度又快画的又好!AI打工不惧内卷了!一、什么是AI建筑设计 AI建筑设计就是使用AI绘图工具(Midjourney、Stable Diffusion)只通过简单的提示词或者一个手绘草稿,就能无中生有堪比现实照片的效果图方案。对专业建筑师的工作效率至少能提高20倍以上。 因为Midjourney现阶段无法使用,今天我就结合建筑总图设计案例,给大家介绍如何用Stable Diffusion这款AI制图软件https://blog.csdn.net/A1353192296/article/details/142334540
6.广联达FalconVAI出图,让建筑设计更轻松!在当今数字化时代,人工智能正以其强大的计算能力和智能化的处理方式,引领着创新、提升着效率,并为各个行业带来了翻天覆地的变革,建筑和设计领域也不例外,AI出图也给设计师们带来了全新的体验,那么在众多拥有AI出图功能的渲染器中为什么要选择FalconV呢? https://www.fwxgx.com/articles/237625
7.AI/EPS格式一做建筑素材一做建筑png图片下载觅元素是设计素材的免费下载网站,提供AI/EPS格式一做建筑素材,一做建筑png图片等素材免费下载,下载一做建筑素材就来觅元素。https://www.51yuansu.com/sopng/268530066409551154c5f-0-0-0-2-0-1/
8.豆绘ai我们的团队由资深互联网从业者、算法工程师和资深建筑室内从业人员构成。通过建筑室内领域AI模型研发、软件工具类产品开发、AI与建筑室内设计知识研究与普及以及行业生态服务API服务,我们追求用科技赋能空间设计行业,提升设计效率与创意表达。豆绘ai官网: https://www.douhuiai.com/ 豆绘ai全景图合成 2比1图 十字图 https://openi.cn/sites/109676.html
9.豆绘AIAI建筑设计AI室内设计豆绘AI,作为国内空间设计的领先AI创作平台,专门为建筑、室内设计和园林景观行业的专业人士提供创新和高效的空间设计服务。https://pidoutv.com/sites/8240.html
10.23款大学建筑线稿图,AI源文件矢量素材完全免费的开源视频下 矢量素材·互联网·0 大学校门体育馆线稿图大学建筑建筑插画建筑插图 本文设计资源已通过专业测试,如有使用或其他问题欢迎QQ咨询 阅读与本文标签相同的文章 大学校门体育馆线稿图大学建筑建筑插画建筑插图 下载信息 文件格式:AI 文件大小:700KB https://www.sucaijishi.com/vector-49-286-1.html
11.AI元技能AI建筑设计,AI室内设计,AI景观设计,AI图库、工具、网站与提示词,Prompt,Stablediffusion Prompt,Midjourney Prompthttp://www.yuanjineng.cn/
12.自主开发31项独具特色建筑AI产品,上海建工跑出数字化转型加速度基于边缘检测与特征拟合算法,通过拍照可快速生成清水砖墙排版图,解决了修缮底图绘制慢的难题,显著提高了深化设计效率,已为上海犹太难民纪念馆等3个项目提供了深化设计服务。 历史建筑特色构件分级逆向建模插件 基于重建深度匹配算法,可根据不同使用用途,自动生成不同精度、不同存储等级、不同数据格式的数字模型,已为上海https://www.gzw.sh.gov.cn/shgzw_zxzx_gqdt/20231103/bcbf87e8d15a4a37a11942725912aa4a.html
13.建筑素材设计网建筑设计方案景观规划ai分析图ps彩色平面总图视频 素材编号JC-089素材格式PDF、MP4 获取方式网盘下载/邮寄硬盘素材大小54.1 G 素材价格18 积分(建筑VIP会员免费,立即开通) 01-分析图分类型(区位、现状、日照、交通、插画等)精讲 视频教程 02-初级建筑分析图 10个代表性优秀案例精讲 视频教程 http://www.maxsucai.com/Goods/biginfor/picid/2358.html
14.实测AI建筑设计软件的自动生成效果图能力人工智能经过实测,发现建筑设计效果图软件使用AI自动生成效果图的质量非常高!这大大提高了建筑设计师的工作效率! 该句话可以重写为:本句仅用于展示触站AI软件的生成效果,版权和解释权归触站AI所有 素描模式: ai软件的出现在建筑设计领域产生了巨大的影响,它们能够迅速生成建筑设计效果图从而提高设计效率。同时,它们也能够帮助https://www.php.cn/faq/588331.html
15.线稿建筑图片线稿建筑设计素材红动中国素材网提供2050个线稿建筑图片、线稿建筑素材、线稿建筑背景、线稿建筑模板、线稿建筑海报等PS素材下载,包含PSD、AI、PNG、JPG、CDR等格式源文件素材,更多精品线稿建筑设计素材下载,就来红动中国,最后更新于2024-12-03 16:24:46。https://so.redocn.com/jianzhu/cfdfb8e5bda8d6fe.htm
16.MaketAIAI建筑设计助手–AI资源网Maket AI-AI建筑设计助手 AI空间设计5天前0 ▼ 目录 Toggle Maket是什么? Maket能做什么? Maket适合什么场景? Maket的价格 Maket是什么? Maket就像一个会设计房子的AI助手。你只需要告诉它你想要什么样的房子,它就可以自动为你设计出各种各样的房子平面图。不仅如此,它还可以帮你设计房子的内部装修和外观,https://www.ayxayx.com/1882.html
17.人工智能“入侵”建筑设计领域,传统设计师面临淘汰?正如伦敦数字建筑师Arthur Mamou-Mani所言,“作为一名建筑师,当有新的想法出现时,通过生成式AI输入个别关键词便可以得到最终效果图,这个速度是我们无法达到的,在设计图上更快地得到答案,便有更多时间在现实世界中实现自己的想法。” 数字建筑师Arthur Mamou-Mani使用人工智能为自己设计的婚礼殿堂https://m.cls.cn/detail/1342938
18.AI怎么跑图?AI跑图可以帮助企业快速识别和分析图片,从而节省时间和费用。AI跑图主要依赖于图像处理技术,通过将图像https://www.3d66.com/answers/question_1392452.html