这是给3D从业者带来最多误解和恐慌的一类AI应用。给人的感觉就是输入文字或参考图片,AI就可以凭空生出完整的3D模型。这一类别在研的厂商不乏NVIDIA和Google这样的一线大厂,走在前沿的应用如下图所示:

在实际测评中,发现Meshy AI相对更成熟些。它不仅能够通过文字和图片生成模型,还有非常专业且丰富的调节选项,除文生3D和图生3D外,还有从文本到纹理、从图像到纹理等多项功能,能够对所生成的模型做进一步调节,操作界面看上去也更加专业。

其实,大部分市面上的图文生模型AI工具,前景固然很值得期待,缺陷也十分明显。比如生成的模型往往奇形怪状,稍微复杂一点就会导致计算时间倍数增长,且结果一言难尽。
这也是目前竞争最为火热的AI生模型应用。这一类AI工具会通过文字描述,来调取已有素材进行组合,再通过各类选项调节,最终生成可用模型。这一类别中比较成熟的应用有3DFY AI、Meshcapade、Sloy D、Avaturn、Poly wink和Metahunman等等。

在实际测评中,发现大多数应用的研究方向都指向了3D数字人。究其原因,大概是因为人物角色,尤其是写实风格在结构比例方面都更加有迹可循,因此更容易按照既定规律进行调节和控制,从而生出更具商用价值的产品。

众多应用中,以MetaHumen最为成熟。应用界面简单明了,调节选项科学合理;依托Epic强大的渲染技术能力,画面效果最为优秀。

唯一的问题在于:MetaHumen的预设库目前主要以欧美系人物为主,要制作一个好看的东方角色,还是有不小的难度。
与MetaHumen功能类似的其他应用中,Meshcapade相对而言最为成熟,产品同样是在线AI平台形式,从产品体验上来看,对于非专业人员很友好,界面布局清晰,可以快速定制3D数字人:

创作方式很多样,可以选择从素材库创建角色,也可以上传图片与现有素材库匹配进行调节,还可以上传3D扫描的文件,与素材库模型匹配再进行调节。
有别于第二类应用调取复杂模型,并通过一系列调整后生产数字人等模型的方式,第三类应用更倾向于使用传统的样条线、文字路径以及模型基本体等内容进行创作。
因此虽然基本造型简单,但却能够呈现出很好的风格化渲染模型效果,尤其适合电商平面设计。
这一类应用中,Spline AI相对来说是最贴近商业化应用的,它的底层是Stable Diffusion v2的AI生成技术,具有实时协作、3D建模和动画等一系列功能。

Spline AI在其官方演示中,主要展示了基于简单物品生成程序化模型、标准模型的随机散布或规则化排列,以及同样基于标准模型的贴图材质操作等。

类似的技术在引擎中其实早有应用,AI技术的加持和优化,使软件的操作和最终效果都更优秀。
结合三维扫描技术,让AI快速生成模型以及动画用。从目前看,这也是AI生成模型最有效的路径之一。这一类别中比较成熟的应用有Luma AI、CSM.AI、Gaussian Splatting、Neuralangelo AI等等。
实测过程中,Luma AI的表现最为亮眼,仅使用一部iPhone手机,就可以将捕捉到的产品、物体、风景、和场景等,通过 AI 创建逼真的3D模型。

还可以生成电影级别的产品视频,以及高难度的相机移动。

虽然,Luma AI生成的模型,在导入Blender之后会有很多瑕疵,但如此流畅的操作体验还是相当惊艳的,别忘了整个过程中仅仅用到了一部iPhone 13,而不是复杂庞大的专业三维扫描设备。仅此一项就足矣让笔者对这款软件好感拉满。
这种方式不直接生成模型,而是使用已经制作好的模型。直接替换影视作品中的“客观”角色。
其中的明星产品要数Wonder Studio,它可以将视频中的真人一键替换为3D CG角色,通过AI自动检测和追踪角色的一举一动,同时对动画、灯光和合成等细节进行调整,使得CGI电影制作更为高效、成本更低:

目前,该软件对个人用户的收费标准是每月16至99美元不等。而从后续的调研来看,官方目前更多是为专业团队提供API以及面向Maya和Blender等专业软件的插件工具。
在调研的过程中,笔者发现各个AI产品会按照各自产品的定位,进行不同程度的延展。可以预见:随着技术的日渐成熟,AI生成模型也将越来越多地进入到实际应用场景中,比如游戏开发、工业设计、建筑设计、艺术创作等等。
文章转载自
Thepoly