扔一张照片就能生成3D模型:手动建模 3D扫描的时代结束了
先说清楚这东西不是什么。它不是照片建模(photogrammetry),不会帮你从一张照片里"扫描"出一个和现实分毫不差的模型,也不下载什么现成的美术资源包。它做的事情更笨,也更实在:让 AI 一步步"雕"出一个用代码写成的 Three.js 3D 物体。
这个项目叫 Three.js Object Sculptor,是个 GitHub 上的 Codex 插件,作者是 vinhhien112。Codex 是 OpenAI 那套能写代码的 AI 编程工具,支持装插件扩展能力,这个插件就是给它加了一项技能:你扔一张物体的图片过去,它能带着 Codex 把这个物体重新"画"成可以在浏览器里跑起来、还能做动画的 Three.js 模型。Three.js 是前端做 3D 效果最常用的一个 JavaScript 库,网页里那些能转动、能交互的 3D 场景,很多都是靠它实现的。
项目地址:https://github.com/vinhhien112/Three.js-Object-Sculptor-Codex-Plugin
工作流程挺有意思,基本是照着专业建模师的思路来的。先判断你给的图片能不能用来做 3D 重建——不是随便一张图都行,得先过一道审核。然后评估这个物体的复杂程度,定一个"做到什么程度算合格"的标准。接着把物体拆解成一份结构说明书,项目里管这个叫 ObjectSculptSpec,里面写清楚这个物体有哪些部件、用什么材质、光照怎么打、关节点在哪、以后要做动画或者做"打碎"效果的话锚点设在哪。
有了这份说明书,才真正开始生成代码,而且是分阶段来的:先搭个大概的框架(blockout),再细化结构,再做形态修整,然后上材质、上表面细节、调光照、加交互,最后做优化。每一步都要过关才能进入下一步。最后一步很关键——它会把渲染出来的模型截图,和你原始那张参考图拼在一起,让 AI 用"眼睛"去比对,看像不像。如果某个关键特征没做对,哪怕整体打分还凑合,这一关照样算不通过。
举个例子,如果你的参考图是一棵树,项目文档里提到会重点核对树干分叉、主要枝条和树干连接的地方、树冠的整体量感、树皮材质、根部的展开形态这些"识别度"很高的细节。换句话说,它不满足于"看起来像棵树",而是较真到"看起来像这棵树"。这个思路我觉得挺对的——很多 AI 生成 3D 模型最容易翻车的地方,就是轮廓过得去,但细节一多就露馅,一眼假。
用起来门槛不低。首先你得先有 Codex 环境,而且要支持本地插件;其次得有 Python 3.10 以上的环境跑配套脚本;最后你还得有一个用 Three.js 搭好的浏览器项目,才能把生成出来的代码接进去用。装插件的过程也是手动改配置文件、写 JSON、跑命令行那一套,不是点几下鼠标就能用的傻瓜工具。说白了,这是给已经在用 Codex 写代码、又懂点 Three.js 的开发者准备的生产力工具,不是给完全不懂技术的人做的"一键生成 3D 模型"应用。
项目本身还挺新,只有 7 次提交,3 个 star,没有发布过正式 release,活跃度目前还看不太出来,更像是作者刚搭好一套完整的工作流,还在打磨阶段。代码全是 Python(脚本部分),核心生成逻辑其实是靠 Codex 这个 AI 去理解 spec 之后动态写 Three.js 代码,插件本身更像是一套"规则和流程",管着 AI 该怎么一步步把活干对。
它能做什么也挺明确:游戏道具、场景装饰物、能被打碎的可破坏物体、产品展示模型、植物、机械零件,只要是能用几何体拼出来、需要动画绑定点的物体,理论上都能试。但它也老实交代了自己的短板——一张图看不到物体背面,精确尺寸猜不准,玻璃、烟雾、液体、毛发这种材质很难还原,生成的东西是个"起点",不是拿来就能直接用在正式项目里的成品。这种不吹牛的态度,我个人还挺喜欢的。
如果你正好在用 Codex 做 Three.js 相关的项目,想省点从零搭建 3D 物体骨架的功夫,这个插件值得装上试试。但要是指望它给你一键生成能商用的精细模型,那还是洗洗睡吧。
项目地址:https://github.com/vinhhien112/Three.js-Object-Sculptor-Codex-Plugin