开源 · AI 与机器学习
building-3d-replicas
适用于 Claude Code 和 Codex 的开源智能体技能,能根据照片构建真实物体的精确 3D 复刻,并以博物馆扫描为标准评分。
Agent Skills · Claude Code · Codex · Python · build123d · Blender · glTF

案例研究
building-3d-replicas 是一个 Agent Skill,连同支撑它的 Python 脚本,用于这样的情况:你需要某个具体真实物体的模型,找不到可用许可的现成模型,而且“看起来差不多”远远不够。智能体用 build123d 把物体写成参数化代码,每个不确定的尺寸都是一个命名参数。然后由照片来决定这些数值。拟合器通过轮廓重合同时求解每张照片的相机和形状,测量脚本根据已知参考点读出毫米数,无界面的 Blender 负责组装、上材质,并通过每张照片自己的相机把模型渲染回去,所以你看到的任何差异都是真实的,而不是透视造成的。我为 VRtor 开发了它,Cybertruck 和 Roadster 就是用它做出来的。可以作为插件安装到 Claude Code 或 Codex,也可以用 npx skills add 安装。
问题
VR 课程需要真实尺寸的真实物体,而网上的模型要么许可不对,要么只是粗略近似,或者两者兼有。让智能体根据照片建模,得到的形状往往从一个角度看很像,从其他角度看却差了好几厘米,而且无从判断哪些部分不对。
方案
把模型当作代码,把照片当作证据。智能体在 build123d 中搭建结构,把不确定的尺寸暴露为参数。fit_silhouette.py 同时求解每张照片的相机和这些参数,依据轮廓重合度、轮廓距离、测量的标志点以及深色部件的位置来打分。measure.py 根据六个或更多已知点,处理轮廓看不到的部分。每轮审查都会通过每个求解出的相机渲染模型,并与对应照片并排展示;如果有参考网格,compare_mesh.py 会以毫米为单位给结果评分。
关键决策
- 完整示例只使用公共领域素材。牛铃来自史密森尼学会的一张 CC0 照片及其公布尺寸,博物馆的 CC0 扫描只用作标准答案。
- 每张审查图都是通过该照片自己求解出的相机看到的模型,所以出现差异就说明模型错了,而不是视角问题。
- 公布的尺寸直接固定而不参与拟合。当模型比实物简单时,从真实照片求出的相机角度可能偏差 10 到 15 度,固定尺寸能让形状依然正确。
- uv 在首次使用时锁定 Python 环境,因此只要 PATH 中有 Blender 4.2+,这个技能在任何机器上的表现都一样。
- 一个发布脚本把版本号写入两个插件清单、SKILL.md 和 pyproject.toml,一旦它们不一致,CI 就会失败。
- 参考照片默认不进入仓库。模板的 .gitignore 让 refs/ 只保留在本地,SOURCES.md 记录每个文件的许可。
状态
早期阶段,版本 0.2。目前已在三个物体上得到验证:博物馆的牛铃(在 266 毫米的物体上平均误差 1.4 毫米,第 95 百分位为 4.4 毫米)、一块腕式高度计,以及一辆带内饰的全尺寸皮卡。在 macOS 上用 Blender 5.2 测试。MIT 许可。
需要现代化改造系统、验证 AI 想法,或讨论高级职位?
我通常会在一个工作日内回复。