Open Source · IA & Apprentissage Automatique
building-3d-replicas
Skill open source pour Claude Code et Codex qui construit des répliques 3D exactes d'objets réels à partir de photos, évaluée face au scan d'un musée.
Agent Skills · Claude Code · Codex · Python · build123d · Blender · glTF

Étude de cas
building-3d-replicas est une Agent Skill, avec les scripts Python qui la font tourner, pour le cas où il faut le modèle d'un objet réel précis, qu'aucun n'existe sous une licence utilisable et que « ça ressemble à peu près » ne suffit pas. L'agent écrit l'objet en code paramétrique build123d, chaque cote incertaine devenant un paramètre nommé. Ensuite, ce sont les photos qui fixent ces valeurs. Un ajusteur résout ensemble la caméra de chaque photo et la forme par recouvrement de silhouettes, un script de mesure lit des millimètres à partir de points de référence connus, et Blender sans interface assemble, applique les matériaux et refait le rendu du modèle à travers la caméra de chaque photo, donc toute différence visible est réelle et non due à la perspective. Je l'ai construite pour VRtor, d'où sont sortis le Cybertruck et le Roadster. Elle s'installe comme plugin dans Claude Code ou Codex, ou avec npx skills add.
Le problème
Les leçons en VR ont besoin d'objets réels à taille réelle, et les modèles en ligne ont la mauvaise licence, sont approximatifs, ou les deux. Demander à un agent de modéliser un objet d'après photos donne une forme qui paraît juste sous un angle et se trompe de plusieurs centimètres sous tous les autres, sans moyen de savoir quelles parties sont fausses.
L'approche
Traiter le modèle comme du code et les photos comme des preuves. L'agent construit la structure en build123d en exposant les cotes incertaines comme paramètres. fit_silhouette.py résout ensemble la caméra de chaque photo et les paramètres, en notant le recouvrement des silhouettes, l'écart entre contours, les repères mesurés et la position des parties sombres. measure.py couvre ce que le contour ne voit pas, à partir de six points connus ou plus. Une passe de revue rend le modèle par chaque caméra résolue à côté de sa photo, et compare_mesh.py note le résultat en millimètres face à un maillage de référence quand il y en a un.
Décisions notables
- Un exemple complet uniquement sur du matériel du domaine public. La cloche vient d'une photo CC0 du Smithsonian et de sa taille publiée, et le scan CC0 du musée sert seulement de corrigé.
- Chaque image de revue montre le modèle à travers la caméra résolue de la photo elle-même, donc un écart veut dire que le modèle est faux, pas le point de vue.
- Les dimensions publiées sont fixées au lieu d'être ajustées. Les angles de caméra tirés de vraies photos peuvent dévier de 10 à 15 degrés quand le modèle est plus simple que l'objet, et des dimensions fixes gardent malgré tout la bonne forme.
- uv fige l'environnement Python au premier lancement, donc la skill tourne pareil sur toute machine avec Blender 4.2+ dans le PATH.
- Un seul script de release écrit la version dans les deux manifestes de plugin, SKILL.md et pyproject.toml, et la CI échoue s'ils divergent un jour.
- Les photos de référence restent hors du dépôt par défaut. Le .gitignore du modèle garde refs/ en local et SOURCES.md note la licence de chaque fichier.
État
Précoce, version 0.2. Éprouvée pour l'instant sur trois objets : la cloche du musée (1,4 mm d'erreur moyenne et 4,4 mm au 95e centile sur 266 mm), un altimètre de poignet et un pick-up grandeur nature avec son intérieur. Testée sur macOS avec Blender 5.2. Licence MIT.
Un système à moderniser, une idée IA à valider ou un poste senior à discuter ?
Je réponds généralement sous un jour ouvré.