Open Source · AI & Machine Learning
building-3d-replicas
Open-source agent skill voor Claude Code en Codex die exacte 3D-replica's van echte objecten bouwt uit foto's, beoordeeld tegen de scan van een museum.
Agent Skills · Claude Code · Codex · Python · build123d · Blender · glTF

Casestudy
building-3d-replicas is een Agent Skill, met de Python-scripts erachter, voor als je een model van één specifiek echt object nodig hebt, er niets bestaat onder een licentie die je mag gebruiken, en "ziet er ongeveer zo uit" niet goed genoeg is. De agent schrijft het object als parametrische build123d-code, met elke onzekere maat als benoemde parameter. Daarna bepalen de foto's die waarden. Een fitter lost de camera van elke foto en de vorm samen op via silhouet-overlap, een meetscript leest millimeters af uit bekende referentiepunten, en Blender zonder interface zet het model in elkaar, geeft het materialen en rendert het terug door de camera van elke foto, zodat elk verschil dat je ziet echt is en niet aan het perspectief ligt. Ik bouwde het voor VRtor, waar de Cybertruck en de Roadster mee gemaakt zijn. Installeren kan als plugin in Claude Code of Codex, of met npx skills add.
Het probleem
VR-lessen hebben echte objecten op echte grootte nodig, en de modellen online hebben de verkeerde licentie, zijn grove benaderingen, of allebei. Vraag je een agent iets te modelleren uit foto's, dan krijg je een vorm die vanuit één hoek klopt en vanuit elke andere centimeters ernaast zit, zonder te kunnen zien welke delen fout zijn.
De aanpak
Behandel het model als code en de foto's als bewijs. De agent bouwt de structuur in build123d en maakt de onzekere maten parameters. fit_silhouette.py lost de camera van elke foto en de parameters samen op, en scoort silhouet-overlap, contourafstand, gemeten punten en waar donkere delen zitten. measure.py doet wat de contour niet ziet, vanuit zes of meer bekende punten. Een reviewronde rendert het model door elke opgeloste camera naast de foto, en compare_mesh.py beoordeelt het resultaat in millimeters tegen een referentiemesh als die er is.
Opmerkelijke beslissingen
- Een volledig uitgewerkt voorbeeld met alleen materiaal uit het publieke domein. De koebel komt uit een CC0-foto van het Smithsonian en de gepubliceerde maat, en de CC0-scan van het museum dient alleen als antwoordsleutel.
- Elk reviewbeeld toont het model door de opgeloste camera van de foto zelf, dus een verschil betekent dat het model fout is, niet het gezichtspunt.
- Gepubliceerde maten worden vastgezet in plaats van gefit. Camerahoeken uit echte foto's kunnen 10 tot 15 graden afwijken als het model eenvoudiger is dan het object, en vaste maten houden de vorm toch goed.
- uv legt de Python-omgeving vast bij het eerste gebruik, zodat de skill hetzelfde draait op elke machine met Blender 4.2+ op het PATH.
- Eén releasescript schrijft de versie in beide plugin-manifesten, SKILL.md en pyproject.toml, en de CI faalt als ze ooit verschillen.
- Referentiefoto's blijven standaard buiten de repo. De .gitignore van het sjabloon houdt refs/ lokaal en SOURCES.md legt de licentie van elk bestand vast.
Status
Vroeg, versie 0.2. Tot nu toe bewezen op drie objecten: de museumkoebel (1,4 mm gemiddelde afwijking en 4,4 mm op het 95e percentiel bij 266 mm), een polshoogtemeter en een pick-up op ware grootte met interieur. Getest op macOS met Blender 5.2. MIT-licentie.
Een systeem moderniseren, een AI-idee valideren of een senior rol bespreken?
Ik antwoord meestal binnen één werkdag.