Zurück zu den Projekten

Open Source · KI & Maschinelles Lernen

building-3d-replicas

Open-Source-Agent-Skill für Claude Code und Codex, der aus Fotos exakte 3D-Repliken realer Objekte baut, gemessen am Scan eines Museums.

Agent Skills · Claude Code · Codex · Python · build123d · Blender · glTF

Ein Museumsfoto einer roten Kuhglocke neben der 3D-Replik, gerendert durch dieselbe gelöste Kamera, mit 1,4 mm mittlerer Abweichung zum Scan des Museums.

Fallstudie

building-3d-replicas ist ein Agent Skill samt den Python-Skripten dahinter, für den Fall, dass man ein Modell genau eines realen Objekts braucht, es keins unter einer nutzbaren Lizenz gibt und "sieht ungefähr so aus" nicht reicht. Der Agent schreibt das Objekt als parametrischen build123d-Code, jedes unsichere Maß als benannter Parameter. Dann entscheiden die Fotos über diese Werte. Ein Fitter löst die Kamera jedes Fotos und die Form gemeinsam über Silhouetten-Überdeckung, ein Messskript liest Millimeter aus bekannten Referenzpunkten, und Blender ohne Oberfläche baut das Modell zusammen, gibt ihm Materialien und rendert es durch die Kamera jedes Fotos zurück, sodass jeder sichtbare Unterschied echt ist und nicht an der Perspektive liegt. Ich habe ihn für VRtor gebaut, der Cybertruck und der Roadster sind damit entstanden. Er lässt sich als Plugin in Claude Code oder Codex installieren oder mit npx skills add.

Das Problem

VR-Lektionen brauchen reale Objekte in echter Größe, und die Modelle im Netz haben die falsche Lizenz, sind grobe Annäherungen oder beides. Bittet man einen Agenten, etwas nach Fotos zu modellieren, bekommt man eine Form, die aus einem Winkel passt und aus jedem anderen um Zentimeter danebenliegt, ohne dass man sieht, welche Teile falsch sind.

Der Ansatz

Das Modell als Code behandeln und die Fotos als Beweismittel. Der Agent baut die Struktur in build123d und legt die unsicheren Maße als Parameter offen. fit_silhouette.py löst die Kamera jedes Fotos und die Parameter gemeinsam und bewertet Silhouetten-Überdeckung, Umrissabstand, gemessene Punkte und die Lage dunkler Teile. measure.py übernimmt, was der Umriss nicht zeigt, aus sechs oder mehr bekannten Punkten. Eine Review-Runde rendert das Modell durch jede gelöste Kamera neben das Foto, und compare_mesh.py bewertet das Ergebnis in Millimetern gegen ein Referenz-Mesh, wenn es eines gibt.

Bemerkenswerte Entscheidungen

  • Ein durchgearbeitetes Beispiel nur mit gemeinfreiem Material. Die Kuhglocke stammt aus einem CC0-Foto des Smithsonian und ihrer veröffentlichten Größe, der CC0-Scan des Museums dient nur als Lösungsschlüssel.
  • Jedes Review-Bild zeigt das Modell durch die gelöste Kamera des jeweiligen Fotos. Eine Abweichung heißt also, dass das Modell falsch ist, nicht der Blickwinkel.
  • Veröffentlichte Maße werden fixiert statt gefittet. Kamerawinkel aus echten Fotos können 10 bis 15 Grad danebenliegen, wenn das Modell einfacher ist als das Objekt, und fixe Maße halten die Form trotzdem richtig.
  • uv pinnt die Python-Umgebung beim ersten Start, damit der Skill auf jedem Rechner mit Blender 4.2+ im PATH gleich läuft.
  • Ein einziges Release-Skript schreibt die Version in beide Plugin-Manifeste, SKILL.md und pyproject.toml, und die CI schlägt fehl, wenn sie je auseinanderlaufen.
  • Referenzfotos bleiben standardmäßig aus dem Repo. Die .gitignore der Vorlage hält refs/ lokal, und SOURCES.md hält die Lizenz jeder Datei fest.

Status

Früh, Version 0.2. Bisher an drei Objekten bewiesen: der Museums-Kuhglocke (1,4 mm mittlere Abweichung und 4,4 mm im 95. Perzentil bei 266 mm), einem Handgelenk-Höhenmesser und einem Pickup in Originalgröße samt Innenraum. Getestet auf macOS mit Blender 5.2. MIT-Lizenz.

Ein System modernisieren, eine KI-Idee prüfen oder eine Senior-Rolle besprechen?

Ich antworte meist innerhalb eines Werktags.