Open Source · AI e Machine Learning
building-3d-replicas
Skill open source per Claude Code e Codex che costruisce repliche 3D esatte di oggetti reali a partire da foto, valutata contro la scansione di un museo.
Agent Skills · Claude Code · Codex · Python · build123d · Blender · glTF

Caso di studio
building-3d-replicas è una Agent Skill, con gli script Python che la fanno funzionare, per quando serve il modello di uno specifico oggetto reale, non ne esiste uno con una licenza utilizzabile e "più o meno così" non basta. L'agente scrive l'oggetto come codice parametrico build123d, con ogni misura incerta come parametro con nome. Poi sono le foto a decidere quei valori. Un fitter risolve insieme la camera di ogni foto e la forma tramite la sovrapposizione delle sagome, uno script di misura ricava millimetri da punti di riferimento noti, e Blender senza interfaccia assembla, applica i materiali e rirenderizza il modello attraverso la camera di ogni foto, così ogni differenza che vedi è reale e non di prospettiva. L'ho costruita per VRtor, dove il Cybertruck e la Roadster sono nati così. Si installa come plugin in Claude Code o Codex, oppure con npx skills add.
Il problema
Le lezioni in VR hanno bisogno di oggetti reali a grandezza reale, e i modelli online hanno la licenza sbagliata, sono approssimativi, o entrambe le cose. Chiedere a un agente di modellare qualcosa dalle foto dà una forma che sembra giusta da un'angolazione e sbaglia di centimetri da tutte le altre, senza modo di capire quali parti siano sbagliate.
L'approccio
Trattare il modello come codice e le foto come prove. L'agente costruisce la struttura in build123d esponendo le misure incerte come parametri. fit_silhouette.py risolve insieme la camera di ogni foto e i parametri, valutando la sovrapposizione delle sagome, la distanza tra i contorni, i punti misurati e la posizione delle parti scure. measure.py copre ciò che il contorno non vede, da sei o più punti noti. Un giro di revisione renderizza il modello da ogni camera risolta accanto alla sua foto, e compare_mesh.py valuta il risultato in millimetri contro una mesh di riferimento quando c'è.
Decisioni degne di nota
- Un esempio completo solo con materiale di pubblico dominio. Il campanaccio viene da una foto CC0 dello Smithsonian e dalla sua misura pubblicata, e la scansione CC0 del museo serve solo come soluzione.
- Ogni immagine di revisione mostra il modello dalla camera risolta della foto stessa, quindi una differenza significa che è sbagliato il modello, non il punto di vista.
- Le misure pubblicate vengono fissate invece che stimate. Gli angoli di camera da foto reali possono sbagliare di 10-15 gradi quando il modello è più semplice dell'oggetto, e le misure fisse tengono comunque giusta la forma.
- uv blocca l'ambiente Python al primo avvio, così la skill gira allo stesso modo su qualsiasi macchina con Blender 4.2+ nel PATH.
- Un unico script di rilascio scrive la versione in entrambi i manifest dei plugin, in SKILL.md e in pyproject.toml, e la CI fallisce se mai non coincidono.
- Le foto di riferimento restano fuori dal repo per impostazione predefinita. Il .gitignore del template tiene refs/ in locale e SOURCES.md registra la licenza di ogni file.
Stato
Agli inizi, versione 0.2. Provata finora su tre oggetti: il campanaccio del museo (1,4 mm di errore medio e 4,4 mm al 95° percentile su 266 mm), un altimetro da polso e un pickup a grandezza reale con gli interni. Testata su macOS con Blender 5.2. Licenza MIT.
Un sistema da modernizzare, un'idea AI da validare o un ruolo senior da discutere?
Di solito rispondo entro un giorno lavorativo.