Torna ai progetti

Open Source · AI e Machine Learning

building-3d-replicas

Skill open source per Claude Code e Codex che costruisce repliche 3D esatte di oggetti reali a partire da foto, valutata contro la scansione di un museo.

Agent Skills · Claude Code · Codex · Python · build123d · Blender · glTF

La foto museale di un campanaccio rosso accanto alla replica 3D renderizzata dalla stessa camera risolta, con 1,4 mm di errore medio rispetto alla scansione del museo.

Caso di studio

building-3d-replicas è una Agent Skill, con gli script Python che la fanno funzionare, per quando serve il modello di uno specifico oggetto reale, non ne esiste uno con una licenza utilizzabile e "più o meno così" non basta. L'agente scrive l'oggetto come codice parametrico build123d, con ogni misura incerta come parametro con nome. Poi sono le foto a decidere quei valori. Un fitter risolve insieme la camera di ogni foto e la forma tramite la sovrapposizione delle sagome, uno script di misura ricava millimetri da punti di riferimento noti, e Blender senza interfaccia assembla, applica i materiali e rirenderizza il modello attraverso la camera di ogni foto, così ogni differenza che vedi è reale e non di prospettiva. L'ho costruita per VRtor, dove il Cybertruck e la Roadster sono nati così. Si installa come plugin in Claude Code o Codex, oppure con npx skills add.

Il problema

Le lezioni in VR hanno bisogno di oggetti reali a grandezza reale, e i modelli online hanno la licenza sbagliata, sono approssimativi, o entrambe le cose. Chiedere a un agente di modellare qualcosa dalle foto dà una forma che sembra giusta da un'angolazione e sbaglia di centimetri da tutte le altre, senza modo di capire quali parti siano sbagliate.

L'approccio

Trattare il modello come codice e le foto come prove. L'agente costruisce la struttura in build123d esponendo le misure incerte come parametri. fit_silhouette.py risolve insieme la camera di ogni foto e i parametri, valutando la sovrapposizione delle sagome, la distanza tra i contorni, i punti misurati e la posizione delle parti scure. measure.py copre ciò che il contorno non vede, da sei o più punti noti. Un giro di revisione renderizza il modello da ogni camera risolta accanto alla sua foto, e compare_mesh.py valuta il risultato in millimetri contro una mesh di riferimento quando c'è.

Decisioni degne di nota

  • Un esempio completo solo con materiale di pubblico dominio. Il campanaccio viene da una foto CC0 dello Smithsonian e dalla sua misura pubblicata, e la scansione CC0 del museo serve solo come soluzione.
  • Ogni immagine di revisione mostra il modello dalla camera risolta della foto stessa, quindi una differenza significa che è sbagliato il modello, non il punto di vista.
  • Le misure pubblicate vengono fissate invece che stimate. Gli angoli di camera da foto reali possono sbagliare di 10-15 gradi quando il modello è più semplice dell'oggetto, e le misure fisse tengono comunque giusta la forma.
  • uv blocca l'ambiente Python al primo avvio, così la skill gira allo stesso modo su qualsiasi macchina con Blender 4.2+ nel PATH.
  • Un unico script di rilascio scrive la versione in entrambi i manifest dei plugin, in SKILL.md e in pyproject.toml, e la CI fallisce se mai non coincidono.
  • Le foto di riferimento restano fuori dal repo per impostazione predefinita. Il .gitignore del template tiene refs/ in locale e SOURCES.md registra la licenza di ogni file.

Stato

Agli inizi, versione 0.2. Provata finora su tre oggetti: il campanaccio del museo (1,4 mm di errore medio e 4,4 mm al 95° percentile su 266 mm), un altimetro da polso e un pickup a grandezza reale con gli interni. Testata su macOS con Blender 5.2. Licenza MIT.

Un sistema da modernizzare, un'idea AI da validare o un ruolo senior da discutere?

Di solito rispondo entro un giorno lavorativo.