Volver a proyectos

Código Abierto · IA y Aprendizaje Automático

building-3d-replicas

Skill de código abierto para Claude Code y Codex que construye réplicas 3D exactas de objetos reales a partir de fotos, evaluada contra el escaneo de un museo.

Agent Skills · Claude Code · Codex · Python · build123d · Blender · glTF

Foto de museo de un cencerro rojo junto a la réplica 3D renderizada desde la misma cámara resuelta, con 1,4 mm de error medio frente al escaneo del museo.

Caso de estudio

building-3d-replicas es una Agent Skill, junto con los scripts de Python que la sostienen, para cuando necesitas el modelo de un objeto real concreto, no existe ninguno con una licencia que puedas usar y "se parece bastante" no sirve. El agente escribe el objeto como código paramétrico en build123d, con cada medida dudosa como un parámetro con nombre. Después las fotos deciden esos valores. Un ajustador resuelve a la vez la cámara de cada foto y la forma comparando siluetas, un script de medición saca milímetros a partir de puntos de referencia conocidos, y Blender sin interfaz ensambla, aplica materiales y vuelve a renderizar el modelo desde la cámara de cada foto, así cualquier diferencia que veas es real y no de perspectiva. La hice para VRtor, donde la Cybertruck y el Roadster salieron de aquí. Se instala como plugin en Claude Code o Codex, o con npx skills add.

El problema

Las lecciones de VR necesitan objetos reales a tamaño real, y los modelos que hay en internet tienen la licencia equivocada, son una aproximación burda, o ambas cosas. Si le pides a un agente que modele algo a partir de fotos, obtienes una forma que se ve parecida desde un ángulo y se equivoca por centímetros desde todos los demás, sin forma de saber qué partes fallan.

El enfoque

Tratar el modelo como código y las fotos como evidencia. El agente construye la estructura en build123d con las medidas dudosas expuestas como parámetros. fit_silhouette.py resuelve a la vez la cámara de cada foto y los parámetros, puntuando la coincidencia de siluetas, la distancia entre contornos, los puntos medidos y dónde caen las partes oscuras. measure.py cubre lo que el contorno no ve, a partir de seis o más puntos conocidos. Una ronda de revisión renderiza el modelo desde cada cámara resuelta junto a su foto, y compare_mesh.py califica el resultado en milímetros frente a una malla de referencia cuando existe.

Decisiones destacadas

  • Un ejemplo completo solo con material de dominio público. El cencerro sale de una foto CC0 del Smithsonian y su tamaño publicado, y el escaneo CC0 del museo se usa únicamente como hoja de respuestas.
  • Cada imagen de revisión muestra el modelo desde la cámara resuelta de la propia foto, así que una diferencia significa que el modelo está mal, no el punto de vista.
  • Las medidas publicadas se fijan en lugar de ajustarse. Los ángulos de cámara de fotos reales pueden desviarse de 10 a 15 grados cuando el modelo es más simple que el objeto, y fijar las medidas mantiene la forma correcta igualmente.
  • uv fija el entorno de Python en el primer uso, así que la skill funciona igual en cualquier máquina con Blender 4.2+ en el PATH.
  • Un solo script de publicación escribe la versión en los dos manifiestos de plugin, SKILL.md y pyproject.toml, y la CI falla si alguna vez no coinciden.
  • Las fotos de referencia quedan fuera del repo por defecto. El .gitignore de la plantilla deja refs/ en local y SOURCES.md registra la licencia de cada archivo.

Estado

En fase temprana, versión 0.2. Probada hasta ahora con tres objetos: el cencerro del museo (1,4 mm de error medio y 4,4 mm en el percentil 95 sobre un objeto de 266 mm), un altímetro de muñeca y una camioneta pickup a tamaño real con su interior. Probada en macOS con Blender 5.2. Licencia MIT.

¿Tienes un sistema que modernizar, una idea de IA que validar o un puesto senior que conversar?

Normalmente respondo en un día laborable.