Show HN: Fill 3D - 3D Generative Fill para virtual staging con IA

• Es un proyecto inicial que muestra la API de Fill 3D y un ejemplo de implementación de 3D Generative Fill para virtual staging con IA
• Antes de ejecutarlo, hay que cambiar .env.example a .env.local e ingresar la API key generada en fill3d.ai en FILL3D_API_KEY
• La instalación de dependencias y la ejecución del servidor de desarrollo se realizan con npm install y npm run dev
• Después de iniciar el servidor de desarrollo, la página web se puede abrir en http://localhost:3000

[GN⁺]

Opiniones de Hacker News

• La tecnología en sí es impresionante, pero su potencial es bastante inquietante.
  Donde vivo, ya es común que los “agentes” inmobiliarios retoquen con Photoshop las fotos de las propiedades para que parezcan casas totalmente renovadas y hasta amuebladas.
  En realidad, muchas veces las casas están vacías y en muy mal estado, así que con una tecnología así sería aún más difícil evaluar el estado de una propiedad sin verla en persona.
  Ahora ya será difícil impedir que este tipo de tecnología se use en publicidad, y los listados de propiedades prácticamente se han convertido en anuncios, así que parece que la única solución serían políticas y leyes que prohíban subir fotos falsas a las plataformas inmobiliarias.
  Dicho eso, creo que el creador podría ganar mucho dinero vendiéndoles esta tecnología a los agentes con un modelo de suscripción.

  • Creo que ya existen leyes contra representar falsamente objetos en venta.
    Si los muebles están incluidos o no es algo que se especifica claramente en el contrato, y aunque varía según la zona, lo más común que veo por aquí es componer un atardecer en las ventanas o en fotos de la parte trasera de la casa.
    Eso sí, puede ser difícil notar si un agente eliminó cosas como moho o daños por filtraciones.
  • El staging con Photoshop existe desde hace mucho tiempo.

• Los ejemplos se ven muy bien. Estaría bueno que pudieran compartir más imágenes.
  Me gustaría ver más ejemplos que muestren hasta dónde puede llegar esta herramienta, como distintos tipos de habitaciones e interiores.
  También me interesa lo contrario: qué cosas no puede hacer. Me da curiosidad si hay situaciones en las que falla.

  • Buena sugerencia. Mañana voy a hacerme un tiempo para agregar una página /gallery.
    También creé un issue para dar seguimiento: https://github.com/fill3d/fill/issues/1
    Es un buen primer issue :D

• Sorprendente. ¿Los objetos insertados no se generan con un modelo de difusión + ControlNet, sino que son renderizados a partir de modelos 3D con textura?
  También me da curiosidad si el conjunto de modelos 3D con texturas disponibles es fijo, o si se generan sobre la marcha a partir del prompt.

  • Correcto. Por ahora usamos el cuadro de diálogo de Blenderkit, pero podemos expandirnos más allá de eso.
    Cuando ingresas un prompt y buscas, en realidad se ejecuta una búsqueda multimodal; por ejemplo, si pides “red painting”, encuentra una pintura roja real.
    Por eso es absurdamente más precisa que una búsqueda normal. La IA se está metiendo en todas partes.

• Mi caso de uso sería decorar un departamento.
  Tengo un monoambiente grande y vacío donde ya compré una cama y un sofá, pero tengo que decidir con qué llenar el resto del espacio vacío.
  Cosas como una mesa de centro, un mueble para medios, una TV o un proyector de tiro ultracorto, una barra, una biblioteca o un escritorio.
  Sería genial poder llenarlo no con conceptos puros, sino con productos que realmente se puedan comprar.

  • Exacto, de hecho esa es una función que está en el roadmap.
    Como se genera en 3D, el usuario puede traer sus propios modelos 3D y agregarlos al catálogo.
    Si se integra algo como la captura de objetos de Apple (https://developer.apple.com/augmented-reality/object-capture...), sería posible escanear un sofá tal cual, subirlo a Fill 3D, colocarlo y luego generar la imagen.
    Se viene algo interesante.
  • Todavía no lo probé, pero hace unos días vi un sitio para este tipo de uso: https://aihomedesign.com
    No tengo relación con ellos.

• ¿Las inmobiliarias habrán considerado dejar las casas vacías, sin muebles, y luego hacer que los potenciales compradores se pongan lentes de AR para ver cómo se verían con sus propios muebles?

  • Creo que bastaría con usar un teléfono o una tablet como viewport.
    Sería menos inmersivo, pero la barrera de adopción sería mucho más baja.
  • Si renderizar un solo frame con trazado de caminos toma más de un minuto, este nivel de realismo parece imposible en AR actualmente.

• ¿Funcionaría también en decks y porches de entrada?
  Tenemos fotos de decks y porches que necesitan staging para el sitio web de una constructora.

• Probé la demo y parece tener bugs, además de que aparentemente solo se pueden elegir ítems existentes de una base de datos predefinida.

  • Me interesa saber qué bugs encontraste.
    Y sí, como usamos modelos 3D reales, el conjunto de modelos es fijo. Por ahora son un poco menos de 300.
    Nuestra prioridad son los resultados fotorrealistas, y la tecnología de difusión de modelos 3D más avanzada de hoy no alcanza. Ver OpenAI Point-e: https://github.com/openai/point-e

• Ver juntas la arquitectura de Fill3D para “renderizar resultados fotorrealistas con trazado de caminos” y la función de despliegue transparente de fxn.ai es realmente impresionante.
  Puedo usar ambas en mi proyecto actual, así que voy a investigarlas.

• ¿Qué están pensando para el modelo de negocio?
  Soy administrador de sistemas de un MLS pequeño y estoy pensando dónde podríamos integrarlo.
  Si cuesta 2 dólares por staging, probablemente habría que cobrárselo directamente al Realtor. Hasta donde sé, nosotros no hacemos facturación por cuenta de terceros.
  Quizás sí podría funcionar un esquema que incluya cierta cantidad de stagings por mes por cada Realtor.
  También se me ocurre un caso de uso divertido en el que los consumidores hagan el staging por su cuenta, pero creo que casi ningún Realtor pagaría 2 dólares por staging para que el consumidor lo haga.

  • Me gustaría mucho conversar bien sobre esto.
    Con precios por volumen podemos bajar bastante el precio.
    El objetivo final es que los usuarios puedan hacer staging directamente dentro de su sitio inmobiliario o MLS.
    Escríbeme a [e-mail]

• ¿Con qué hicieron el screencast que aparece en https://www.fill3d.ai/?

  • Creo que es https://www.screen.studio.
  • Yo también tengo curiosidad.
    Últimamente he visto muchos screencasts con ese mismo estilo, y no me gustan mucho.
    El área grabada se mueve constantemente y distrae bastante.
  • Es Screen Studio.