Tema en HN: Diffusion Mirror montado en pared que convierte reflejos en pinturas

• PabloNet

• Creo que el debate sobre si una IA conectada a internet puede ser creativa está alejado del tema esencial. El arte revela el mundo interior, y la tecnología es solo una parte de eso. Es lamentable que el arte exija demasiada técnica. Parece haber una posibilidad de separar ambos elementos. Una creatividad interpolada y económica, usada por 8 mil millones de no artistas, podría revelar una nueva visión del mundo.

• Por estas razones, yo, que no tengo talento para el arte, estoy muy interesado en diversas formas de arte basadas en IA. Hace unos meses comencé a trabajar con StreamDiffusion para difundir en tiempo real la señal de una webcam. Quería generar efectos visuales hermosos y provocar nuevas emociones. Pero el formato de laptop rompía la ilusión. Así que recientemente fabriqué un marco LCD que se puede colgar en la pared para reducir al mínimo los elementos que rompen esa ilusión. La mayor ventaja de esta configuración es que abre un nuevo canal de interacción como objeto permanente, y no como una simple pantalla.

• El principal problema de la configuración actual es la baja tasa de cuadros. Mejoré la velocidad usando TensorRT y compresión de imagen, pero todavía hay mucho margen de mejora.

• Para quienes estén interesados, comparto cómo construirlo y cómo contribuir:

  • Se proporciona el código del cliente y del servidor
  • El hosting del servidor usa RunPod
  • El cliente corre en una Raspberry Pi 5
  • Usa una pantalla Pi de 10.1 pulgadas
  • Usa iluminación infrarroja
  • Usa un marco común
  • Usa una cámara Pi infrarroja
  • Se usa un punzón para hacer el agujero de la cámara (el taladro no funciona)
  • Se experimentó con varios filtros de preprocesamiento; no basta con un prompt simple. img2img se ve demasiado realista sin preprocesamiento. Para lograr el estilo azul tipo Picasso que aparece en esta publicación, se usó una mezcla de detección de bordes Canny, teñido azul y desenfoque.

Resumen de GN⁺

• El arte basado en IA muestra la posibilidad de ofrecer nuevas perspectivas al separar la técnica y la creatividad.
• La difusión en tiempo real de la señal de webcam con StreamDiffusion ofrece nuevas emociones y experiencias visuales.
• La instalación con un marco LCD abre posibilidades más allá de una simple pantalla, como una obra de arte permanente.
• Los problemas técnicos, como la baja tasa de cuadros, todavía tienen margen de mejora.
• Como proyectos con funciones similares, se recomiendan DeepArt.io y RunwayML.

[GN⁺]

Opiniones de Hacker News

• Codificar bytes JPEG en Base64 aumenta el tamaño del payload en aproximadamente 30% y consume ciclos de CPU tanto del cliente como del servidor. El protocolo WebSocket puede transmitir payloads binarios, así que no hay necesidad de convertirlos a texto

  • Se podría considerar eliminar la compresión JPG con pérdida y transmitir bytes RGB sin procesar por la red
  • StreamDiffusion puede lograr altas tasas de cuadros mediante batching extensivo en el pipeline. Aquí no se está aprovechando eso porque el cliente envía solo un cuadro a la vez y espera la respuesta
  • Los modelos SDXL Turbo y Lightning son muy rápidos en img2img, pero están limitados a resoluciones de 512² o 1024² píxeles. Pueden ejecutarse en tiempo real en GPUs de consumo de gama alta

• El arte revela el mundo interior, y la técnica es solo una parte. Se cuestiona la idea de que la brecha técnica sea simplemente una incomodidad

  • Aprender a dibujar o a hacer música cambia a la persona y, según esta opinión, enseña lecciones de vida más profundas
  • Las grandes obras de arte no son hechas por genios; la genialidad llega de forma inesperada. Eliminar la brecha técnica elimina esas oportunidades

• No se habla del valor artístico, pero como coleccionista de herramientas hay una parte interesante

  • Se usó un sacabocados para hacer un agujero en el cartón del marco para la cámara. El taladro no funcionó
  • Se piden más detalles o una interpretación sobre por qué el taladro no funcionó con el cartón

• Se piensa que sería más genial si la cámara estuviera en otro lugar y no en el marco. Ver un espejo artístico es un poco aburrido

  • Hacer un segundo espejo en la casa de otra persona y alimentar la cámara de un espejo al otro para que puedan ver los 'reflejos' del otro

• Siempre se ha pensado que el arte preserva y crea emociones. El plátano en la pared también es arte, y la música popular sigue siendo arte

  • Este invento sin duda es una obra de arte, pero se cree que su salida no lo es. Puede producir varias formas como las nubes, pero sigue siendo una aleatoriedad promedio

• Se pregunta si se ha considerado un efecto de transformación de alta tasa de cuadros entre imágenes. Eso aumentaría la tasa de cuadros efectiva y se vería genial

• El principal problema de la configuración actual es la baja tasa de cuadros. Se considera una característica, ya que no está mal tener tiempo para procesar la imagen

  • Aumentar la frecuencia de actualización a cada 5-15 minutos y capturar/generar una nueva imagen cada vez que se detecte un cambio o movimiento

• Se otorga el premio al espejo que más energía consume. Se observa que la pintura no es estable frente a pequeños cambios en la entrada

• Se pregunta si hay alguna forma de fijar algunas imágenes. Se cree que algunas se verían bien si se conservaran (por ejemplo, una foto de perfil o una imagen de pantalla de bloqueo)