Easy Stable Diffusion XL utilizable sin conexión en el dispositivo

 (noiselith.com)
2 puntos por GN⁺ 2023-12-03 | 1 comentarios | Compartir por WhatsApp

Introducción a la app Noiselith

  • Herramienta de generación de imágenes sin conexión: Noiselith permite generar imágenes libremente en el dispositivo sin depender de la nube.
  • Protección de la privacidad: Todo el proceso de generación se realiza de forma local y no se envía información a la nube.
  • Generación ilimitada: Ofrece generación ilimitada, permitiendo crear 100, 200 o incluso 1000 imágenes al día.
  • Velocidad: Es posible generar imágenes al instante en el dispositivo sin tener que esperar recursos del servidor.

Requisitos del sistema

  • Windows: Se requiere Windows 10 u 11, una GPU NVIDIA RTX serie 20 o superior (8 GB o más de VRAM), 16 GB o más de RAM y 20 GB o más de almacenamiento.
  • macOS: Se requiere macOS 12.3 o superior, Apple Silicon, 32 GB o más de RAM y 20 GB o más de almacenamiento.

Experiencia de usuario

  • Instalación sencilla: Noiselith queda listo para usarse con solo unos cuantos clics.
  • Uso intuitivo: Ofrece una interfaz intuitiva para convertir ideas en imágenes sin preocuparse por detalles técnicos.
  • Gestión de modelos: Permite descargar, eliminar y actualizar modelos fácilmente, además de ofrecer una galería para organizar elegantemente las imágenes generadas.

Hoja de ruta de desarrollo

  • Compatibilidad con diversas funciones: Está previsto dar soporte a modelos SDXL, SDXL LoRA, historial, gestión de proyectos y gestión de modelos.
  • Comunidad y escalabilidad: Incluirá funciones como comunidad de usuarios, soporte para modelos SD 1.5 y 2.1, base de datos de modelos, upscaler y prompts inteligentes.
  • Tienda de apps de Noiselith: Se planea desarrollar una tienda de apps que incluya GPU en la nube y funciones de colaboración remota.

Opinión de GN⁺

  • Lo más importante de este artículo es que la app Noiselith es una nueva herramienta que permite generar imágenes de forma ilimitada en el dispositivo del usuario sin ayuda de la nube y protegiendo la privacidad.
  • Resulta interesante porque reduce la complejidad de instalar y usar este tipo de software, y gracias a una interfaz intuitiva permite que cualquiera empiece a generar imágenes fácilmente para concentrarse más en el trabajo creativo.

Lecturas relacionadas

1 comentarios

 
GN⁺ 2023-12-03
Opiniones de Hacker News

  • Acabo de instalarlo y está bastante genial. La IA local es el futuro que quiero, y también estoy trabajando en eso.
    Lo bueno es que funciona de forma bastante independiente; el instalador de modelos integrado está bien hecho, por lo que es fácil bajar cualquier cosa de CivitAI (probé instalar https://civitai.com/models/183354/sdxl-ms-paint-portraits); la calidad de generación de imágenes es alta y estable, y muestra las etapas intermedias de la generación.
    Lo malo es que descarga un archivo de modelo SDXL de 6.94GB en algún lugar sin preguntar ni mostrar la ubicación o el tamaño, aunque después descubrí que se puede encontrar y cambiar la ubicación en la configuración. La primera generación es muy lenta por la carga del modelo, y aunque no registra el tiempo de generación, parece tomar unos minutos en una MacBook M1 Max con 64GB.
    Tiene varios módulos de feedback, así que el chat de la esquina inferior izquierda es muy molesto y creo que nunca lo usaré; también hay una solicitud de feedback beta en la esquina superior derecha. A diferencia de productos competidores, no es open source, levanta 7 procesos y en reposo usa alrededor de 1GB de RAM. No tiene una UX nativa de macOS, y le faltan atajos de teclado esperados y el menú de ayuda, así que se siente como una app de Electron. En general le doy 4/5 y sí tengo intención de volver a abrirla.

    • En macOS también vale la pena revisar Draw Things. SDXL corre suficientemente bien incluso en dispositivos macOS de 8GiB.
    • Si te da curiosidad el stack tecnológico, está aquí: https://noiselith.notion.site/License-61290d5ed7ab4c918402fd2510533a9b
      Así que sí. Es una app de Electron y usa Svelte, headless-ui, tailwindcss, etc.
    • Es necesario que pregunte la ubicación de descarga.
    • Otra desventaja es que solo funciona en Mac con Apple Silicon.
    • Me pregunto si ese 1GB de memoria en reposo es por proceso o el total de los 7 procesos.

  • Ya hay bastantes opciones de inferencia local, y lo importante es que son open source y también más sólidas en funciones.
    Incluso si alguien lo defiende diciendo “pero Auto1111 o Comfy no tienen una UI amigable”, eso también ya está resuelto: https://github.com/invoke-ai/InvokeAI

    • Me pasé a InvokeAI y no creo que vuelva a la webui básica de a1111. Me gusta la disposición general, tiene funciones de workflow y permite volver a cargar fácilmente todos los atributos usados para crear una imagen, como el prompt, el modelo y los LoRA.
      También se puede organizar en tableros, y los tableros, imágenes y metadatos se guardan en una base de datos SQLite bien diseñada a la que se puede acceder con DataGrip.
    • También existe la opción de usar Krita con un plugin de IA de difusión: https://github.com/Acly/krita-ai-diffusion
    • El copy promocional de “ejecutar Stable Diffusion en local” suena un poco raro. Sinceramente, porque es algo que ya se puede hacer fácilmente.
    • No sé si la UI es amigable, pero el solo proceso de instalación de InvokeAI ya es una barrera para el 99.9% del mundo. Eso no significa que Noiselith no pueda ser open source, pero claramente ofrece algo distinto a InvokeAI.

  • Recomiendo mucho Fooocus a quienes todavía no lo hayan probado: https://github.com/lllyasviel/Fooocus
    Hay muchísimos pipelines locales de Stable Diffusion, pero este tiene una calidad de salida por defecto abrumadoramente buena con solo prompts cortos. Es realmente impresionante.
    La razón es que integra muchísimas mejoras de SDXL que otras UI no implementan o no activan por defecto. Lo uso desde Stable Diffusion 1.5 y he seguido bastante este campo, pero configurar un pipeline equivalente en diffusers, ni hablar de ComfyUI, parece que sería un suplicio. Se siente como una “colección de hits y valores por defecto óptimos” para SDXL.

    • Me daba miedo la configuración de Python, incluso siendo desarrollador Python. Aun así, basta con crear un entorno virtual e instalar dependencias. Es realmente increíble, y las imágenes generadas se ven bonitas de inmediato.
      Eso sí, como decía el comentario de al lado, no se ve bien que incluyan GTM.
      Ejemplos:
      https://imgz.org/i9oicVqo/
      https://imgz.org/i8Ur3WjW/
      https://imgz.org/i5j6r6TZ/
    • La instalación autoalojada de web UI de Fooocus parece vender a los usuarios a Google Tag Manager.
      Ojalá toda nuestra industria se dé cuenta de que activar este tipo de vigilancia es una mala decisión y simplemente pare.
    • En Mac hay que compilarlo directamente, y todos sabemos lo “divertido” que es compilar proyectos de Python.
    • Si quieres los mejores resultados de generación local, Fooocus es mucho mejor. Lvmin está poniendo toda su energía en crear imágenes hermosas. Que tenga licencia GPL también es un plus para mí.
    • Me pregunto si también sería usable en un sistema solo con CPU pero con muchísima RAM.

  • Interesante. Voy a compararlo con https://diffusionbee.com, que he estado usando por diversión durante los últimos meses.

    • Revisé ambos y Noiselith produce resultados mucho, mucho mejores.

  • Puede servir para marketing, pero es raro presentar la ejecución en el dispositivo y el uso offline como el principal diferencial. Es muy probable que la mayoría ya use Stable Diffusion así.
    Creo que sería mejor enfocarse más en que es fácil de instalar y usar. Eso todavía no está bien resuelto. En mi caso, si no tiene ControlNet, escalado, algún detallador de rostros y, si es posible, prompting por regiones, no lo uso.
    También pienso que quienes quieren crear su propio generador de SD deberían contribuir a alguno de los proyectos open source que ya existen.
    Una tienda de apps puede ser una buena idea, pero en un mundo con Auto1111 y su enorme cantidad de extensiones, no creo que tenga buena recepción en la comunidad de Stable Diffusion.

    • Lo de “sirve para marketing” es la clave. Deberían empujar más por ahí. Justo ese punto que parece raro muestra cuál es el público objetivo de este producto: no la gente que ya usa SD, sino quienes usan servicios solo online como Dall-E y quieren convertirlos.
    • Creo que hay bastante gente que no usa cosas como A1111 por el modelo de instalación complicado: descargas esto, luego aquello descarga otra cosa, después tienes que bajar manualmente este archivo y aquel otro.
      Aunque no resulte atractivo para usuarios existentes, un producto más simple puede atraer bastante a usuarios nuevos.
    • He visto una cantidad rara de wrappers en la nube para Stable Diffusion. Por eso me gusta que digan claramente desde el principio que es en el dispositivo/offline.
      Cuando empecé a probar SD, me pareció extraño que hubiera tantos paquetes que, en vez de simplemente descargar varios archivos y ejecutarlos, usaran cosas con demasiado “llamar a casa” o VMs.
    • Probé usar SD en el dispositivo, pero sentí que valía la pena pagar por una versión alojada, porque es mucho más rápida.

  • ¿El prompt de venta es “una mujer joven de cabello rubio y rizado, con una mirada seductora frente a un fondo de mundo de fantasía, sentada con las piernas abiertas, usando una camisa blanca y shorts de mezclilla”?
    De verdad me pregunto si esto está bien.

    • Si el prompt no hubiera sido algo sexual, polémico u ofensivo, habría quedado expuesto tal cual al coro de “igual no es tan bueno como midjourney/dall-e/imagen”. La libertad frente a las restricciones es uno de sus principales puntos de venta.
    • De verdad me pregunto cuánta gente de la comunidad open source está poniendo sudor y sangre para construir proyectos como este, aunque al final el resultado sea permitir que hombres conviertan sus MacBook en pornobooks de Instagram.
    • Me alegra no ser el único que lo sintió inapropiado. Se siente bastante como un silbato para perros.
    • Eso sí que da escalofríos.

  • Después de instalarlo, para ejecutarlo en una máquina Windows tuve que darle permisos de acceso a redes públicas y privadas. Que pase eso mientras lo promocionan como “offline” me hizo ruido.

    • Me pasó algo parecido.
      En el primer arranque descargó unos 30 GB de datos. No sé si en ejecuciones posteriores funcionará offline, porque en mi caso después de eso siguió fallando y ya no volvió a abrir.
      Al desinstalarlo también dejó todos los datos. No eran datos de usuario, sino el ejecutable en sí, el entorno virtual de Python, el actualizador y todos los modelos. La desinstalación básicamente solo borró el acceso directo del menú Inicio.
    • Me da curiosidad si seguía ejecutándose aun desconectando por completo internet.
      Si para ejecutarse requiere una conexión activa a internet, promocionarlo como “offline” está totalmente mal.

  • Definitivamente me alegra que salgan más clientes locales. Como se mencionó en otros comentarios, ya hay algunos excelentes. Probé automatic1111 y es rápido y no requiere demasiada afinación, pero todavía tiene muchos controles y opciones, así que al principio se siente difícil. Fooocus es muy rápido, pero obviamente permite menos personalización.
    Y luego está ComfyUI. Es como el santo grial de la complejidad, pero gracias a esa complejidad permite hacer muchísimas cosas. Al ser una app basada en nodos, puedes crear flujos de trabajo personalizados y, después de generar una imagen, enviar ese “nodo” a otra parte para hacer posprocesamiento, como escalado.
    Quiero ver si Noiselith u otras herramientas van a soportar SDXLTurbo. Apenas salió hace unos días, pero en mi opinión cambia por completo las reglas del juego. En una GPU de consumo puede generar una imagen de 512x512 en unos 0,5 segundos. La calidad no es increíble, pero la capacidad de escribir “un zorro en el bosque” y verlo al instante, luego agregar “con sombrero” y generarlo de nuevo al instante, es muy valiosa. Antes esperaba 12 segundos por una imagen. Suena a poca cosa, pero poder iterar tan rápido hace que la generación local de imágenes sea mucho más divertida.

  • Todavía no lo pude probar, pero en Comfy están usando CoreML, así que me pregunto si, cuando aparezcan frontends más útiles, también aumentará el trabajo de optimización de backend y rendimiento para estas plataformas.
    1~4it/s en imágenes de 512 es demasiado decepcionante, y 2~3s/it en 1024 también es demasiado lento para los estándares actuales. Incluso es una pena que el ANE no pueda correr imágenes SD de 1024x1024 en una MacBook Pro M3.