Presentan Stable Diffusion 3.5

• Incluye varias versiones del modelo que pueden ejecutarse en hardware de consumo y personalizarse con flexibilidad, y es gratis para la mayoría de los casos de uso
• Se pueden descargar los modelos Stable Diffusion 3.5 Large y Stable Diffusion 3.5 Large Turbo desde Hugging Face, y el código de inferencia desde GitHub
• Modelos lanzados
  • Stable Diffusion 3.5 Large: modelo base con 8 mil millones de parámetros, el más potente de la familia Stable Diffusion. Ideal para casos de uso profesionales en resolución de 1 megapíxel
  • Stable Diffusion 3.5 Large Turbo: versión destilada de Stable Diffusion 3.5 Large que genera imágenes de alta calidad con excelente adherencia al prompt en solo 4 pasos. Es considerablemente más rápido que Stable Diffusion 3.5 Large
  • Stable Diffusion 3.5 Medium (previsto para lanzarse el 29 de octubre): tiene 2.5 mil millones de parámetros y fue diseñado para ejecutarse directamente en hardware de consumo gracias a una arquitectura MMDiT-X mejorada y a métodos de entrenamiento optimizados. Equilibra calidad y facilidad de personalización. Puede generar imágenes con resoluciones de 0.25 a 2 megapíxeles

Proceso de desarrollo del modelo

• Al desarrollar el modelo, se priorizó la posibilidad de personalización para ofrecer una base flexible
• Para ello, se integró Query-Key Normalization en los bloques del transformer para estabilizar el proceso de entrenamiento del modelo y simplificar el ajuste fino y el desarrollo adicional
• Fue necesario aceptar algunos trade-offs para dar soporte a la flexibilidad downstream
• Al cambiar la semilla con el mismo prompt, la variabilidad en la salida puede aumentar. Esto fue intencional para ayudar a conservar una base de conocimiento más amplia y estilos diversos en el modelo base
• Sin embargo, los prompts con poca especificidad pueden incrementar la incertidumbre en la salida, y el nivel estético puede variar
• En el caso del modelo Medium, la arquitectura y el protocolo de entrenamiento se ajustaron varias veces para mejorar la calidad, la consistencia y la capacidad de generación en múltiples resoluciones

Ventajas de Stable Diffusion 3.5

• Facilidad de personalización: permite ajustar fácilmente el modelo a necesidades creativas específicas o crear aplicaciones basadas en flujos de trabajo personalizados
• Rendimiento eficiente: especialmente los modelos Stable Diffusion 3.5 Medium y Stable Diffusion 3.5 Large Turbo están optimizados para ejecutarse en hardware de consumo estándar sin requisitos pesados
• Salidas diversas: puede generar imágenes que representan a personas de todo el mundo con distintos tonos de piel y rasgos, incluso sin prompting extenso
• Stable Diffusion 3.5 Large lidera el mercado en adherencia al prompt y ofrece una calidad de imagen comparable a la de modelos mucho más grandes
• Stable Diffusion 3.5 Large Turbo ofrece el tiempo de inferencia más rápido en relación con su tamaño, manteniéndose muy competitivo en calidad de imagen y adherencia al prompt
• Stable Diffusion 3.5 Medium supera a otros modelos de tamaño medio y ofrece un rendimiento eficiente y de alta calidad al equilibrar adherencia al prompt y calidad de imagen

Resumen de la Stability AI Community License

• Gratis para uso no comercial: personas y organizaciones pueden usarlo sin costo para fines no comerciales, incluida la investigación científica
• Gratis para uso comercial con ingresos anuales de hasta 1 millón de dólares: startups, pymes y creadores pueden usarlo sin costo con fines comerciales si sus ingresos anuales son menores a 1 millón de dólares
• Propiedad de los resultados: es posible conservar la propiedad del contenido generado sin implicaciones de licenciamiento restrictivo
• Las organizaciones con ingresos anuales superiores a 1 millón de dólares pueden contactar a Stability AI para consultar una licencia empresarial

Cómo acceder al modelo

• Los pesos del modelo ya están disponibles en Hugging Face para self-hosting
• También se puede acceder al modelo a través de plataformas como Stability AI API, Replicate, ComfyUI y DeepInfra

Compromiso de Stability AI con la seguridad

• Stability AI cree en prácticas de IA seguras y responsables, y ha tomado medidas deliberadas desde las primeras etapas del desarrollo para asegurar la integridad
• Está tomando medidas razonables para prevenir el uso indebido de Stable Diffusion 3.5 por parte de actores maliciosos

Próximos planes

• Está previsto el lanzamiento público de Stable Diffusion 3.5 Medium el 29 de octubre
• Poco después, se lanzarán ControlNets con funciones avanzadas de control para diversos casos de uso profesionales