DALL·E 3
(openai.com)- DALL·E 3 de OpenAI es un modelo de generación de texto a imagen para usuarios de ChatGPT y desarrolladores de API, orientado a crear imágenes que reflejen con mayor fidelidad el texto ingresado
- Los sistemas anteriores a menudo omitían palabras o descripciones, por lo que los usuarios tenían que depender de la ingeniería de prompts, pero DALL·E 3 fue diseñado para ofrecer resultados mejorados frente a DALL·E 2 incluso con el mismo prompt
- Con la integración con ChatGPT, los usuarios pueden escribir desde una frase simple hasta un párrafo detallado, y ChatGPT genera automáticamente un prompt detallado para DALL·E 3
- Si la imagen generada gusta pero algún detalle no coincide, se puede pedir una modificación con unas pocas palabras, y no se requiere permiso adicional para reimprimir, vender o comercializar las imágenes generadas
- Como medida de seguridad, rechaza solicitudes con nombres de figuras públicas reales y solicitudes en el estilo de artistas vivos, y los creadores podrán excluirse voluntariamente del entrenamiento futuro de modelos de generación de imágenes
Generación de imágenes que sigue el texto con mayor precisión
- DALL·E 3 está disponible para usuarios de ChatGPT y desarrolladores a través de la API
- Los sistemas de texto a imagen tienden a ignorar palabras o descripciones, por lo que muchas veces es necesario aprender ingeniería de prompts para obtener el resultado deseado
- DALL·E 3 busca generar imágenes que sigan con mayor precisión el texto proporcionado por el usuario
- Fue diseñado para ofrecer una mejora notable frente a DALL·E 2 incluso con el mismo prompt
De la creación del prompt a la edición, todo conectado con ChatGPT
- DALL·E 3 está integrado de forma nativa en ChatGPT, lo que permite gestionar dentro de ChatGPT tanto la ideación como el ajuste del prompt
- Los usuarios pueden pedir la escena que quieren ver en lenguaje natural, desde una frase breve hasta un párrafo detallado
- ChatGPT genera automáticamente un prompt detallado y personalizado para DALL·E 3 a partir de la idea del usuario
- Si una imagen específica gusta pero no es exactamente lo que se busca, se puede solicitar una modificación con solo unas pocas palabras
Derechos de uso de las imágenes generadas
- Las imágenes creadas con DALL·E 3 pueden ser utilizadas por el usuario
- Al igual que con DALL·E 2, no se necesita permiso adicional de OpenAI para reimprimir, vender o comercializar las imágenes generadas
Medidas de seguridad para reducir la generación de figuras públicas y los sesgos dañinos
- DALL·E 3 incorpora mitigaciones para rechazar la generación de imágenes solicitadas directamente con nombres de figuras públicas
- OpenAI trabajó con red teams para mejorar el desempeño de seguridad en áreas de riesgo como la generación de figuras públicas y sesgos dañinos relacionados con la sobre o subrepresentación visual
- Los red teams son expertos de dominio que someten al modelo a pruebas de estrés
- Este trabajo se utiliza en esfuerzos de evaluación y mitigación de riesgos en áreas como propaganda y desinformación
- OpenAI también está investigando mejores formas de identificar si una imagen fue generada por IA
- Está experimentando con una herramienta interna llamada provenance classifier, que puede ayudar a identificar si una imagen fue generada con DALL·E 3
- OpenAI planea usar esta herramienta para comprender mejor cómo podrían utilizarse las imágenes generadas y compartir más información más adelante
Control para creadores y materiales de referencia
- DALL·E 3 está diseñado para rechazar solicitudes de imágenes en el estilo de artistas vivos
- Los creadores podrán excluir sus imágenes del entrenamiento futuro de modelos de generación de imágenes
- Como materiales relacionados, se ofrecen un artículo de investigación y un formulario de exclusión de imágenes
1 comentarios
Opiniones de Hacker News
Si todavía no se ha lanzado públicamente, entra en la categoría de anuncio de un anuncio (https://hn.algolia.com/?dateRange=all&page=0&prefix=true&sor...)
Cuando haya algo real de qué hablar, se puede abrir el hilo entonces, y no se pierde nada esperando (https://hn.algolia.com/?dateRange=all&page=0&prefix=false&so...)
Para quienes tengan interés: el año pasado generé unas 7,000 imágenes con DALL·E 2 y las subí a https://generrated.com/
Quería experimentar con lo que DALL·E 2 podía crear y compartirlo con otros como inspiración o punto de partida
Fue antes de que saliera la API, así que tuve que generarlas y guardarlas todas manualmente, y también costó bastante, pero fue divertido
Supongo que tendré que actualizarlo todo cuando reciba acceso a DALL·E 3
Edición: en realidad parece que solo no se pueden usar artistas vivos en los prompts; al menos eso dice el texto
Se ven patrones que permitirían plantear muchísimas hipótesis razonables, pero por curiosidad quisiera saber cuál es la causa real
Al ver las imágenes, es especialmente interesante que nunca acierta el texto exactamente y siempre queda un poco desviado. A veces se equivoca por mucho, pero en general queda bastante cerca
Hice un bot de Discord para Midjourney que, con una configuración sencilla, puede descargar imágenes y anotarlas incluyendo la mayor cantidad de información posible, como la versión: https://github.com/ernop/social-ai/tree/main/SocialAI
Aun así no es perfecto. Toma la información del comando enviado, pero como en ese momento quizá dependía de los valores predeterminados, si se interpreta ahora es difícil reconstruir la versión, la seed, etc. del pasado salvo que se hayan incluido en el prompt
De todos modos, al menos es bueno poder conservar para siempre una carpeta de 30,000 imágenes con sus prompts, y volver a ejecutarlas más adelante para hacer comparaciones a lo largo del tiempo
Cosas que se me ocurren: la integración con ChatGPT es enorme. Si la integración con ChatGPT Plus y la versión empresarial llega en octubre, puede poner mucha presión sobre Midjourney y varias empresas SaaS de texto a imagen, y empujarlas a enfocarse en usos NSFW
La calidad parece similar a la de Midjourney, pero Midjourney también tiene funciones útiles como upscaling o generar varias variaciones. Me pregunto si DALL·E 3 podrá alcanzarlo en términos de experiencia de usuario
Como UI, prefiero mucho más ChatGPT que Discord, así que esto me parece mejor
Ahora, con Midjourney o Stable Diffusion, a veces sale una imagen increíble y a veces no, y se siente como un casino. Stable Diffusion permite enmascarar y volver a intentar, pero es engorroso y lleva mucho tiempo
Si uno pudiera decir “esta imagen está buena, pero quisiera que hubiera solo un mono, y cambia el cielo a verde”, y el sistema tomara la imagen original y la modificara, sería un cambio total de reglas
Probablemente en realidad no funcione así, pero ojalá
De todos modos, será realmente interesante ver quién gana esta competencia y con qué
Bing Chat ya usa GPT-4 internamente, Bing Image Creator también está integrado y por dentro usa algo como DALL·E 2.5, pero no es bueno
Básicamente solo escribe el prompt de imagen por ti, y se parece más a un juego de teléfono descompuesto inútil que añade un paso para algo que podrías escribir directamente
¿No sería posible algo como un modelo de lenguaje grande entrenado con Literotica?
No noto una diferencia enorme, y sobre todo Midjourney es mucho mejor que DALL·E
“DALL·E 3 está diseñado para rechazar solicitudes de imágenes en el estilo de artistas vivos”, “los creadores ahora pueden excluir sus imágenes del entrenamiento de futuros modelos de generación de imágenes”.
Entonces esta versión también usó obras con copyright para entrenamiento sin permiso.
Además, les está trasladando a los artistas la carga de solicitar manualmente la exclusión.
¿No les da miedo que algún día un tribunal los obligue a pagarles a cada artista por cada imagen generada?
Es decir, los tribunales tendrían que obligar a miles de empresas muy grandes y poderosas a pagarles a millones de personas, lo que en la práctica se vuelve un esfuerzo legal difícil de manejar.
No revelaron las fuentes ni la metodología, y todo lo demás, salvo “entrenamiento” y “copyright”, está en duda. Si no fuera así, ya estarían pagando regalías.
Podrían haber usado salidas de la versión 2 anterior junto con prompts creados por GPT, y luego haberlas corregido manualmente para ajustarlas a las imágenes generadas.
También podrían haber analizado imágenes nuevas y existentes con visión por computadora, agregado al prompt las características nuevas que aparecían en la imagen y luego volver a entrenar.
Viendo el estado de los tribunales, tampoco espero que se revierta.
Es muy probable que hagan acuerdos por debajo de la mesa con grandes titulares de propiedad intelectual como Disney para no tocar al oso, mientras dejan a los actores pequeños sin posibilidad de defenderse; más precisamente, ya eran pobres y los dejan con todavía menos dinero.
Parece que sí puede ser una amenaza real para Midjourney, pero no creo que desplace a Stable Diffusion.
La adhesión al prompt parece que será excelente, pero la falta de personalización y las restricciones de estilos artísticos reducirán mucho su utilidad.
Probablemente la gente use DALL·E 3 para crear imágenes base de composición, y luego pase estilo, escalado y detalles por Stable Diffusion.
He visto muchas más imágenes de altísima calidad difíciles de distinguir de algo generado en Midjourney que en Stable Diffusion.
El filtrado de Midjourney ya era bastante molesto, y que ChatGPT rechace sin sentido solicitudes simples porque podrían malinterpretarse también fue infinitamente irritante.
Si combinan esas dos cosas y además agregan explícitamente filtrado por estilo de artista, simplemente lo voy a dejar pasar.
Para aclarar: no es que esté haciendo NSFW con Midjourney. Hablo de situaciones como querer “una foto de stock de una persona cortando queso sobre una barra” y no poder usar palabras como “cutting” o “slicing” porque pueden usarse para crear imágenes gore.
Es gracioso que digan “los creadores ahora pueden excluir sus imágenes del entrenamiento de futuros modelos de generación de imágenes” y que el enlace sea un formulario para enviar una imagen a la vez.
Dicen que se puede bloquear GPTBot en un sitio, pero también está el problema de qué pasa si el bot ya raspó las imágenes.
De todos modos, otra persona podría subir mi foto a otro sitio web que no bloquee GPTBot.
Últimamente, por un proyecto, estuve generando muchas imágenes en Midjourney, y volví a darme cuenta de algo que los catastrofistas del arte con IA parecen no entender: la importancia de la curaduría.
Basta con revisar /r/Midjourney o las imágenes destacadas del enlace de DALL·E de arriba para ver lo aburridos que son los “resultados por defecto” de los generadores.
Crear imágenes puede volverse fácil, pero elegir cuáles son atractivas todavía requiere sensibilidad artística y habilidad.
A grandes rasgos, creo que el arte de tipo ilustración se volverá más parecido a una actividad de curaduría, y la capacidad de filtrar entre grandes volúmenes de imágenes será la habilidad clave.
Creo que si puedes crear una imagen de referencia para usar como entrada, el resultado será mejor. Cuanto mejor la entrada, mejor la salida.
En el ámbito comercial, siento que los artistas que sepan aprovechar bien la IA van a llevar la delantera.
Aun así, quedará margen para que un artista con gusto y talento técnico manipule las imágenes para acercarlas más a un ideal curado.
Como en los flujos de trabajo actuales de Photoshop basados en Stable Diffusion, el resultado generado crea la base, y cuando el flujo de trabajo madure, probablemente vuelva a aumentar la intervención manual.
Por ejemplo, se bloquea la composición con ControlNet fijando una pose o distribución específica, la IA completa el 90%, y luego una persona pule el 10% final según su criterio y repite.
Al ver el punto de que “DALL·E 3 está construido de forma nativa sobre ChatGPT”, la integración estrecha entre ChatGPT y la generación de imágenes, y que no salió ningún paper de investigación junto con el anuncio, sospecho con bastante fuerza que es una prueba operativa de las capacidades multimodales de GPT-4 y que probablemente corre sobre una infraestructura similar.
Así que simplemente usará llamadas a la API. No tiene nada de especial, y Bing hace lo mismo.
Referencia: https://arxiv.org/pdf/2303.12712.pdf
¿Quitaron el material de “entrenamiento” con copyright, o todavía están “aprendiendo” del trabajo de la gente sin consentimiento y vendiéndolo sin permiso?
O sea, todavía se apoyan en el trabajo de la gente, pero lo bueno es que al menos se puede solicitar la exclusión para que tu obra no termine siendo alimento de DALL·E 4.
La clave está en si logran defender con éxito el argumento de que la IA aprende como un humano, por lo que las salidas que no sean copias directas de obras existentes son creaciones nuevas.
Lo mismo aplica de forma similar si una IA replica el estilo artístico de un autor. Es parecido a que una persona mire durante un fin de semana las obras de un artista y luego pinte un encargo en el mismo estilo; como los estilos artísticos no se pueden proteger con copyright, es completamente legal.
Claro, aunque Adobe quisiera que sí se pudiera[0]
0: https://twitter.com/UltraTerm/status/1679294173793628161
Otra cosa que me sigue dando vueltas es si este tipo de contenido generado por IA podría provocar un colapso al estilo de la industria de los videojuegos.
Si hay una sobreoferta de contenido de IA muy publicitado pero sin significado y de bajo valor, los consumidores podrían perder el interés, dejar de gastar en industrias como libros, juegos, películas, arte digital y música, y hacer que colapsen.
https://investor.shutterstock.com/news-releases/news-release...
Como siempre, estaría bien tener más transparencia sobre los datos de entrenamiento.
Eso no debería hacerse. Desde una postura maximalista del copyright, es una infracción.
Empieza otra carrera más.
Algunas personas parecen tener una fuerte antipatía por OpenAI, pero al menos OpenAI es realmente muy buena en convertirse, en ciertas áreas, en el punto de referencia a superar.
Y al hacerlo, parece empujar bastante lejos a todo el campo.
Los que ya somos viejos recordamos las cosas que hizo Microsoft en los 90. Si hoy estuviera al frente en algún campo, haría lo mismo, y por detrás a veces todavía lo hace.
No es que me gusten FB ni Zuckerberg, pero liberar LLAMA gratis fue una buena jugada.
Espero que haya otra filtración interna de OpenAI y que podamos acceder a todo.