Apple lanza "MGIE", un innovador modelo de IA para edición de imágenes basada en instrucciones

Cómo funciona MGIE (MLLM-Guided Image Editing)

• Interpretación de instrucciones con MLLM: MGIE usa un MLLM para derivar instrucciones claras y concisas a partir de la entrada del usuario. Por ejemplo, ante la solicitud "haz el cielo más azul", puede generar la instrucción "incrementa la saturación del área del cielo en un 20%".
• Generación de imaginación visual: MGIE genera una imaginación visual, una representación latente que captura la esencia de la edición deseada. Esto se usa para guiar la manipulación a nivel de píxel.
• Entrenamiento de extremo a extremo: MGIE utiliza un nuevo enfoque de entrenamiento de extremo a extremo que optimiza en conjunto la derivación de instrucciones, la generación de imaginación visual y el módulo de edición de imágenes.

¿Qué puede hacer MGIE?

• Edición clara basada en instrucciones: MGIE genera instrucciones claras y concisas que guían eficazmente el proceso de edición.
• Ajustes estilo Photoshop: MGIE puede realizar ediciones comunes al estilo Photoshop, como recortar, redimensionar, rotar, voltear y agregar filtros, y también permite ediciones más complejas como cambiar el fondo, añadir o eliminar objetos, y mezclar imágenes.
• Optimización de la foto completa: MGIE puede optimizar la calidad general de una foto, incluyendo brillo, contraste, nitidez y balance de color, y también aplicar efectos artísticos como boceto, pintura y efecto de caricatura.
• Edición local: MGIE puede editar áreas u objetos específicos dentro de una imagen, como rostro, ojos, cabello, ropa y accesorios, y modificar atributos de esas áreas u objetos (forma, tamaño, color, textura y estilo).

¿Cómo usar MGIE?

• Proyecto de código abierto: MGIE está disponible como proyecto de código abierto en GitHub, donde se pueden encontrar el código, los datos y los modelos preentrenados.
• Notebook de demostración y demo web: El proyecto ofrece notebooks de demostración que muestran cómo usar MGIE para diversas tareas de edición, y también se puede probar en línea mediante una demo web alojada en Hugging Face Spaces.
• Diseño fácil de usar: MGIE está diseñado para ser fácil de usar y flexible de personalizar, de modo que los usuarios pueden editar imágenes proporcionando instrucciones en lenguaje natural, y MGIE genera la imagen editada junto con las instrucciones derivadas.

¿Por qué es importante MGIE?

• Innovación en la edición de imágenes basada en instrucciones: MGIE representa una innovación en el campo de la edición de imágenes basada en instrucciones, un reto importante tanto para la IA como para la creatividad humana.
• Herramienta práctica: MGIE puede ayudar a crear, modificar y optimizar imágenes con fines personales o profesionales en áreas como redes sociales, comercio electrónico, educación, entretenimiento y arte.
• Fortalecimiento de las capacidades de investigación y desarrollo en IA de Apple: MGIE resalta las crecientes capacidades de Apple en investigación y desarrollo de IA, y muestra cómo la IA puede mejorar tareas creativas cotidianas.

Opinión de GN⁺

• MGIE es un innovador modelo de IA que edita imágenes a partir de instrucciones en lenguaje natural, y podría ser de gran ayuda para materializar visualmente las ideas creativas de los usuarios.
• Esta herramienta puede simplificar tareas de edición de imágenes técnicamente complejas y contribuir a mejorar la experiencia del usuario.
• Un ejemplo del crecimiento de Apple en el campo de la investigación y el desarrollo de IA