RealFill: completado de imágenes con modelos de difusión

• Google Research y la Universidad de Cornell desarrollaron un nuevo enfoque generativo para el completado de imágenes
• RealFill busca rellenar las partes faltantes de una imagen con el contenido que originalmente debería estar ahí, para crear imágenes más realistas
• El modelo se personaliza usando varias imágenes de referencia, que no necesariamente deben coincidir con la imagen objetivo y pueden variar en punto de vista, condiciones de iluminación, apertura de la cámara o estilo de imagen
• RealFill supera ampliamente a los enfoques existentes en un nuevo benchmark de completado de imágenes que cubre escenarios diversos y desafiantes
• Este proceso incluye el ajuste fino de un modelo de difusión para inpainting previamente entrenado sobre las imágenes de referencia y objetivo, lo que le permite aprender el contenido, la iluminación y el estilo de la escena de la imagen de entrada
• Luego, el modelo ajustado se usa para rellenar las regiones faltantes de la imagen objetivo mediante un proceso estándar de muestreo por difusión
• RealFill genera imágenes de alta calidad, fieles a la escena original y visualmente atractivas, incluso cuando hay grandes diferencias entre la referencia y el objetivo
• Entre las limitaciones de RealFill están un proceso de ajuste fino relativamente lento basado en gradientes y la dificultad para reconstruir escenas 3D cuando el cambio de punto de vista entre la referencia y la imagen objetivo es muy grande
• RealFill también tiene dificultades en casos desafiantes para modelos base preentrenados como Stable Diffusion

[GN⁺]

Opiniones de Hacker News

• Un artículo sobre 'RealFill', una herramienta de completado de imágenes que usa modelos de difusión
• Una herramienta con valor potencial para mejorar fotos tomadas en el presente y en el pasado
• RealFill puede mejorar imágenes al combinar fotos similares en una sola imagen superior
• Una herramienta capaz de generar imágenes artificiales para publicaciones en redes sociales, aumentando su atractivo y diversión
• RealFill es una herramienta útil de posproducción para cine y TV, y ofrece flexibilidad para hacer "uncropping" y convertir 4:3 a pantalla ancha
• Una herramienta que puede usarse para corregir problemas de cámaras estenopeicas baratas en arreglos de cámaras holográficas
• RealFill puede usarse para reparar una foto familiar que alguien recortó por error
• Una función de zoom out digital impulsada por IA, una herramienta para crear fotos ampliadas sin depender del lente o la distancia
• Preocupación por el uso de los términos "real" y "restauración" en la demo; la imagen resultante no es real ni restaurada, sino una ilusión
• Una herramienta que podría hacer más atractivos a los teléfonos Pixel, con funciones como borrador mágico y "completado de imagen real"
• Los avances de la IA en los últimos años son impresionantes, y herramientas como RealFill representan una etapa importante de progreso
• Algunos comentaristas expresan preocupación por las implicaciones de usar IA para crear una ilusión de realismo
• La funcionalidad de la herramienta se compara con cómo las cámaras GoPro eliminan el palo de selfie usando cuadros adyacentes para rellenar píxeles