La nueva IA de Apple edita imágenes a nivel de Photoshop y funciona con instrucciones de texto simples: así es MGIE
Apple ha presentado un nuevo modelo de Inteligencia Artificial generativa: MGIE, un proyecto que permite a los usuarios, con lenguaje sencillo, no solo crear imágenes, sino también editar contenidos como si usaran un software de edición de fotografías, como Photoshop.
Este modelo fue desarrollado tanto por Apple como por la Universidad de California en Santa Bárbara, siendo capaz de recortar, cambiar el tamaño, voltear o incluso agregar filtros a las imágenes mediante instrucciones simples de texto.
Qué es MGIE
MGIE es un extenso modelo de lenguaje multimodal (MLLM) que se centra en la edición de imágenes basada en instrucciones, es decir, un sistema capaz de integrar y procesar datos, como texto, imágenes y sonido, interpretando los comandos del usuario.
Como resultado, el modelo puede manejar varios aspectos de edición, similar a cualquier procesador de imágenes, realizando trabajos de optimización global de fotografías y edición local de contenido.
En cada sección de la imagen, se aprecian dos imagenes similares, la primera original y la segunda procesada por MGIE. En la parte superior de cada fotografía se muestra la indicación del usuario y en el lado izquierdo de cada resultado la forma en que procesa la instrucción la el MLLM.
La IA lleva a cabo el proceso de dos formas: primero, utiliza el modelo para convertir las entradas del usuario en instrucciones expresivas, concisas y claras con una orientación explícita para el proceso de edición.
Esto se traduce en que al dar instrucciones como «hacer el cielo más azul«, MGIE puede convertirlas en comandos similares a «aumentar la saturación de la región del cielo en un 20%«.
El segundo proceso consiste en que el MLLM replica procesos de edición para manipular las imágenes a nivel de píxel.
Las funciones de MGIE
Entre las capacidades del modelo, este puede realizar desde ajustes de color simples hasta manipulaciones de objetos complejos, así como ediciones globales y locales.
Comparativa de MGIE contra otros modelos de MLLM
Por ejemplo, MGIE es capaz de proporcionar instrucciones claras y concisas para guiar el proceso de edición de manera efectiva, mejorando la calidad de las imágenes y haciendo más agradable la experiencia.
También es posible modificar las imágenes al estilo de Photoshop, no solo recortando, cambiando el tamaño, rotando, volteando o agregando filtros, sino también realizando ediciones más elaboradas, como cambiar un fondo, agregar o eliminar objetos y combinar elementos.
Además, MGIE también puede optimizar la calidad de las imágenes en parámetros como brillo, contraste, nitidez y equilibrio de color, con efectos artísticos adicionales como dibujar, pintar y crear dibujos.
Comparativas en la forma en que MGIE procesa las indicaciones en comparación con el modelo LGIE
Otras de sus funciones incluyen la edición local de contenidos, modificando regiones u objetos específicos en la imagen, como la ropa o el accesorio de una persona, para cambiar formas, tamaños, colores, texturas o el estilo de un elemento.
Cómo probar MGIE
MGIE está disponible como proyecto de código abierto en GitHub, donde se pueden revisar el código, los datos y los modelos previos de entrenamiento, además de demostraciones sobre cómo utilizar el modelo para tareas de edición.
Incluso, es posible probar MGIE mediante una demostración en la plataforma de colaboración Huggin Face Space, aunque también se puede descargar directamente para manipularlo de forma local.
