Apple apresenta MGIE: modelo de IA capaz de editar imagens a partir de linguagem natural

O modelo de IA MGIE da Apple permite editar imagens através de instruções dadas por voz. O sistema suporta modelos multimodais capaz de interpretar comandos com capacidade de manipulação ao pixel.

Precisa de editar imagens e não tem os recursos técnicos para o fazer? A Apple apresentou o modelo de inteligência artificial MGIE open source para a edição de imagens baseado em instruções baseadas em linguagem natural. O sistema MGIE significa MLLM-Guided Image Editing e basicamente interpreta comandos do utilizador para fazer edições de imagem ao nível da manipulação ao pixel.

Segundo o Venture Beat, o modelo pode lidar com diversos aspetos da edição, tal como o estilo Photoshop, uma otimização global da imagem ou edição local. O modelo MGIE é o resultado de uma colaboração entre a Apple e a Universidade da Califórnia, tendo sido apresentado num novo estudo que demonstra a eficiência do modelo.

Até aqui, os modelos MLLM têm sido eficazes a gerar imagens ou textos a partir de instruções baseadas em voz natural. Mas depois das imagens serem construídas, por norma não são editáveis. É exatamente esse o objetivo do modelo MGIE, que trabalha por cima dos sistemas MLLM, adicionando a capacidade de edição.

Apple MGIE

O novo modelo de IA edita as imagens de duas formas: a primeira utiliza os sistemas MLLM para adicionar as instruções dos inputs do utilizador. Estas instruções pretendem ser concisas e claras, servindo de guia no processo de edição. No exemplo dado, pegando numa imagem do céu, pode-se dar a instrução para o tornar mais azul. O MGIE interpreta a instrução aumentando a saturação da área do céu em 20%.

O segundo é a utilização de MLLM para gerar uma imagem, numa representação da edição desejada. Esta representação vai captar a essência da edição, sendo utilizada como guia para a manipulação ao nível do pixel.

A capacidade do modelo permite fazer ajustes de cor ou mesmo manipulação de objetos, seja a nível global da imagem ou apenas edições localizadas, conforme a necessidade do utilizador. Pode aplicar instruções semelhantes a ferramentas do Photoshop, tais como cortes, redimensionamento, rotação, inversão ou adicionar filtros. Também pode mudar o fundo da imagem, adicionar ou remover objetos ou mesmo misturar elementos.

Outros efeitos suportados passam por alterar o brilho, contraste, definição ou balanceamento da cor. Ou então, aplicar estilos artísticos, tais como pintura, modo desenho ou rabiscos. Se necessitar, pode editar pontos específicos da imagem, tais como os olhos, cabelo, roupas ou acessórios de uma personagem, entre outros atributos.