Fashion++ é a inteligência artificial que presta consultoria de moda para vestir

Essa notícia deve agradar aqueles que gostam de se vestir bem. Pesquisadores da Universidade do Texas, da Cornell Tech, da Georgia Tech e do Facebook AI Research desenvolveram uma inteligência artificial que se propõe a fazer edições mínimas nas peças de roupa que alguém está vestindo para maximizar características ligadas à moda, descritas por um termo em inglês que não tem tradução, fashionability. Esse é um desafio até então não endereçado no campo da visão computacional. Na prática, a ferramenta, chamada de Fashion++, propõe, por exemplo, a remoção de um acessório, a troca por uma blusa com gola alta, a mudança de uma cor, ou simplesmente colocar a camisa pra dentro da calça ou enrolar as mangas, de forma que a pessoa pareça bem vestida de acordo com critérios de moda.

O modelo é uma rede neural geradora de imagens, treinado para produzir roupas baseado em encodings aprendidos de cada peça de vestuário. Esses encodings foram gerados a partir de milhares de imagens postadas por entusiastas da moda. A análise dessas imagens pelo modelo também lhe permitiu entender quais componentes contribuem para fashionability alta. Em modo de predição, o modelo recebe uma foto da pessoa e primeiro decompõe a vestimenta em features latentes para textura (como cor, padrões, material) e formato (tamanho, estilo, caimento), através de estruturas separadas de encoding. Um módulo de edição propõe então mudanças nesses features latentes, de forma a maximizar as características aprendidas relacionadas a fashionability. Depois, um gerador de tamanho volta a transformar o feature correspondente em uma máscara de tamanho real, que é fundida com o feature de textura editado. Por fim, o gerador de textura produz a saída do modelo, uma imagem com o visual editado. De acordo com o artigo publicado detalhando o trabalho, o Fashion++ é bem sucedido tanto de acordo com métricas automatizadas quanto com a opinião de avaliadores humanos.

Estrutura da rede neural. Os features latentes produzidos pelos encoders Et (para textura) e Es (para formato) são editados no módulo F++. O gerador de formato Gs produz uma máscara m++, que é fundida com os features de textura gerando o mapa u++. O gerador de textura Gt recompõe a imagem editada.
Créditos: Universidade do Texas.

A proposta é que o Fashion++ possibilite visualizar sugestões de mudanças nas roupas sem que a pessoa tenha que trocar de roupas na vida real. O sistema pode ser ajustado para propor o menor número de edições ou a maior fashionability final.

Após a publicação do trabalho, os autores já pensam em implementar melhorias. Algumas das ideias são aumentar a diversidade de tamanho e formatos de corpo e também a representação de diferentes culturas. Além disso, eles pretendem se esforçar para tornar as sugestões mais personalizadas, como considerando o estilo do usuário ou as roupas que ele já possui no guarda-roupas.

A ideia por trás do projeto é apresentada no vídeo abaixo. O código desenvolvido está disponível para acesso aberto.

Sobre o autor

Deixe um comentário

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *

Esse site utiliza o Akismet para reduzir spam. Aprenda como seus dados de comentários são processados.