Quando nós tiramos fotografias em ambientes naturais, é comum que os rostos fiquem ofuscados por sombras. Alguns softwares de edição de imagem permitem remover as sombras, mas esta tarefa costuma ser muito trabalhosa. Um trabalho publicado em julho por pesquisadores da Universidade da Califórnia Berkeley e do Google apresentou um algoritmo capaz de remover estas sombras automaticamente, tornando os rostos mais discerníveis, com a mesma facilidade de aplicar um filtro às fotografias.
O modelo utilizado foi baseado numa arquitetura chamada de GridNet, que é uma rede neural convolucional modificada para segmentação semântica de imagens. Ao invés de operar com um único fluxo de dados com operadores de sub-amostragem responsáveis por reduzir o tamanho dos mapas de características, como nas redes convolucionais tradicionais, esta estrutura segue um padrão de grade que permite que fluxos interconectados operem em diferentes resoluções, assim garantindo a manutenção da informação semântica de cada pixel da imagem original, até o final do processamento. Desta forma, a GridNet pode ser usada não somente para classificar imagens, mas também para identificar sub-seções da imagem original, como é o caso das sombras. O dataset usado para treinamento foi obtido adicionando sombras artificiais a fotografias reais, de forma que pares com e sem sombra estivessem disponíveis para o modelo. Os autores ainda dividiram as sombras em duas categorias: aquelas externas, causadas pelos objetos do ambiente como árvores e prédios, e aquelas provenientes das partes do próprio rosto, como o cabelo e o nariz. Isto é importante porque as sombras do rosto costumam contribuir para a naturalidade do resultado final, por isso seu tratamento deve ser diferenciado. Desta forma, foi possível separar as duas tarefas, que puderam depois ser aplicadas de forma independente e gradual a fotografias no dataset de teste.
Os resultados foram comparados com aqueles produzidos por outros modelos publicados anteriormente, alcançando um nível de realismo inédito. A figura abaixo resume estas comparações.
Créditos: autores.
Alguns dos melhores resultados podem ser visualizados no site referente a este trabalho, é só passar o mouse por cima das imagens pra checar o resultado final. Na linha de cima estão as imagens com remoção de sombras externas e suavização das sombras do rosto; na linha debaixo, só com remoção das sombras externas.
As pessoas mais exigente vão perceber que, apesar de ser bem-sucedido na remoção das sombras, o modelo causa um leve desfoque nas imagens, mas é preciso lembrar que esta é uma das iterações iniciais do modelo. As melhorias que devem vir adiante logo devem aparecer na aba de filtros das câmeras de nossos smartphones.
