Inovação

Novo algoritmo remove distorções subaquáticas para imagens coloridas claras

Novo algoritmo remove distorções subaquáticas para imagens coloridas claras

Você já tirou uma foto subaquática apenas para vê-la sair em tons de verde e azul? Isso ocorre porque a luz se comporta de maneira diferente na água.

Embora possa ser apenas uma chatice tirar fotos pessoais, o fenômeno é realmente um grande problema na comunidade científica, onde a incapacidade de tirar fotos precisas da vida marinha está impedindo o progresso essencial. Agora, o oceanógrafo e engenheiro Derya Akkaynak e o engenheiro Tali Treibitz, da Universidade de Haifa, criaram um novo algoritmo de inteligência artificial que pode resolver tudo isso.

Como fica o #ocean sem água? Confira o algoritmo Sea-thru que remove água de suas imagens subaquáticas aqui: https://t.co/bHJq73gWVF#CVPRpic.twitter.com/VAWubfSPsQ

- Derya Akkaynak (@dakkaynak) 14 de junho de 2019

Removendo água

A melhor maneira de descrever o que o algoritmo faz é dizer que ele remove a água. Isso porque permite que as fotos sejam capturadas embaixo d'água como se tivessem sido tiradas em terra firme.

Os pesquisadores chamaram seu novo sistema de Sea-thru e é nada menos que extraordinário. Ao contrário do photoshop que corrige imagens artificialmente, o Sea-thru é uma correção fisicamente precisa em tempo real.

Esta imagem compartilhada no trabalho dos pesquisadores mostra verdadeiramente o que o algoritmo pode alcançar:

Obtendo cores verdadeiras

RELACIONADO: NVIDIA AI FAZ ARTISTAS DE TODOS

O algoritmo entusiasmou a comunidade científica da vida marinha. “O que eu gosto nessa abordagem é que se trata realmente de obter cores verdadeiras”, disse Pim Bongaerts, biólogo de corais da Academia de Ciências da CalifórniaAmericano científico. “Obter cores verdadeiras pode realmente nos ajudar a obter muito mais valor de nossos conjuntos de dados atuais.”

IE teve a oportunidade de entrevistar Akkaynak sobre seu trabalho.

IE: Como você inventou o algoritmo?
Akkaynak: Desenvolvi o algoritmo Sea-thru durante minha bolsa de pós-doutorado na University of Haifa, Marine Imaging Lab, como resultado de três anos de trabalho teórico e experimental. As câmeras digitais (junto com as caixas subaquáticas) estão disponíveis comercialmente apenas desde o início dos anos 1990, portanto, desde então, a correção consistente das cores em imagens subaquáticas tem sido um problema aberto e desafiador em nosso campo. Esse foi o problema no qual comecei a trabalhar em 2015, quando entrei pela primeira vez na Universidade de Haifa.

Com o tempo, as razões para a falta de um algoritmo de correção de cores robusto e consistente ficaram claras - os pesquisadores estavam usando uma equação que descreve como a luz se move na atmosfera para produzir uma imagem no sensor da câmera, para corrigir as cores em fotografias subaquáticas. O que acontece com a luz debaixo d'água é muito diferente do que acontece com ela no ar. Uma vez eu descobri que formulei uma equação (mais) fisicamente precisa especificamente para o oceano, e essa equação é o verdadeiro avanço que levou ao algoritmo Sea-thru. Essa equação explica porque o algoritmo Sea-thru funciona melhor do que os algoritmos existentes, e foi capaz de produzir as correções impressionantes (algoritmicamente) que você viu.

IE: Como funciona o algoritmo?
Akkaynak: A única informação fora do padrão que requer é um "mapa de distância" - que
nos diz a distância de cada objeto na cena da câmera. Fora isso, ele funciona em imagens RGB brutas tiradas sob luz natural. Não precisa de cartela de cores nas imagens. Não é um algoritmo de IA - portanto, também não há redes neurais ou treinamento envolvido.

Existem diferentes formas de obter um mapa de distâncias. Nós o estimamos utilizando várias imagens da cena. Você também pode usar uma configuração de câmera estéreo e obter distância de um único par de imagens, não precisando de várias imagens. Uma vez que o algoritmo tem distância, ele estima todos os parâmetros necessários para remover a “névoa” e restaurar as cores com base na equação que mencionei acima.

IE: Quais aplicações você prevê para o algoritmo?
Akkaynak: Sea-thru já funciona em vídeo, o que é muito legal, porque elimina a necessidade de várias imagens, já que os frames de vídeo são inerentemente várias imagens da mesma cena. Além disso, elimina a necessidade de carregar luzes artificiais, o que significa menos despesas e equipamentos para carregar para muitos fotógrafos.

Mas onde ela agregará um valor tremendo será a automação das imagens de análise e vídeos feitos por cientistas marinhos. Quando essas imagens (por exemplo, pesquisas de recifes, fundo do mar, estoques de peixes, etc.) são pré-processadas com Sea-thru, os cientistas poderão usar poderosos métodos de visão computacional e aprendizado de máquina para contar, identificar, segmentar e classificar animais e outros objetos neles. Atualmente, adquirimos grande quantidade de imagens, mas a maioria das análises é feita manualmente, o que é tedioso, lento e caro.

No momento, o Sea-thru funciona apenas em imagens tiradas com luz natural, mas vamos estendê-lo para o caso da luz artificial, pois é assim que a maior parte do oceano é explorada. E, claro, vejo isso como um módulo no Photoshop, integrado às câmeras do consumidor e até máscaras de mergulho. É só uma questão de tempo!


Assista o vídeo: Ecognition Developer: Segmentação e Classificação de Imagens (Julho 2021).