Por que isso importa: O Google Research está trabalhando em uma nova tecnologia de redução de ruído de imagem de IA que pode mudar drasticamente a fotografia com pouca luz. A ferramenta é capaz de reconstruir uma cena escura com remoção de ruído poderosa e artefatos mínimos, superando confortavelmente as ferramentas de remoção de ruído existentes.
A fotografia computacional percorreu um longo caminho e hoje em dia é predominante em smartphones e softwares de pós-processamento. A redução de ruído é sem dúvida uma das ferramentas mais valorizadas, pois mesmo os melhores sensores de câmera não estão isentos de ruído na imagem, principalmente quando usados em um ambiente mais escuro. O Google Research revelou uma nova tecnologia empolgante que usa inteligência artificial para eliminar o ruído da imagem de cenas mais escuras, permitindo efetivamente que os fotógrafos “vejam no escuro”.
Eles estão chamando essa nova ferramenta de RawNeRF e faz parte de seu projeto de código aberto conhecido como MultiNeRF. RawNeRF é capaz de auxiliar fotógrafos ao capturar cenas mais escuras especificamente. Ele faz uso de IA com poder de remoção de ruído sem precedentes, e o que é realmente impressionante é que a remoção de ruído parece acontecer com uma perda mínima de qualidade e muito menos artefatos do que ferramentas comparáveis.
NeRF (Neural Radiance Fields) é um sintetizador de visualização que pode escanear uma coleção de imagens e reconstruir uma renderização 3D precisa. Ben Mildenhall, um pesquisador do Google, explica que o RawNeRF “combina imagens tiradas de muitos pontos de vista diferentes da câmera para reduzir e reconstruir uma cena em conjunto”. Portanto, não é apenas um denoiser, mas é usado para variar a posição da câmera e visualizar a cena de diferentes ângulos. As cenas são reconstruídas em um espaço de cores HDR linear, o que significa que pode trabalhar em detalhes como variar a exposição, usar mapeamento de tons e alterar o foco.
Conforme mostrado no vídeo acima, Mildenhall usa uma foto de smartphone de uma mesa à luz de velas para demonstrar o poder do RawNeRF. Ele aplica pós-processamento e brilho mínimos e, embora a imagem resultante seja mais detalhada, possui uma quantidade significativa de ruído do sensor. Ele mostra que passar a imagem por um denoiser profundo de ponta deixa artefatos desagradáveis, mas com RawNeRF os resultados são realmente impressionantes, especialmente com referência à qualidade da imagem e falta de artefatos. A razão pela qual ele funciona tão bem é porque a IA é treinada em dados de imagem brutos em vez de JPEGs pós-processados.
É emocionante pensar que poderemos ver essa tecnologia integrada em nossas câmeras e smartphones muito em breve, e provavelmente se tornará um divisor de águas para fotógrafos profissionais e amadores. Não há nenhuma ferramenta de redução de ruído existente que chegue perto de corresponder a esses resultados.