Ótimas câmeras móveis são construídas a partir de hardware de imagem sólido, algoritmos de imagem tradicionais e motores de IA cada vez mais importantes para converter esses 1s e 0s digitais em instantâneos de ótima aparência. Este último está avançando aos trancos e barrancos graças ao poder crescente do aprendizado de máquina e da fotografia computacional. As tecnologias de IA estão ajudando os smartphones a produzir fotos de qualidade profissional com bokeh bonito, imagens e filmes de alta faixa dinâmica e até mesmo captura de vídeo quase na escuridão. Mas as técnicas de software em constante aperfeiçoamento também exigem hardware de aprendizado de máquina e processamento de imagem mais poderoso, como os encontrados na plataforma móvel Snapdragon 888 5G da Qualcomm.
O Qualcomm Snapdragon 888 opera como uma plataforma de computação heterogênea, distribuindo cargas de trabalho de aprendizado de máquina para o componente mais apropriado. Quando se trata de fotografia e vídeo, o processador de sinal de imagem Spectra 580 (ISP) e o processador Hexagon 780 da plataforma desempenham os papéis principais.
Processamento de imagem inteligente que entende suas fotos
O Spectra 580 ISP do Snapdragon 888 lida com todos os estágios de processamento de vídeo e fotografia por excelência. É o componente principal que pega a imagem do sensor da câmera e a transforma nos 1s e 0s digitais armazenados na galeria do seu smartphone. Mas não satisfeito com os fundamentos do processamento de imagem, Qualcomm aumenta seu ISP com recursos adicionais projetados para ajudar os usuários a capturar a imagem perfeita. Vamos examinar alguns exemplos.
O Spectra 580 é na verdade um “ISP triplo” capaz de processar colossais 2,7 gigapixels por segundo. Isso é taxa de transferência de dados suficiente para gravar vídeo de 8K ou capturar imagens enormes de 200 megapixels, o que equivale a mais detalhes do que nunca. Mas o ISP triplo também permite que o processador capture fotos e vídeos de até três câmeras ao mesmo tempo, permitindo a captura de imagem em imagem, como a Visualização do Diretor na série Samsung Galaxy S21. O ISP também oferece um pipeline completo de imagens de 10 bits, permitindo a captura e o armazenamento completos de mais de um bilhão de tons de cor usando o formato de imagem HEIC, conforme visto no Oppo Find X3 Pro. São muito mais dados de imagem do que o JPEG convencional de 8 bits.
O recurso Zero Shutter Lag da Qualcomm “pré-captura” imagens para que estejam prontas assim que você pressionar o botão do obturador, para que você não perca aquela foto perfeita de ação rápida. O ISP também processa vários quadros de imagem para redução de ruído e alta faixa dinâmica, garantindo que os detalhes pareçam nítidos e suaves, mesmo em ambientes de iluminação difíceis. Ninguém quer refilmar quando suas imagens não saem certas, e o uso de técnicas inteligentes de processamento de imagem da Qualcomm garante que isso não seja necessário.
Mas isso não é tudo. O Spectra 580 dentro do Snapdragon 888 também possui recursos de “visão computacional” integrados diretamente ao silício, imbuindo-o de inteligência artificial em imagens.
Foco automático, exposição automática e balanço de branco automático são os pilares da imagem que garantem uma aparência de qualidade profissional, independentemente da cena que você está fotografando. Por exemplo, você deseja exposições diferentes para fotos de paisagens e retratos. Ao usar inteligência artificial diretamente na cadeia do ISP, a configuração da câmera da Qualcomm faz esses ajustes importantes em tempo real sem consumir preciosos recursos de processamento e vida útil da bateria. Mas o mais importante, ele garante que suas fotos sempre estarão em foco, expostas corretamente e tenham as cores certas sempre que você pressiona o botão do obturador, esteja você tirando uma foto macro, um retrato ou uma bela paisagem.
Se você estiver atrás de alguns exemplos de como essas tecnologias são poderosas, verifique essas fotos capturadas em dispositivos Snapdragon.
Inteligência de IA para um toque profissional
Enquanto o ISP do Snapdragon 888 lida com as principais tarefas de processamento de imagem e vídeo, o processador Hexagon 780 dentro do Qualcomm AI Engine de 6ª geração está pronto para intervir quando for necessário mais potência de aprendizado de máquina. Os casos de uso envolvendo o processador Hexagon 780 podem ser muito abrangentes, desde aprimorar a aparência de suas fotos até a revisão completa dos recursos de imagem de um smartphone.
O desfoque do bokeh do software é um recurso de fotografia e videografia muito popular e a Qualcomm aproveita seu AI Engine para produzir resultados de ponta. O aprendizado de máquina acelerado por hardware calcula a profundidade e as bordas do primeiro e do segundo plano, enquanto uma passagem de gráficos aplica o desfoque do software à imagem. O resultado são imagens que assumem uma aparência naturalmente suave, frequentemente associada a câmeras DSLR premium. O AI Engine da Qualcomm é rápido o suficiente para executar toda essa matemática em tempo real para aplicar desfoque bokeh a imagens de vídeo 4K 30fps.
Para outro exemplo, a ArcSoft desenvolveu um recurso AI Autozoom que é acelerado no AI Engine da Qualcomm para seguir e dar zoom automaticamente em objetos e pessoas em sua cena. Esse recurso, que está incluído no Smartphone para Snapdragon Insiders, é aplicado em tempo real, permitindo que você troque de assunto, amplie e afaste automaticamente e até mesmo alterne para a lente de câmera mais apropriada em uma configuração de smartphone com várias câmeras. Você nunca mais perderá o controle de objetos e assuntos em movimento rápido enquanto grava um vídeo.
A Qualcomm também tem parceria com a BlinkAI, que aproveita o AI Engine do Snapdragon 888 para uma gravação de vídeo noturna bastante aprimorada com o smartphone Xiaomi Mi 11. A solução computacional da BlinkAI melhora a iluminação efetiva em até 5x para melhorar muito a qualidade da imagem em ambientes de fotografia complicados. Tão longa filmagem de vídeo escura, sombria e granulada ao gravar com pouca luz.
Hardware poderoso permite que a captura de vídeo computacional vá ainda mais longe, permitindo que as técnicas de imagem de vários quadros que normalmente associamos à fotografia sejam aplicadas ao vídeo. Por exemplo, o uso de sensores de imagem Digital Overlap (DOL) e Staggered HDR combinados com a inteligência de processamento mescla vários quadros para um vídeo HDR poderoso, mesmo em altas resoluções. Essa tecnologia é encontrada dentro do OnePlus 9 Pro, Oppo Find X3 Pro e Xiaomi Mi 11 Ultra.
A fotografia computacional é o futuro
Robert Triggs / Autoridade Android
Junto com lentes de câmera aprimoradas e hardware de sensor, os recursos de ponta do AI Engine são essenciais para impulsionar a inovação da fotografia e da videografia em smartphones. Mas seu aparelho precisa do hardware necessário para tornar isso realidade.
A combinação de Spectra 580 ISP triplo e processador Hexagon 780 com foco em AI dentro do Qualcomm Snapdragon 888 fornece os recursos necessários para a fotografia móvel de próxima geração. O ISP fornece a taxa de transferência de dados necessária para tecnologias de vídeo em 4K e multicâmeras que agora permeiam a indústria de smartphones. Enquanto o Hexagon 780 fornece poder de processamento adicional para as mais avançadas técnicas de fotografia computacional, incluindo segmentação de objetos e desfoque bokeh em tempo real. Além de melhorar a consistência e a qualidade de suas fotos, o AI Engine da Qualcomm oferece maneiras totalmente novas de capturar o instantâneo e o vídeo perfeitos.
É importante ressaltar que os recursos da câmera AI estão criando grandes diferenciais entre os produtos, dando aos usuários ferramentas mais poderosas para não apenas capturar a foto perfeita todas as vezes, mas também para se tornarem mais criativos com sua fotografia e videografia. Seja emulando a profundidade de campo suave de uma câmera DSLR, rastreando com precisão seu assunto ou substituindo fundos inteiros em tempo real, os poderosos motores de IA estão levando a fotografia móvel a novos patamares.
