É o pico da temporada de anúncios de chips, ao que parece, e a Oppo acaba de lançar seu primeiro pedaço de silício customizado em seu Inno Day 2021 – chamado MariSilicon X. Este não é um SoC totalmente desenvolvido como o Snapdragon 8 Gen 1 da Qualcomm ou Google Tensor, mas sim um processador de sinal de imagem customizado, ou NPU de imagem, imbuído de inteligência de aprendizado de máquina da Oppo.
De acordo com Oppo, os algoritmos estão liderando o caminho para inovações em fotografia móvel, embora os recursos de processamento de números de aprendizado de máquina SoC sejam atualmente o gargalo para melhores imagens. O Google provavelmente concordaria, tendo abandonado o Snapdragon da Qualcomm em favor de seu próprio silício personalizado. Como tal, o MariSilicon X é construído para alimentar os algoritmos de imagem AI da Oppo para imagens e vídeo HDR de até 4K 30fps.
Veja também: Os melhores telefones com câmera que você pode comprar
Se você está atrás de alguns números, o MariSilicon X possui 18 TOPS (trilhões de operações por segundo) de int8 ou 72 TOPS de desempenho de processamento de números int4, bem como uma eficiência energética de 11,6 TOPS por watt. Por si só, TOPS é uma métrica um tanto sem sentido porque não diz nada sobre a carga de trabalho. No entanto, Oppo também nos deu um exemplo real. Seu algoritmo de redução de ruído AI no Oppo Find X3 Pro com Snapdragon 888 funciona a apenas 2 fps e requer 1.693 mW de potência. O mesmo algoritmo no MariSilicon X roda a 40fps e consome 797mW.
Isso é 20x o desempenho e menos da metade da potência, pelo menos neste exemplo. Tudo muito impressionante, mas o que este ISP realmente faz de diferente?
Por Dentro do MariSilicon X
Ryan-Thomas Shaw / Autoridade Android
Em um nível inferior, o MariSilicon X de 6 nm combina processamento de sinal de imagem tradicional (ISP), uma unidade de processamento neural (NPU) e componentes de memória em um único chip construído especificamente para imagens de IA.
O MariSilicon X oferece um pipeline de imagem HDR de 20 bits, capaz de executar algoritmos de IA diretamente em dados RAW, em vez de mais tarde no pipeline de compactação. Oppo afirma que isso resulta em uma notável melhoria de sinal-ruído (SNR) de 8 dB em comparação ao processamento após a codificação RGB e YuV.
MariSilicon X move o processamento de IA do domínio RAW com perdas para o domínio RAW sem perdas.
Curiosamente, o chipset também oferece canais de dados RGB e de pixel branco separados para sensores RGBW, como o mostrado pela Oppo no início deste ano. Novamente, isso resulta em uma melhoria de SNR de 8,6 dB em comparação com a fusão desses dados de pixel no nível do sensor para entrega em um único pipeline. Você pode pensar nisso como os dias de câmeras RGB e monocromáticas separadas, mas alojadas em um único sensor. Oppo chama isso de modo RGBW Pro e também afirma que há uma melhoria de 1,7x na qualidade da textura usando essa técnica.
Em suma, o ISP da Oppo aplica imagem de aprendizado de máquina e processamento de vídeo em dados RAW diretamente do sensor de imagem, resultando em menos ruído para imagens mais bonitas. Esse throughput massivo é habilitado, em parte, graças a um subsistema de memória dedicado no MariSilicon X. Em outras palavras, os dados não precisam sair do chip. Oppo desenvolveu uma arquitetura de memória customizada que é essencialmente um cache rápido para o NPU. O NPU também é emparelhado com sua própria memória DDR externa dedicada com largura de banda de 8,5 GB / s para carregamento e armazenamento de menor latência em comparação com a memória do sistema tradicional. Isso também garante que a largura de banda não seja monopolizada por outros aplicativos do smartphone.
O resultado líquido é um processador de imagem e aprendizado de máquina poderoso e com baixo consumo de energia, desenvolvido para aumentar os recursos mais amplos de um SoC de smartphone com fotografia computacional e recursos de videografia exclusivos.
Novos casos de uso para a série Oppo Find
Robert Triggs / Autoridade Android
Em última análise, os casos de uso de dispositivo são o mais importante. Oppo observa que o MariSilicon X fornecerá recursos avançados de redução de ruído, capturas de fotos noturnas aprimoradas e videografia 4K, pré-visualizações ao vivo em tempo real e vídeo de alcance ultra-dinâmico 4K.
Conforme identificamos no início do ano, os processadores de imagem personalizados com inteligência de IA estão rapidamente se tornando uma grande tendência para smartphones, especialmente no mercado chinês. Vivo e Xiaomi já têm seus próprios ISPs personalizados, enquanto o Google Tensor dá um passo adiante com uma forte ênfase no aprendizado de máquina por meio de um SoC completo semipersonalizado. O ponto comum é que a fotografia é uma parte importante dos smartphones modernos e está pronta para a diferenciação e pontos de venda exclusivos. Principalmente quando se trata de algoritmos avançados de aprendizado de máquina. Fique à frente no espaço de algoritmos fotográficos e uma marca pode simplesmente conseguir um smartphone indispensável.
Consulte Mais informação: Por que os processadores de imagem personalizados são o próximo campo de batalha da fotografia móvel
Vamos esperar para colocar em nossas mãos um aparelho com MariSilicon X antes de tirar qualquer conclusão. O chip vai estrear na próxima geração do smartphone Oppo Find, que deve chegar no primeiro trimestre de 2022.