Tl; Dr
- O novo modelo OpenAI agora pode ser executado diretamente em alguns dispositivos com chips Snapdragon.
- É a primeira vez que um modelo de raciocínio do Openai é disponibilizado para uso no dispositivo.
- Isso pode significar mais rápido e mais privado a IA aparece no seu telefone, mas ainda não.
Quando você usa um modelo de IA como o ChatGPT, ele é executado na nuvem e não no seu telefone ou laptop, mas a Qualcomm parece ansiosa para mudar isso. A empresa anunciou que o primeiro modelo de raciocínio de código aberto da OpenAI, com o nome menos do que a compacta “GPT-20B”, agora é capaz de executar diretamente em dispositivos movidos a Snapdragon.
Em um comunicado à imprensa, a Qualcomm diz que esta é a primeira vez que o OpenAI disponibiliza um de seus modelos para uso no dispositivo. Anteriormente, os modelos mais avançados da empresa só podiam funcionar em uma poderosa infraestrutura em nuvem, mas com a ajuda do mecanismo de IA e da AI da Qualcomm, esse modelo de 20 bilhões de parâmetros foi testado localmente. No entanto, isso não significa que seu telefone esteja pronto para isso.
Acreditamos que a capacidade de IA no dispositivo aumentará rapidamente, abrindo a porta para experiências agêntricas privadas e de baixa latência e personalizadas.Qualcomm
Apesar das referências aos dispositivos Snapdragon, isso ainda não tem como objetivo smartphones. O modelo ainda é bastante carnudo e requer 24 GB de RAM, com o trabalho de integração da Qualcomm aparecendo direcionado a plataformas de grau de desenvolvedor, não o chip no seu bolso. É mais sobre PCs movidos a Snapdragon do que uma simples atualização de IA para o seu dispositivo Android.
Ainda assim, a Qualcomm chama isso de um momento de marco, com potenciais benefícios em áreas como privacidade, velocidade e personalização. Como tudo funciona diretamente no dispositivo, não há necessidade de enviar dados para outro lugar, e tarefas como raciocínio ou interações no estilo assistente podem acontecer mais rápido e offline.
Enquanto o OpenAI está segmentando inicialmente os desenvolvedores, se for escalonado, pode impactar como as ferramentas de IA se comportam no seu telefone Snapdragon no futuro. Pense em respostas mais rápidas e sem atrasos se sua conexão com a Internet estiver sendo reproduzida. Também poderia abrir a porta para futuros aplicativos que usam IA local sem sacrificar a privacidade.
Agora, os desenvolvedores podem acessar o modelo através de plataformas como abraçar o rosto e o ollama, com a Qualcomm dizendo que mais informações de implantação aparecerão em breve em seu hub de IA.
Obrigado por fazer parte da nossa comunidade. Leia nossa política de comentários antes de postar.
