Meta, a empresa anteriormente conhecida como Facebook, revelou recentemente o Llama 3, a mais recente iteração de seu grande modelo de linguagem. Este modelo avançado está disponível em duas versões: uma versão de oito bilhões (8B) de parâmetros e uma versão de 70 bilhões (70B) de parâmetros. Neste artigo, exploraremos como executar a versão de parâmetro 8B do Llama 3 localmente, uma opção mais viável para desktops ou laptops padrão que podem ter dificuldades para executar a versão maior de 70B.
Visão geral do desempenho do Llama 3
Llama 3 é um impressionante modelo de linguagem grande. A versão de parâmetros 8B, treinada usando 1,3 milhão de horas de tempo de GPU, supera seu antecessor, Llama 2, em vários aspectos. Por exemplo, é 34% melhor que a versão de 7 bilhões de parâmetros do Llama 2 e 14% melhor que a versão de 13 bilhões de parâmetros. Notavelmente, a versão de parâmetros 8B do Llama 3 supera até mesmo o desempenho da versão de 13 bilhões de parâmetros do Llama 2. Ela fica aquém de apenas 8% quando comparada à versão de parâmetros 70B do Llama 2, tornando-o um modelo impressionante para seu tamanho.
A versão de parâmetros 8B do Llama 3 tem data limite de conhecimento de março de 2023, enquanto a versão 70B se estende até dezembro de 2023. Como resultado, haverá uma discrepância de informações do mundo real entre os dois.
Como executar o Llama 3 no seu PC
Para executar o Llama 3 no Windows, usaremos o LM Studio.
- Para começar, visite lmstudio.ai e baixe a versão apropriada do LM Studio para o seu sistema.
- Depois de baixado, instale o LM Studio.
- Abra o LM Studio.
- Uma vez dentro do LM Studio, certifique-se de que o modelo Llama 3 foi baixado. Se já estiver instalado, deverá ser exibido na página inicial. Caso contrário, use a barra de pesquisa ou o ícone de pesquisa na barra vertical esquerda para encontrá-lo e faça o download.
- Depois que o Llama 3 estiver instalado, clique no botão Bate-papo com IA ícone na barra vertical esquerda do LM Studio. Isso abrirá uma interface de bate-papo semelhante ao ChatGPT.
- Clique Selecione um modelo para carregar no topo da página. Selecione o Llama 3 LLM que você acabou de baixar. O LM Studio carregará o modelo, o que pode levar alguns segundos.
- Agora você pode conversar com o Llama 3 no seu dispositivo.
Notavelmente, se você não estiver usando uma máquina Windows, o LM Studio também pode ser usado por proprietários de Mac que executam novos processadores M (M1, M2 e M3). Também existe uma versão beta disponível para Linux.
Como executar o Llama 3 usando Ollama
Alternativamente, você pode executar o Llama 3 localmente usando o projeto Ollama. Este método irá agradar àqueles que desejam executar o LLM em um Raspberry Pi.
Para Mac e Windows, visite oolama.com e baixe a versão compatível com seu sistema operacional. Se você estiver executando Linux (ou se quiser instalar o Llama 3 em seu Raspberry Pi), basta copiar e colar a linha fornecida para baixar e executar o script de instalação. Depois de instalado, você pode executar o Llama 3 diretamente do aplicativo de terminal de sua escolha.
Você pode gostar
