Por que isso importa: A Nvidia lançou um aplicativo de demonstração que utiliza placas de vídeo selecionadas para executar um chatbot pessoal de IA em seu PC. O Chat com RTX é executado no Windows 11 e requer uma GPU GeForce RTX série 30 ou 40 (ou uma GPU RTX Ampere ou Ada Generation). Ele usa geração aumentada de recuperação (RAG), TensorRT-LLM e aceleração RTX para criar um modelo de linguagem grande GPT personalizado com base em seu próprio conteúdo exclusivo.
Você também pode alimentá-lo com vídeos da web, incluindo clipes do YouTube. Basta inserir o URL do vídeo de origem e fazer ao chatbot qualquer pergunta relacionada ao conteúdo do vídeo.
Como o nome sugere, a geração de recuperação aumentada é uma técnica que aumenta a precisão e a confiabilidade dos modelos generativos de IA usando fatos coletados de fontes externas. A Nvidia tem um artigo completo sobre o assunto para quem busca um conhecimento mais profundo da técnica.
Como é executado localmente em vez de na nuvem e é treinado com base em seus próprios dados pessoais, deve ser rápido e contextualmente relevante. A Nvidia também afirma que oferece resultados seguros – o que é plausível, considerando que não transmite dados confidenciais pela Internet.
Tom Warren, do The Verge, passou algum tempo usando uma versão de pré-lançamento do Chat with RTX e, embora fosse um pouco difícil, o editor disse que pode ver que é uma ferramenta valiosa para jornalistas ou qualquer pessoa que precise analisar um conjunto de documentos.
Por exemplo, Warren conseguiu fazer com que o bot resumisse toda a estratégia do Xbox Game Pass da Microsoft usando documentos legais da batalha judicial de Redmond com a FTC. No entanto, as coisas estavam um pouco mais complicadas no lado do vídeo, pois o aplicativo de alguma forma carregou uma transcrição para um vídeo completamente separado, em vez do pretendido. Notavelmente, nem mesmo foi um vídeo que Warren havia consultado anteriormente.
Se você possui uma GPU GeForce série 30 ou 40 e deseja experimentar o Chat com RTX, acesse o site da Nvidia para obter o arquivo de instalação.