Como você equilibra o gerenciamento e a segurança dos riscos com a inovação em sistemas agênticos – e como você lida com considerações fundamentais sobre dados e seleção de modelos? Nesta Transformação VB Sessão, Milind Naphade, SVP, Tecnologia, da IA Foundations na Capital One, ofereceu as melhores práticas e lições aprendidas com experimentos e aplicativos do mundo real para implantar e escalar um fluxo de trabalho agêntico.
A Capital One, comprometida em permanecer na vanguarda das tecnologias emergentes, lançou recentemente um sistema de IA multi-agente de última geração para melhorar a experiência de compra de carros. Nesse sistema, vários agentes de IA trabalham juntos para não apenas fornecer informações ao comprador de carros, mas para tomar ações específicas com base nas preferências e necessidades do cliente. Por exemplo, um agente se comunica com o cliente. Outro cria um plano de ação baseado nas regras de negócios e nas ferramentas que pode usar. Um terceiro agente avalia a precisão dos dois primeiros, e um quarto agente explica e valida o plano de ação com o usuário. Com mais de 100 milhões de clientes usando uma ampla gama de outros aplicativos potenciais de casos de capital One, o sistema Agentic é construído para escala e complexidade.
“Quando pensamos em melhorar a experiência do cliente, deliciando o cliente, pensamos, quais são as maneiras pelas quais isso pode acontecer?” Naphade disse. “Esteja você está abrindo uma conta ou deseja saber seu equilíbrio ou está tentando fazer uma reserva para testar um veículo, há um monte de coisas que os clientes querem fazer. No coração disso, de maneira muito simples, como você entende o que o cliente deseja? Como você entende a realização de todos os mecanismos de regulamentação, todos os rigores, como o regulamento, o regulamento, o que se regendo, todos os rigores, como o regulamento, o regulamento, todos os mecanismos, todos os rigores, como o regulamento, o regulamento, o que se regendo, todos os rigores, como o regulamento, o regulamento, todos os mecanismos, todos os rigores, o que se regendo?
A IA Agentic foi claramente o próximo passo, disse ele, para casos de uso internos e voltados para o cliente.
Projetando um fluxo de trabalho agêntico
As instituições financeiras têm requisitos particularmente rigorosos ao projetar qualquer fluxo de trabalho que ofereça suporte a jornadas dos clientes. E as aplicações de Capital One incluem vários processos complexos, à medida que os clientes levantam questões e consultas que aproveitam as ferramentas de conversação. Esses dois fatores tornaram o processo de design especialmente complexo, exigindo uma visão holística de toda a jornada – incluindo como os clientes e os agentes humanos respondem, reagem e razão a cada passo.
“Quando analisamos como os humanos fazem raciocínio, fomos impressionados com alguns fatos importantes”, disse Naphade. “Vimos que, se o projetarmos usando vários agentes lógicos, poderíamos imitar muito bem o raciocínio humano. Mas então você se pergunta, o que exatamente os diferentes agentes fazem? Por que você tem quatro? Por que não três? Por que não 20?”
Eles estudaram as experiências dos clientes nos dados históricos: onde essas conversas dão certo, onde dão errado, quanto tempo devem levar e outros fatos importantes. Eles aprenderam que muitas vezes são necessárias várias voltas de conversa com um agente para entender o que o cliente deseja, e qualquer fluxo de trabalho agêntico precisa planejar isso, mas também estar completamente fundamentado nos sistemas de uma organização, ferramentas disponíveis, APIs e guardares de políticas organizacionais.
“O principal avanço para nós estava percebendo que isso tinha que ser dinâmico e iterativo”, disse Naphade. “Se você olhar como muitas pessoas estão usando o LLMS, elas estão dando um tapa no LLMS como um front -end para o mesmo mecanismo que costumava existir. Eles estão apenas usando o LLMS para classificação de intenção. Mas percebemos desde o início que isso não era escalável”.
Tomando pistas de fluxos de trabalho existentes
Com base em sua intuição de como os agentes humanos raciocinam ao responder aos clientes, os pesquisadores da Capital One desenvolveram uma estrutura na qual uma equipe de agentes especializados da IA, cada um com conhecimentos diferentes, se reúne e resolve um problema.
Além disso, o Capital One incorporou estruturas de risco robustas no desenvolvimento do sistema agêntico. Como instituição regulamentada, Naphade observou que, além de sua gama de protocolos e estruturas de mitigação de riscos internos, “dentro do Capital One, para gerenciar riscos, outras entidades que são independentes observam você, avaliam você, questionam você, auditam você”, disse Naphade. “Achamos que era uma boa idéia para nós, ter um agente de IA cujo trabalho inteiro era avaliar o que os dois primeiros agentes fazem com base nas políticas e regras da Capital One”.
O avaliador determina se os agentes anteriores foram bem -sucedidos e, se não, rejeita o plano e solicita que o agente de planejamento corrija seus resultados com base em seu julgamento de onde estava o problema. Isso acontece em um processo iterativo até que o plano apropriado seja alcançado. Também é provado ser um grande benefício para a abordagem Agentic AI da empresa.
“O agente do avaliador está … onde trazemos um modelo mundial. É aí que simulamos o que acontece se uma série de ações deveriam ser realmente executadas. Esse tipo de rigor, que precisamos porque somos uma empresa regulamentada – acho que isso realmente está nos colocando em um grande ponto.”
Os desafios técnicos da IA agêntica
Os sistemas agênticos precisam trabalhar com sistemas de atendimento em toda a organização, todos com uma variedade de permissões. Invocar ferramentas e APIs dentro de uma variedade de contextos, mantendo a alta precisão, também foi um desafio – desde a desambiguação da intenção do usuário de gerar e executar um plano confiável.
“Temos múltiplas iterações de experimentação, teste, avaliação, humano no loop, todos os corrimãos certos que precisam acontecer antes que possamos realmente entrar no mercado com algo assim”, disse Naphade. “Mas um dos maiores desafios foi que não tínhamos nenhum precedente. Não podíamos dizer, oh, outra pessoa fez dessa maneira. Como isso deu certo? Havia esse elemento de novidade. Estávamos fazendo isso pela primeira vez”.
Seleção de modelos e parceria com a NVIDIA
Em termos de modelos, o Capital One está rastreando profundamente a pesquisa acadêmica e do setor, apresentando -se em conferências e ficando a par do que é o estado da arte. No presente caso de uso, eles usaram modelos de pesos abertos, em vez de fechados, porque isso lhes permitiu personalização significativa. Isso é fundamental para eles, afirma Naphade, porque a vantagem competitiva na estratégia de IA depende de dados proprietários.
Na própria pilha de tecnologia, eles usam uma combinação de ferramentas, incluindo tecnologia interna, cadeias de ferramentas de código aberto e pilha de inferência da NVIDIA. Trabalhar em estreita colaboração com a NVIDIA ajudou a Capital One a obter o desempenho de que precisa e a colaborar em oportunidades específicas do setor na biblioteca da NVIDIA e priorizar os recursos para o Triton Server e seu Tensort LLM.
Agentic AI: olhando para o futuro
O Capital One continua a implantar, escalar e refinar agentes de IA em seus negócios. Seu primeiro fluxo de trabalho multi-agente foi o Concierge de bate-papo, implantado nos negócios de automóveis da empresa. Ele foi projetado para oferecer suporte a revendedores de automóveis e clientes com o processo de compra de carros. E com dados ricos dos clientes, os revendedores estão identificando leads graves, o que melhorou significativamente as métricas de envolvimento do cliente – até 55% em alguns casos.
“Eles são capazes de gerar leads muito mais sérios por meio desse agente natural e mais fácil, 24 horas por dia, 7 dias por semana, trabalhando para eles”, disse Naphade. “Gostaríamos de trazer essa capacidade para [more] de nossos compromissos voltados para o cliente. Mas queremos fazer isso de uma maneira bem gerenciada. É uma jornada. ”
