Uma startup chamada Letta acabou de emergir do modo oculto com tecnologia que ajuda os modelos de IA a lembrarem dos usuários e das conversas. Criada na famosa fábrica de startups Labs da UC Berkeley, também anunciou $10 milhões em investimento inicial liderado por Astasia Myers da Felicis, a uma avaliação pós-dinheiro de $70 milhões.
Letta também tem o apoio de uma lista de investidores-anjo em IA, como Jeff Dean do Google, Clem Delangue da Hugging Face, Cristóbal Valenzuela da Runway e Robert Nishihara da Anyscale, entre outros.
Fundada pelos alunos de doutorado da Berkeley, Sarah Wooders e Charles Packer, este é um lançamento de startup de IA altamente esperado. Isso porque é um fruto do Laboratório de Computação Sky da Berkeley e é a entidade comercial do popular projeto de código aberto MemGPT.
O Laboratório de Computação Sky da Berkeley, liderado pelo aclamado professor e co-fundador da Databricks Ion Stoica, é descendente do RISELab e AMPLab, que geraram empresas como Anyscale, Databricks e SiFive. Sky Lab, em particular, gerou vários projetos populares de modelos de linguagem grande de código aberto (LLM) como o Gorilla LLM, vLLM e o LLM SGLang de linguagem estruturada.
MemGPT é um desses projetos e é tão procurado que na verdade se tornou viral antes mesmo do lançamento.
O motivo da empolgação é que o MemGPT resolve um problema pernicioso para os LLMs: em sua forma nativa, modelos como o ChatGPT são stateless, ou seja, eles não armazenam dados históricos na memória de longo prazo. Isso é problemático para aplicativos de IA que dependem de conhecer e aprender com um usuário ao longo do tempo - desde bots de suporte ao cliente até aplicativos de rastreamento de sintomas de saúde. O MemGPT gerencia dados e memória para que agentes de IA e chatbots possam lembrar de usuários e conversas anteriores.
O post sobre o artigo permaneceu no topo do Hacker News, o popular site para programadores administrado pela Y Combinator, por 48 horas, Packer relatou. Então ele passou seu fim de semana e os próximos dias respondendo perguntas no site enquanto tentava preparar o código para ser lançado. Uma vez que o projeto estava disponível no GitHub, um link para ele se tornou viral no Hacker News novamente. Entrevistas e tutoriais no YouTube, postagens no Medium, 11.000 estrelas e 1.2K forks no GitHub aconteceram rapidamente.
VC Felicis' Myers também descobriu Wooders e Packer lendo sobre o MemGPT, e imediatamente reconheceu as possibilidades comerciais da tecnologia.
Enquanto o MemGPT já está em uso, a variante comercial da Letta, Letta Cloud, ainda não está aberta para negócios. A partir de segunda-feira, a Letta está aceitando pedidos de usuários beta. Ela oferecerá um serviço de agente hospedado que permite aos desenvolvedores implantar e executar agentes stateful na nuvem, acessíveis por meio de APIs REST, uma interface de programação que pode manter o estado. A Letta Cloud armazenará os dados de longo prazo necessários para isso. A Letta também oferecerá ferramentas para construção de agentes de IA.
Com o MemGPT, Wooders enxerga uma ampla variedade de usos. "Acho que o principal caso de uso que vemos é basicamente chatbots altamente personalizados e envolventes," ela diz. Mas existem também usos de ponta como "um chatbot para pacientes com câncer", onde os pacientes enviam seu histórico e compartilham sintomas em andamento para que o bot possa aprender e oferecer orientação ao longo do tempo.
Vale ressaltar que o MemGPT não está sozinho nesta empreitada. O LangChain é provavelmente seu concorrente mais conhecido e já oferece opções comerciais. Os maiores fabricantes de modelos também oferecem ferramentas para criação de agentes de IA, como a API de Assistentes da OpenAI.
E o novo modelo o1 da OpenAI pode tornar o problema da necessidade de corrigir o estado desnecessário para seus usuários. Como é um modelo de vários passos, ele precisa manter o estado em algum grau para "pensar" e verificar fatos antes de responder.
Mas Wooders, Packer e Myers veem algumas diferenças-chave no que a Letta está oferecendo em comparação com o que a gigante OpenAI está fazendo. Letta afirma que funcionará com qualquer modelo de IA e espera que seus usuários usem muitos deles: OpenAI, Anthropic, Minstrel, seus próprios modelos internos. A tecnologia da OpenAI atualmente só funciona consigo mesma.
Mais importante ainda, a Letta está usando o MemGPT de código aberto e se posicionando firmemente no lado de código aberto do debate FOSS vs. LLM caixa preta, afirmando que o código aberto é a melhor escolha para os programadores de aplicativos de IA.
"Estamos nos posicionando como a alternativa aberta à OpenAI," diz Packer. "Acho que é muito, muito difícil construir aplicativos de IA muito bons, especialmente quando se preocupa com coisas como alucinação, se você não pode ver o que está acontecendo debaixo do capô."
