Rodada de Financiamento e Apoio

Tensormesh anunciou que fechou uma rodada de financiamento de US$ 4,5 milhões. A rodada foi liderada pela Laude Ventures e recebeu apoio adicional do investidor anjo Michael Franklin, pioneer em bancos de dados. O capital será usado para transformar o projeto de código aberto LMCache em um produto comercial pronto para o mercado.

O que é LMCache?

LMCache é uma utilidade de código aberto originalmente criada pelo co-fundador da Tensormesh, Yihua Cheng. Ela utiliza um cache de valor-chave (KV) para armazenar estados de modelo intermediários, permitindo que esses estados sejam reutilizados em consultas de inferência subsequentes. Em pipelines de inferência de IA tradicionais, o cache de valor-chave é descartado após cada consulta, levando a uso redundante de computação e memória. O CEO e co-fundador da Tensormesh, Junchen Jiang, descreve o cache descartado como "um analista muito inteligente que lê todos os dados, mas esquece o que aprendeu após cada pergunta". Ao reter o cache, o sistema pode reduzir drasticamente a quantidade de memória de GPU necessária para cada nova solicitação.

Benefícios de Desempenho

De acordo com a empresa, o uso adequado do LMCache pode reduzir os custos de inferência em até dez vezes. A tecnologia é especialmente valiosa para interfaces baseadas em chat, onde o modelo deve continualmente referenciar um registro de conversa em expansão. Ela também beneficia sistemas "agênticos" que mantêm registros de ações e metas em crescimento. A preservação do cache de valor-chave entre consultas permite que essas aplicações atinjam um throughput mais alto sem hardware adicional.

Desafios de Engenharia e Necessidade de Mercado

Implementar uma estratégia de reutilização de cache de valor-chave eficiente é tecnicamente complexo. A Tensormesh observa que muitas organizações gastam meses e alocam dezenas de engenheiros para construir uma solução. A empresa cita exemplos de equipes que contratam cerca de vinte engenheiros e investem três ou quatro meses para desenvolver capacidades comparáveis. A Tensormesh visa fornecer um produto pronto para uso que elimine essa sobrecarga, permitindo que os clientes aproveitem os ganhos de desempenho sem o custo de engenharia.

Posicionamento Estratégico

Com a infraestrutura de IA escalando para níveis sem precedentes, a pressão para maximizar a utilização de GPU intensificou-se. A solução da Tensormesh aborda diretamente essa pressão, oferecendo um método para "obter mais inferência dos GPUs existentes". Ao construir sobre uma base de código aberto que já vê integração de grandes jogadores como Google e Nvidia, a Tensormesh espera uma forte demanda por uma versão comercial, com suporte, da tecnologia.

Usado: News Factory APP - descoberta e automação de notícias - ChatGPT para Empresas