Ronda de financiamiento y partícipes

Tensormesh anunció que ha cerrado una ronda de financiamiento de semilla por un total de $4.5 millones. La ronda fue liderada por Laude Ventures, y recibió una inversión adicional del pionero en bases de datos Michael Franklin. El capital se utilizará para transformar el proyecto de código abierto LMCache en un producto comercial listo para el mercado.

¿Qué es LMCache?

LMCache es una utility de código abierto creada originalmente por el cofundador de Tensormesh, Yihua Cheng. Utiliza una caché de clave-valor (KV) para almacenar estados de modelo intermedios, lo que permite reutilizar esos estados en consultas de inferencia posteriores. En las tuberías de inferencia de IA tradicionales, la caché de clave-valor se descarta después de cada consulta, lo que lleva a un uso redundante de cálculo y memoria. El CEO y cofundador de Tensormesh, Junchen Jiang, describe la caché descartada como "un analista muy inteligente que lee todos los datos, pero olvida lo que ha aprendido después de cada pregunta". Al retener la caché, el sistema puede reducir drásticamente la cantidad de memoria de GPU requerida para cada nueva solicitud.

Beneficios de rendimiento

Según la empresa, el uso adecuado de LMCache puede reducir los costos de inferencia hasta en diez veces. La tecnología es especialmente valiosa para interfaces basadas en chat, donde el modelo debe hacer referencia continuamente a un registro de conversación en expansión. También beneficia a los sistemas "agenticos" que mantienen registros de acciones y objetivos en crecimiento. La preservación de la caché de clave-valor a través de consultas permite que estas aplicaciones logren un mayor rendimiento sin hardware adicional.

Desafíos de ingeniería y necesidad del mercado

Implementar una estrategia de reutilización de caché de clave-valor eficiente es técnicamente complejo. Tensormesh señala que muchas organizaciones dedican meses y asignan decenas de ingenieros para construir una solución. La empresa cita ejemplos de equipos que contratan a unos veinte ingenieros y invierten tres o cuatro meses para desarrollar capacidades comparables. Tensormesh busca proporcionar un producto listo para usar que elimine esta carga, lo que permite a los clientes obtener las ganancias de rendimiento sin el costo de ingeniería.

Posicionamiento estratégico

Con la infraestructura de IA escalando a niveles sin precedentes, la presión para maximizar la utilización de GPU ha intensificado. La solución de Tensormesh aborda directamente esta presión al ofrecer un método para "obtener más inferencia de las GPU que tienen". Al basarse en una base de código abierto que ya ve integraciones de grandes jugadores como Google y Nvidia, Tensormesh espera una fuerte demanda de una versión comercial con soporte de la tecnología.

Usado: News Factory APP - descubrimiento de noticias y automatización - ChatGPT para Empresas