Rodada de Financiamento e liderança

Gimlet Labs, uma startup focada na otimização de inferência de IA, fechou uma rodada de financiamento Série A de $80 milhões. A rodada foi liderada pela Menlo Ventures, com a participação de um grupo de anjos e outras firmas de venture. O fundador e professor adjunto da Stanford Zain Asgar, juntamente com os co-fundadores Michelle Nguyen, Omid Azizi e Natalie Serrino, usará o capital para expandir a plataforma de inferência multi-silicônio da empresa.

Visão Geral da Tecnologia

O núcleo da oferta da Gimlet Labs é uma camada de software que chama de "nuvem de inferência multi-silicônio". Essa camada orquestra cargas de trabalho de IA em diferentes tipos de hardware - CPUs tradicionais, GPUs otimizadas para IA e sistemas de alta memória - permitindo que uma única tarefa de IA seja dividida em etapas que executem no hardware mais adequado para cada etapa. Segundo Tim Tully, da Menlo Ventures, a inferência é limitada por computação, a decodificação é limitada por memória e as chamadas de ferramentas são limitadas por rede, e a plataforma combina dinamicamente cada requisito com o silicônio apropriado.

Alegações de Desempenho

Gimlet Labs afirma que sua solução pode acelerar a inferência de IA em três a dez vezes sem aumentar o custo ou o consumo de energia. A plataforma também pode particionar o modelo subjacente para que diferentes porções executem em arquiteturas diferentes, selecionando o chip ótimo para cada segmento. A empresa relata que o hardware de centro de dados existente é atualmente utilizado apenas entre 15% e 30% do tempo, levando a recursos

Usado: News Factory APP - descoberta e automação de notícias - ChatGPT para Empresas