Introdução

A Mistral AI, uma empresa francesa de inteligência artificial, anunciou o lançamento do Voxtral TTS, um modelo de texto-para-fala open-source. O modelo é construído para funcionar em uma variedade de dispositivos de borda, desde smartwatches até laptops, oferecendo uma solução rentável para empresas que buscam aplicações habilitadas para voz.

Capacidades Multilíngues

O Voxtral TTS suporta nove idiomas, incluindo inglês, francês, alemão, espanhol, holandês, português, italiano, hindi e árabe. O modelo pode alternar entre idiomas sem perder as características distintas de uma voz personalizada, tornando-o adequado para cenários de dublagem e tradução em tempo real.

Personalização e Fidelidade de Voz

O sistema pode adaptar uma voz personalizada usando uma amostra de menos de cinco segundos. Ele captura sutis acentos, inflexões, entonações e irregularidades, visando um som humano em vez de um tom robótico.

Métricas de Desempenho

Projetado para uso em tempo real, o Voxtral TTS alcança um tempo-para-primeiro-áudio (TTFA) de 90 ms para uma entrada de 10 segundos e 500 caracteres. Seu fator de tempo real (RTF) de 6× significa que um clipe de 10 segundos é renderizado em aproximadamente 1,6 segundos.

Posicionamento Estratégico

Ao oferecer um modelo open-source e personalizável, a Mistral busca atrair empresas que desejam ajustar a tecnologia de voz às suas necessidades específicas. A empresa destaca o baixo custo do modelo em comparação com soluções concorrentes e sua adequação para integração em uma plataforma multimodal mais ampla que processa áudio, texto e imagens.

Perspectiva Futura

A Mistral lançou anteriormente modelos de transcrição para processamento em lote e em tempo real de baixa latência. Com o Voxtral TTS, a empresa busca fornecer uma suite completa de produtos de voz, posicionando-se contra concorrentes como ElevenLabs, Deepgram e OpenAI, enquanto enfatiza uma plataforma de ponta a ponta para aplicações de IA multimodal.

Usado: News Factory APP - descoberta e automação de notícias - ChatGPT para Empresas