Whisper é um sistema de reconhecimento automático de fala (ASR) de código aberto desenvolvido pela OpenAI, treinado em 680.000 horas de dados supervisionados multilingues e multitarefa coletados da web. Lançado em setembro de 2022, Whisper alcança robustez e precisão no nível humano em reconhecimento de fala em inglês e demonstra forte desempenho em muitos idiomas, sotaques e condições de áudio sem necessidade de ajuste fino. O modelo é projetado como um sistema de reconhecimento de fala de propósito geral capaz de reconhecimento de fala multilíngue, tradução de fala para inglês e identificação de idioma. Whisper emprega uma arquitetura de encoder-decoder baseada em transformer e foi treinado usando uma abordagem de supervisão fraca em larga escala, aprendendo de um conjunto de dados diverso de áudio emparelhado com transcrições obtidas da internet. Esta metodologia de treinamento permite que Whisper lide com uma ampla variedade de condições de áudio incluindo ruído de fundo, jargão técnico, fala com sotaque e gravações de baixa qualidade que desafiam sistemas tradicionais de ASR. O modelo está disponível em múltiplos tamanhos para acomodar diferentes requisitos computacionais: Tiny (39M parâmetros), Base (74M), Small (244M), Medium (769M) e Large (1,55B parâmetros), com modelos maiores fornecendo maior precisão ao custo de tempo de inferência e uso de memória aumentados. Whisper suporta transcrição e tradução em aproximadamente 100 idiomas, com desempenho particularmente forte em inglês, espanhol, francês, alemão, italiano, português, japonês, coreano, chinês e muitos outros idiomas amplamente falados. O modelo inclui pontuação automática, capitalização e geração de timestamps tanto no nível de segmento quanto de palavra. Como software de código aberto lançado sob licença MIT, Whisper pode ser executado localmente em hardware do consumidor com uma GPU compatível, integrado em aplicações através de Python ou acessado através da API comercial da OpenAI para inferência gerenciada. O lançamento de código aberto gerou um grande ecossistema de ferramentas, integrações e variantes otimizadas incluindo faster-whisper, whisper.cpp e WhisperX que oferecem velocidade de inferência melhorada e recursos adicionais.

Modelos de Áudio de IA

Whisper é um modelo de áudio de código aberto fundamental que processa fala usando uma arquitetura codificador-decodificador baseada em transformer treinada em 680.000 horas de dados multilíngues. Disponível em cinco tamanhos de 39M a 1,55B parâmetros, funciona como modelo fundamental de compreensão de áudio para tarefas de reconhecimento de fala, tradução e identificação de idioma em todo o ecossistema de IA.

Ferramentas de Pesquisa com IA

Whisper funciona como uma ferramenta fundamental para pesquisa de fala e áudio, fornecendo uma linha de base de código aberto de alta qualidade para benchmark de sistemas ASR. Pesquisadores usam Whisper e suas variantes para estudar reconhecimento de fala multilíngue, técnicas de processamento de áudio e como componente em sistemas de IA multimodal que combinam compreensão de fala com outras modalidades.

Transcrição com IA

Whisper é um dos sistemas de transcrição por IA mais capazes e amplamente utilizados disponíveis, fornecendo reconhecimento automático de fala em aproximadamente 100 idiomas com precisão quase humana em inglês. Ele lida com diversas condições de áudio, incluindo ruído de fundo, fala com sotaque e terminologia técnica, gerando transcrições com pontuação automática, capitalização e marcas de tempo.

LLMs de Código Aberto

Embora tecnicamente seja um modelo de fala em vez de um modelo de linguagem, Whisper é um dos lançamentos de código aberto mais significativos da OpenAI sob a licença MIT. Sua disponibilidade aberta habilitou um ecossistema inteiro de ferramentas derivadas e implementações otimizadas, tornando-o uma pedra angular da comunidade de IA de código aberto para tarefas de processamento de áudio.