Whisper est un système de reconnaissance automatique de la parole (ASR) open-source développé par OpenAI, entraîné sur 680 000 heures de données supervisées multilingues et multi-tâches collectées sur le web. Lancé en septembre 2022, Whisper atteint une robustesse et une précision proches de celles de l'humain sur la reconnaissance de la parole en anglais et démontre des performances solides dans de nombreuses langues, accents et conditions audio sans avoir besoin d'ajustement fin. Le modèle est conçu comme un système de reconnaissance vocale généraliste capable de reconnaissance vocale multilingue, de traduction vocale vers l'anglais et d'identification de langue. Whisper utilise une architecture de codeur-décodeur basée sur un transformateur et a été entraîné en utilisant une approche de supervision faible à grande échelle, en apprenant à partir d'un ensemble de données diversifiées d'audio associé à des transcriptions provenant d'Internet. Cette méthodologie d'entraînement permet à Whisper de gérer une grande variété de conditions audio incluant le bruit de fond, le jargon technique, la parole accentuée et les enregistrements de mauvaise qualité qui défient les systèmes ASR traditionnels. Le modèle est disponible en plusieurs tailles pour s'adapter aux différentes exigences informatiques : Tiny (39 M de paramètres), Base (74 M), Small (244 M), Medium (769 M) et Large (1,55 B de paramètres), avec les modèles plus grands offrant une précision plus élevée au prix d'un temps d'inférence et d'une utilisation mémoire accrus. Whisper supporte la transcription et la traduction dans approximativement 100 langues, avec des performances particulièrement solides en anglais, espagnol, français, allemand, italien, portugais, japonais, coréen, chinois et de nombreuses autres langues largement parlées. Le modèle inclut la ponctuation automatique, la capitalisation et la génération de codes de temps au niveau des segments et des mots. En tant que logiciel open-source publié sous la licence MIT, Whisper peut être exécuté localement sur du matériel grand public avec un GPU compatible, intégré dans des applications via Python, ou consulté via l'API commerciale d'OpenAI pour une inférence gérée. La version open-source a donné naissance à un grand écosystème d'outils, d'intégrations et de variantes optimisées incluant faster-whisper, whisper.cpp et WhisperX qui offrent une vitesse d'inférence améliorée et des fonctionnalités supplémentaires.

Modeles audio IA

Whisper est un modèle audio open-source fondamental qui traite la parole en utilisant une architecture encoder-décodeur basée sur transformer entraînée sur 680 000 heures de données multilingues. Disponible en cinq tailles allant de 39M à 1,55B paramètres, il sert de modèle de compréhension audio fondamental pour les tâches de reconnaissance vocale, de traduction et d'identification de langue dans l'écosystème IA.

Outils de recherche IA

Whisper sert d'outil fondamental pour la recherche en parole et audio, fournissant une ligne de base open-source de haute qualité pour l'évaluation comparative des systèmes ASR. Les chercheurs utilisent Whisper et ses variantes pour étudier la reconnaissance vocale multilingue, les techniques de traitement audio, et comme composant dans les systèmes IA multimodaux combinant la compréhension vocale avec d'autres modalités.

Transcription IA

Whisper est l'un des systèmes de transcription IA les plus capables et largement utilisés disponibles, offrant une reconnaissance automatique de la parole dans environ 100 langues avec une précision quasi humaine en anglais. Il gère diverses conditions audio incluant le bruit de fond, la parole avec accent et la terminologie technique, générant des transcriptions avec ponctuation automatique, capitalisation et horodatages.

LLM open source

Bien que techniquement un modèle de parole plutôt qu'un modèle de langage, Whisper est l'une des versions open-source les plus significatives d'OpenAI sous la licence MIT. Sa disponibilité publique a permis à tout un écosystème d'outils dérivés et d'implémentations optimisées, ce qui en fait une pierre angulaire de la communauté IA open-source pour les tâches de traitement audio.