Whisper è un sistema open-source di riconoscimento automatico del parlato (ASR) sviluppato da OpenAI, addestrato su 680.000 ore di dati multilingue e multitask supervisionati raccolti dal web. Rilasciato a settembre 2022, Whisper si avvicina alla robustezza e all'accuratezza a livello umano nel riconoscimento del parlato in inglese e dimostra prestazioni forti in molte lingue, accenti e condizioni audio senza la necessità di fine-tuning. Il modello è progettato come un sistema di riconoscimento del parlato di uso generale in grado di eseguire il riconoscimento del parlato multilingue, la traduzione del parlato in inglese e l'identificazione della lingua. Whisper utilizza un'architettura encoder-decoder basata su transformer ed è stato addestrato utilizzando un approccio di supervisione debole su larga scala, imparando da un dataset diverso di audio accoppiato con trascritti provenienti da internet. Questa metodologia di addestramento consente a Whisper di gestire un'ampia varietà di condizioni audio incluso rumore di fondo, gergo tecnico, parlato con accento e registrazioni di bassa qualità che sfidano i sistemi ASR tradizionali. Il modello è disponibile in più dimensioni per adattarsi ai diversi requisiti computazionali: Tiny (39M parametri), Base (74M), Small (244M), Medium (769M) e Large (1.55B parametri), con modelli più grandi che forniscono maggiore accuratezza al costo di tempo di inferenza e utilizzo di memoria aumentati. Whisper supporta la trascrizione e la traduzione in approssimativamente 100 lingue, con prestazioni particolarmente forti in inglese, spagnolo, francese, tedesco, italiano, portoghese, giapponese, coreano, cinese e molte altre lingue ampiamente parlate. Il modello include punteggiatura automatica, capitalizzazione e generazione di timestamp sia a livello di segmento che a livello di parola. Come software open-source rilasciato sotto la licenza MIT, Whisper può essere eseguito localmente su hardware consumer con una GPU compatibile, integrato in applicazioni attraverso Python, o accessibile attraverso l'API commerciale di OpenAI per inferenza gestita. Il rilascio open-source ha generato un grande ecosistema di strumenti, integrazioni e varianti ottimizzate incluso faster-whisper, whisper.cpp e WhisperX che offrono velocità di inferenza migliorate e funzionalità aggiuntive.

Modelli audio IA

Whisper è un modello audio open-source fondamentale che elabora il parlato utilizzando un'architettura encoder-decoder basata su transformer, addestrato su 680.000 ore di dati multilingue. Disponibile in cinque dimensioni da 39M a 1,55B parametri, serve come modello core di comprensione audio per attività di riconoscimento del parlato, traduzione e identificazione della lingua nell'ecosistema AI.

Strumenti di ricerca IA

Whisper serve come strumento fondamentale per la ricerca sul parlato e l'audio, fornendo una baseline open-source di alta qualità per il benchmarking dei sistemi ASR. I ricercatori utilizzano Whisper e le sue varianti per studiare il riconoscimento del parlato multilingue, le tecniche di elaborazione audio e come componente nei sistemi AI multimodali che combinano la comprensione del parlato con altre modalità.

Trascrizione IA

Whisper è uno dei sistemi di trascrizione AI più capaci e ampiamente utilizzati disponibili, fornendo il riconoscimento automatico del parlato in circa 100 lingue con una precisione quasi umana in inglese. Gestisce diverse condizioni audio, incluso rumore di fondo, parlato con accento e terminologia tecnica, generando trascrizioni con punteggiatura automatica, capitalizzazione e timestamp.

LLM open source

Sebbene tecnicamente un modello di voce piuttosto che un modello linguistico, Whisper è uno dei rilasci open-source più significativi di OpenAI sotto la licenza MIT. La sua disponibilità aperta ha consentito un intero ecosistema di strumenti derivati e implementazioni ottimizzate, rendendolo una pietra angolare della comunità open-source dell'IA per le attività di elaborazione audio.