Whisper is een open-source automatisch spraakherkenningssysteem (ASR) ontwikkeld door OpenAI, getraind op 680.000 uur aan meertalige en multitaak gesuperviseerde data verzameld van het web. Uitgebracht in september 2022, benadert Whisper de robuustheid en nauwkeurigheid van menselijke spraakherkenning in het Engels en toont het sterke prestaties in vele talen, accenten en audio-omstandigheden zonder fijnafstemming. Het model is ontworpen als een algemeen spraakherkenningssysteem dat meertalige spraakherkenning, spraakvertaling naar het Engels en taalidentificatie aankan. Whisper maakt gebruik van een op transformer gebaseerde encoder-decoderarchitectuur en werd getraind via een grootschalige zwakke supervisiebenadering, waarbij het leert van een gevarieerde dataset van audio gekoppeld aan transcripties van het internet. Deze trainingsmethodologie stelt Whisper in staat een breed scala aan audio-omstandigheden te verwerken, waaronder achtergrondgeluid, technisch jargon, geaccentueerde spraak en opnames van lage kwaliteit die traditionele ASR-systemen uitdagen. Het model is beschikbaar in meerdere formaten om aan verschillende rekenvereisten te voldoen: Tiny (39M parameters), Base (74M), Small (244M), Medium (769M) en Large (1,55B parameters), waarbij grotere modellen hogere nauwkeurigheid bieden ten koste van meer inferentietijd en geheugengebruik. Whisper ondersteunt transcriptie en vertaling in ongeveer 100 talen, met bijzonder sterke prestaties in het Engels, Spaans, Frans, Duits, Italiaans, Portugees, Japans, Koreaans, Chinees en vele andere veelgesproken talen. Het model bevat automatische interpunctie, gebruik van hoofdletters en tijdstempelgeneratie op zowel segment- als woordniveau. Als open-sourcesoftware uitgebracht onder de MIT-licentie kan Whisper lokaal worden uitgevoerd op consumentenhardware met een compatibele GPU, in applicaties worden geïntegreerd via Python, of worden benaderd via de commerciële API van OpenAI voor beheerde inferentie. De open-source release heeft een groot ecosysteem van tools, integraties en geoptimaliseerde varianten voortgebracht, waaronder faster-whisper, whisper.cpp en WhisperX, die verbeterde inferentiesnelheid en aanvullende functies bieden.

AI-audiomodellen

Whisper is een fundamenteel open-source audiomodel dat spraak verwerkt met behulp van een op transformers gebaseerde encoder-decoder-architectuur, getraind op 680.000 uur meertalige gegevens. Beschikbaar in vijf formaten van 39M tot 1,55B parameters, fungeert het als een kernmodel voor audiogebruik voor spraakherkenning, vertaling en taalidentificatietaken in het AI-ecosysteem.

AI-onderzoekstools

Whisper fungeert als een fundamenteel instrument voor spraak- en audioonderzoek, en biedt een hoogwaardig open-source uitgangspunt voor benchmarking van ASR-systemen. Onderzoekers gebruiken Whisper en zijn varianten voor het bestuderen van meertalige spraakherkenning, audioverwerkingstechnieken en als component in multimodale AI-systemen die spraakverstaan combineren met andere modaliteiten.

AI-transcriptie

Whisper is een van de meest capabele en veel gebruikte AI-transcriptiesystemen die beschikbaar zijn, en biedt automatische spraakherkenning in ongeveer 100 talen met bijna menselijke nauwkeurigheid in het Engels. Het verwerkt diverse audiocondities, inclusief achtergrondgeluid, accent spraak en technische terminologie, en genereert transcripten met automatische interpunctie, hoofdletters en tijdstempels.

Open source-LLM's

Hoewel technisch gesproken eerder een speech-model dan een taalmodel, is Whisper een van OpenAI's meest significante open-source AI-releases onder de MIT-licentie. De open beschikbaarheid ervan heeft een heel ecosysteem van afgeleide tools en geoptimaliseerde implementaties mogelijk gemaakt, wat het tot een hoeksteen van de open-source AI-community voor audioverwerkingstaken maakt.