Whisper ist ein Open-Source-System zur automatischen Spracherkennung (ASR), das von OpenAI entwickelt wurde und auf 680.000 Stunden mehrsprachiger und multitask-überwachter Daten trainiert wurde, die aus dem Web stammen. Whisper, das im September 2022 veröffentlicht wurde, erreicht menschenähnliche Robustheit und Genauigkeit bei der Spracherkennung im Englischen und zeigt starke Leistungen in vielen Sprachen, Akzenten und Audiobedingungen ohne die Notwendigkeit von Fine-Tuning. Das Modell ist als universelles Spracherkennungssystem konzipiert, das mehrsprachige Spracherkennung, Sprachübersetzung ins Englische und Sprachenidentifizierung durchführen kann. Whisper verwendet eine auf Transformatoren basierende Encoder-Decoder-Architektur und wurde mit einem groß angelegten Weak-Supervision-Ansatz trainiert, wobei es von einem vielfältigen Datensatz aus Audio und Transkripten aus dem Internet lernte. Diese Trainingsmethodik ermöglicht es Whisper, eine breite Palette von Audiobedingungen zu bewältigen, einschließlich Hintergrundgeräuschen, technischer Fachbegriffe, akzentuierter Sprache und minderwertigen Aufnahmen, die traditionelle ASR-Systeme herausfordern. Das Modell ist in mehreren Größen verfügbar, um unterschiedliche Rechenanforderungen zu erfüllen: Tiny (39 Millionen Parameter), Base (74 Millionen), Small (244 Millionen), Medium (769 Millionen) und Large (1,55 Milliarden Parameter), wobei größere Modelle höhere Genauigkeit auf Kosten erhöhter Inferenzzeit und Speichernutzung bieten. Whisper unterstützt Transkription und Übersetzung in etwa 100 Sprachen, mit besonders starker Leistung in Englisch, Spanisch, Französisch, Deutsch, Italienisch, Portugiesisch, Japanisch, Koreanisch, Chinesisch und vielen anderen weit verbreiteten Sprachen. Das Modell umfasst automatische Interpunktion, Groß- und Kleinschreibung sowie Zeitstempel-Generierung auf Segment- und Wortebene. Als Open-Source-Software, die unter der MIT-Lizenz veröffentlicht wurde, kann Whisper lokal auf Consumer-Hardware mit einer kompatiblen GPU ausgeführt, über Python in Anwendungen integriert oder über OpenAIs kommerzielle API für verwaltete Inferenz zugegriffen werden. Die Open-Source-Veröffentlichung hat ein großes Ökosystem von Tools, Integrationen und optimierten Varianten hervorgebracht, einschließlich faster-whisper, whisper.cpp und WhisperX, die verbesserte Inferenzgeschwindigkeit und zusätzliche Funktionen bieten.

KI-Audiomodelle

Whisper ist ein grundlegendes Open-Source-Audiomodell, das Sprache mit einer Transformer-basierten Encoder-Decoder-Architektur verarbeitet, trainiert auf 680.000 Stunden mehrsprachiger Daten. Mit fünf Größen von 39M bis 1,55B Parametern dient es als Kern-Audioverständnismodell für Spracherkennung, Übersetzung und Sprachidentifikationsaufgaben im gesamten KI-Ökosystem.

AI-Forschungstools

Whisper dient als grundlegendes Werkzeug für Sprach- und Audioforschung und bietet eine hochwertige Open-Source-Grundlage zum Benchmarking von ASR-Systemen. Forscher nutzen Whisper und seine Varianten zum Studium der mehrsprachigen Spracherkennung, von Audioverarbeitungstechniken und als Komponente in multimodalen KI-Systemen, die Sprachverständnis mit anderen Modalitäten kombinieren.

KI-Transkription

Whisper ist eines der leistungsfähigsten und am weitesten verbreiteten KI-Transkriptionssysteme, das automatische Spracherkennung in etwa 100 Sprachen mit nahezu menschlicher Genauigkeit im Englischen bietet. Es verarbeitet verschiedenste Audiobedingungen wie Hintergrundgeräusche, Akzente und Fachbegriffe und generiert Transkripte mit automatischer Interpunktion, Großschreibung und Zeitstempeln.

Open-Source-LLMs

Obwohl technisch gesehen eher ein Sprachmodell als ein Sprachmodell, ist Whisper eine der bedeutendsten Open-Source-KI-Veröffentlichungen von OpenAI unter der MIT-Lizenz. Seine offene Verfügbarkeit hat ein ganzes Ökosystem von Derivative-Tools und optimierten Implementierungen ermöglicht, was es zu einem Eckpfeiler der Open-Source-KI-Community für Audio-Verarbeitungsaufgaben macht.