Whisper は OpenAI によって開発されたオープンソースの自動音声認識（ASR）システムで、ウェブから収集した 680,000 時間の多言語およびマルチタスク教師あり学習データで学習されています。2022 年 9 月にリリースされた Whisper は、英語音声認識のヒューマンレベルの堅牢性と精度に達し、ファインチューニングなしで多くの言語、アクセント、およびオーディオ条件にわたって強力なパフォーマンスを実証しています。モデルは多言語音声認識、英語への音声翻訳、および言語識別が可能な汎用音声認識システムとして設計されています。Whisper はトランスフォーマーベースのエンコーダデコーダアーキテクチャを採用し、大規模な弱教師あり学習アプローチを使用して学習され、インターネットから供給されたトランスクリプト付きの多様なオーディオデータセットから学習します。この学習方法により、Whisper は背景ノイズ、技術用語、アクセント付き音声、従来の ASR システムに課題をもたらす低品質の録音を含む、幅広いオーディオ条件に対応できます。モデルは異なる計算要件に対応するための複数のサイズで利用可能です：Tiny（39M パラメータ）、Base（74M）、Small（244M）、Medium（769M）、および Large（1.55B パラメータ）で、より大きいモデルは推論時間とメモリ使用量の増加の代わりに更に高い精度を提供します。Whisper は約 100 言語にわたる転記と翻訳をサポートしており、英語、スペイン語、フランス語、ドイツ語、イタリア語、ポルトガル語、日本語、韓国語、中国語、および多くの他の広く話されている言語で特に強力なパフォーマンスを発揮します。モデルにはセグメントと単語レベルの両方での自動句読点、大文字化、およびタイムスタンプ生成が含まれます。MIT ライセンスの下でリリースされたオープンソースソフトウェアとして、Whisper は互換性のある GPU を備えたコンシューマーハードウェア上でローカルに実行したり、Python を通じてアプリケーションに統合したり、管理された推論のために OpenAI の商用 API を通じてアクセスしたりできます。オープンソースリリースは、faster-whisper、whisper.cpp、WhisperX など、推論速度を向上させ、追加の機能を提供する最適化されたバリアントを含む、大規模なツール、統合、および最適化されたバリアントのエコシステムを生み出しました。

AIオーディオモデル

Whisperは68万時間の多言語データで訓練されたトランスフォーマーベースのエンコーダーデコーダーアーキテクチャを使用して音声を処理する基礎的なオープンソース音声モデルです。39Mから1.55Bパラメーターの5つのサイズで利用可能で、AIエコシステム全体で音声認識、翻訳、言語識別タスクのコア音声理解モデルとして機能します。

AIリサーチツール

Whisperは音声とオーディオ研究のための基礎ツールとして機能し、ASRシステムのベンチマークのための高品質なオープンソースベースラインを提供します。研究者は多言語音声認識、音声処理技術の研究や、音声理解を他のモダリティと組み合わせたマルチモーダルAIシステムのコンポーネントとしてWhisperとそのバリアントを使用します。

AI文字起こし

Whisperは約100言語で英語においてほぼ人間レベルの精度で自動音声認識を提供する最も有能で広く使用されているAI転写システムの一つです。背景ノイズ、訛りのある発話、専門的な用語を含む多様な音声状態を処理し、自動句読点、大文字化、タイムスタンプを持つトランスクリプトを生成します。

オープンソースLLM

技術的には言語モデルではなく音声モデルですが、WhisperはMITライセンスの下でのOpenAIの最も重要なオープンソースAIリリースの一つです。オープンな利用可能性により、派生ツールと最適化された実装のエコシステム全体が構築され、音声処理タスクのためのオープンソースAIコミュニティの礎石となっています。