Whisper는 OpenAI가 개발한 오픈소스 자동 음성 인식(ASR) 시스템으로, 웹에서 수집된 68만 시간 분량의 다국어 및 멀티태스크 지도 학습 데이터로 훈련되었습니다. 2022년 9월에 공개된 Whisper는 영어 음성 인식에서 인간 수준의 견고함과 정확도에 근접하며, 파인튜닝 없이도 다양한 언어, 억양, 오디오 조건에서 강력한 성능을 보여줍니다. 이 모델은 다국어 음성 인식, 영어로의 음성 번역, 언어 식별이 가능한 범용 음성 인식 시스템으로 설계되었습니다. Whisper는 트랜스포머 기반 인코더-디코더 아키텍처를 채택하며, 인터넷에서 수집한 전사본과 짝지어진 오디오의 다양한 데이터셋으로부터 학습하는 대규모 약지도 학습 방식을 사용해 훈련되었습니다. 이 훈련 방법론 덕분에 Whisper는 배경 소음, 전문 용어, 억양이 있는 음성, 기존 ASR 시스템에 어려움을 주는 저품질 녹음 등 다양한 오디오 조건을 처리할 수 있습니다. 이 모델은 서로 다른 연산 요구 사항을 수용하기 위해 여러 크기로 제공됩니다: Tiny(3,900만 매개변수), Base(7,400만), Small(2억 4,400만), Medium(7억 6,900만), Large(15억 5,000만 매개변수)이며, 더 큰 모델일수록 추론 시간과 메모리 사용량이 증가하는 대신 더 높은 정확도를 제공합니다. Whisper는 약 100개 언어에 걸쳐 전사와 번역을 지원하며, 특히 영어, 스페인어, 프랑스어, 독일어, 이탈리아어, 포르투갈어, 일본어, 한국어, 중국어를 비롯한 널리 사용되는 여러 언어에서 강력한 성능을 보입니다. 이 모델은 세그먼트 및 단어 수준에서 자동 구두점, 대문자 처리, 타임스탬프 생성을 포함합니다. MIT 라이선스로 공개된 오픈소스 소프트웨어로서, Whisper는 호환 GPU가 장착된 소비자 하드웨어에서 로컬로 실행하거나, Python을 통해 애플리케이션에 통합하거나, 관리형 추론을 위해 OpenAI의 상용 API를 통해 접근할 수 있습니다. 오픈소스 공개는 faster-whisper, whisper.cpp, WhisperX 등 향상된 추론 속도와 추가 기능을 제공하는 도구, 통합, 최적화 변형의 대규모 생태계를 탄생시켰습니다.

AI 오디오 모델

Whisper는 680,000시간의 다국어 데이터로 학습된 트랜스포머 기반 인코더-디코더 아키텍처를 사용하여 음성을 처리하는 오픈소스 오디오 모델입니다. 39M에서 1.55B 파라미터까지 5가지 크기로 이용 가능하며, AI 생태계 전반에서 음성 인식, 번역, 언어 식별 작업을 위한 핵심 오디오 이해 모델로 사용됩니다.

AI 리서치 도구

Whisper는 음성 및 오디오 연구를 위한 기본 도구로, ASR 시스템 벤치마킹을 위한 고품질의 오픈소스 기준을 제공합니다. 연구자들은 Whisper와 그 변형을 다국어 음성 인식 연구, 오디오 처리 기법 연구, 음성 이해와 다른 모달리티를 결합하는 멀티모달 AI 시스템의 구성 요소로 사용합니다.

AI 전사

Whisper는 이용 가능한 가장 강력하고 널리 사용되는 AI 음성 인식 시스템 중 하나로, 약 100개 언어에서 자동 음성 인식을 제공하며 영어에서는 인간 수준에 가까운 정확도를 제공합니다. 백그라운드 노이즈, 악센트가 있는 음성, 기술 용어를 포함한 다양한 오디오 조건을 처리하며, 자동 구두점, 대문자, 타임스탬프가 포함된 전사 텍스트를 생성합니다.

오픈소스 LLM

기술적으로는 언어 모델이 아닌 음성 모델이지만, Whisper는 MIT 라이선스 하에 OpenAI의 가장 중요한 오픈소스 AI 릴리스 중 하나입니다. 오픈소스 가용성은 파생 도구 및 최적화된 구현의 전체 생태계를 가능하게 했으며, 이를 오디오 처리 작업을 위한 오픈소스 AI 커뮤니티의 초석으로 만들었습니다.