Whisper es un sistema abierto de reconocimiento automático de voz (ASR) desarrollado por OpenAI, entrenado con 680,000 horas de datos multilingües y multitarea supervisados recopilados de la web. Lanzado en septiembre de 2022, Whisper se aproxima a la robustez y precisión del nivel humano en el reconocimiento de voz en inglés y demuestra un rendimiento sólido en muchos idiomas, acentos y condiciones de audio sin necesidad de ajuste fino. El modelo está diseñado como un sistema de reconocimiento de voz de propósito general capaz de reconocimiento de voz multilingüe, traducción de voz al inglés e identificación de idioma. Whisper emplea una arquitectura codificador-decodificador basada en transformadores y fue entrenado utilizando un enfoque de supervisión débil a gran escala, aprendiendo de un conjunto de datos diverso de audio emparejado con transcripciones obtenidas de internet. Esta metodología de entrenamiento permite a Whisper manejar una amplia variedad de condiciones de audio incluyendo ruido de fondo, jerga técnica, voz acentuada y grabaciones de baja calidad que desafían los sistemas ASR tradicionales. El modelo está disponible en múltiples tamaños para acomodar diferentes requisitos computacionales: Tiny (39M parámetros), Base (74M), Small (244M), Medium (769M) y Large (1,55B parámetros), con modelos más grandes proporcionando mayor precisión al costo de mayor tiempo de inferencia y uso de memoria. Whisper soporta transcripción y traducción en aproximadamente 100 idiomas, con rendimiento particularmente fuerte en inglés, español, francés, alemán, italiano, portugués, japonés, coreano, chino y muchos otros idiomas ampliamente hablados. El modelo incluye puntuación automática, capitalización y generación de marcas de tiempo tanto a nivel de segmento como de palabra. Como software de código abierto lanzado bajo la licencia MIT, Whisper se puede ejecutar localmente en hardware de consumidor con una GPU compatible, integrarse en aplicaciones a través de Python, o accederse a través del API comercial de OpenAI para inferencia administrada. El lanzamiento de código abierto ha generado un gran ecosistema de herramientas, integraciones y variantes optimizadas incluyendo faster-whisper, whisper.cpp y WhisperX que ofrecen velocidad de inferencia mejorada y características adicionales.

Modelos de Audio de IA

Whisper es un modelo de audio de código abierto fundamental que procesa el habla utilizando una arquitectura codificador-decodificador basada en transformadores entrenada con 680,000 horas de datos multilingües. Disponible en cinco tamaños desde 39M a 1.55B parámetros, sirve como modelo central de comprensión de audio para tareas de reconocimiento de voz, traducción e identificación de idioma en todo el ecosistema de IA.

Herramientas de investigación con IA

Whisper sirve como herramienta fundamental para investigación de voz y audio, proporcionando una línea de base de código abierto de alta calidad para comparar sistemas de ASR. Los investigadores utilizan Whisper y sus variantes para estudiar el reconocimiento de voz multilingüe, técnicas de procesamiento de audio, y como componente en sistemas de IA multimodal que combinan la comprensión del habla con otras modalidades.

Transcripcion con IA

Whisper es uno de los sistemas de transcripción de IA más capaces y ampliamente utilizados disponibles, proporcionando reconocimiento automático de voz en aproximadamente 100 idiomas con una precisión casi humana en inglés. Maneja diversas condiciones de audio incluyendo ruido de fondo, discurso con acento y terminología técnica, generando transcripciones con puntuación automática, capitalización y marcas de tiempo.

LLM de Codigo Abierto

Aunque técnicamente es un modelo de voz más que un modelo de lenguaje, Whisper es uno de los lanzamientos de IA de código abierto más significativos de OpenAI bajo la licencia MIT. Su disponibilidad abierta ha permitido todo un ecosistema de herramientas derivadas e implementaciones optimizadas, convirtiéndolo en una piedra angular de la comunidad de IA de código abierto para tareas de procesamiento de audio.