Lakera es una empresa de seguridad de IA que se especializa en proteger aplicaciones de modelos de lenguaje grande de ataques de inyección de solicitudes, intentos de jailbreaking, fugas de datos y otras amenazas de seguridad específicas de LLM. Fundada en 2021 por David Haber, Matthias Kraft y Severin Elvatun, y con sede en Zurich, Suiza, Lakera se enfoca específicamente en los desafíos de seguridad únicos de aplicaciones de IA generativa. El producto insignia de la empresa, Lakera Guard, proporciona una API en tiempo real que se sitúa entre las entradas de usuario y las aplicaciones de LLM para detectar y bloquear solicitudes maliciosas antes de que lleguen al modelo. Lakera Guard analiza solicitudes entrantes en busca de varios patrones de ataque, incluida inyección de solicitudes directa e indirecta, intentos de jailbreak, solicitudes de contenido dañino e intentos de extraer información sensible o solicitudes del sistema del modelo. El sistema utiliza modelos de aprendizaje automático propietarios entrenados en un conjunto de datos continuamente actualizado de técnicas de ataque, incluidos datos de Gandalf, el juego público de inyección de solicitudes de Lakera que ha recopilado millones de ejemplos de solicitudes adversariales de usuarios en todo el mundo. Lakera Guard también monitorea salidas de LLM en busca de fugas de datos sensibles, contenido tóxico y respuestas fuera de tema, proporcionando una capa de seguridad de entrada-salida integral. La API está diseñada para integración de baja latencia, agregando una sobrecarga mínima a los tiempos de respuesta de aplicaciones de LLM. Lakera proporciona integraciones con proveedores y marcos de LLM principales, y puede implementarse como una API en la nube o localmente para organizaciones con requisitos estrictos de residencia de datos. La plataforma incluye un panel para monitorear eventos de seguridad, analizar patrones de ataque y configurar políticas de detección. Lakera ofrece un nivel gratuito para desarrolladores con llamadas de API limitadas, un nivel pagado para aplicaciones en producción y precios empresariales personalizados para organizaciones que requieren volúmenes más altos, soporte dedicado e implementación localmente.

Moderación de Contenido con IA

Lakera Guard monitorea tanto las entradas como las salidas de aplicaciones de LLM, detectando y filtrando contenido tóxico, solicitudes dañinas y respuestas que violan políticas. Esta capa de moderación entrada-salida ayuda a las organizaciones a mantener estándares de seguridad de contenido en sus aplicaciones de IA, previniendo tanto el abuso intencional como los resultados dañinos no intencionales.

Ciberseguridad con IA

Lakera proporciona ciberseguridad específica para IA a través de Lakera Guard, que protege aplicaciones de LLM de ataques de inyección de prompts, jailbreaking e intentos de extracción de datos. Su API en tiempo real inspecciona prompts antes de que lleguen al modelo y monitorea las salidas en busca de fugas de datos sensibles, proporcionando una capa de seguridad diseñada específicamente para el panorama de amenazas único de las aplicaciones de IA generativa.

Herramientas de Seguridad de IA

Lakera contribuye a la seguridad de IA previniendo el uso indebido de aplicaciones de LLM mediante la detección en tiempo real de prompts dañinos, intentos de jailbreak e inputs que violen políticas. Sus modelos propietarios, entrenados en millones de ejemplos adversariales de su juego Gandalf de inyección de prompts, ayudan a las organizaciones a garantizar que sus aplicaciones de IA no puedan ser manipuladas para producir resultados dañinos.

Herramientas de pruebas con IA

Lakera ayuda a las organizaciones a probar sus aplicaciones de LLM en busca de vulnerabilidades de seguridad a través de metodologías de pruebas adversariales informadas por millones de ejemplos de ataques del mundo real. Su plataforma permite que los equipos de seguridad evalúen cómo responden sus aplicaciones de IA a inyecciones de prompts, jailbreaking y otros vectores de ataque antes del despliegue.