Lakera è un'azienda di sicurezza dell'IA specializzata nella protezione delle applicazioni di grandi modelli linguistici dagli attacchi di iniezione di prompt, dai tentativi di jailbreaking, dalla perdita di dati e da altre minacce alla sicurezza specifiche dei modelli linguistici. Fondata nel 2021 da David Haber, Matthias Kraft e Severin Elvatun, e con sede a Zurigo, Svizzera, Lakera si concentra specificamente sulle sfide di sicurezza uniche alle applicazioni di IA generativa. Il prodotto principale dell'azienda, Lakera Guard, fornisce un'API in tempo reale che si colloca tra gli input degli utenti e le applicazioni di modelli linguistici per rilevare e bloccare i prompt malevoli prima che raggiungano il modello. Lakera Guard analizza i prompt in arrivo per vari modelli di attacco, inclusa l'iniezione di prompt diretta e indiretta, i tentativi di jailbreak, le richieste di contenuti dannosi e i tentativi di estrarre informazioni sensibili o prompt di sistema dal modello. Il sistema utilizza modelli di machine learning proprietari addestrati su un set di dati continuamente aggiornato di tecniche di attacco, inclusi i dati provenienti da Gandalf, il gioco di iniezione di prompt pubblico di Lakera che ha raccolto milioni di esempi di prompt avversariali da utenti in tutto il mondo. Lakera Guard monitora anche gli output dei modelli linguistici per la perdita di dati sensibili, i contenuti tossici e le risposte fuori tema, fornendo un livello completo di sicurezza input-output. L'API è progettata per l'integrazione a bassa latenza, aggiungendo un sovraccarico minimo ai tempi di risposta dell'applicazione del modello linguistico. Lakera fornisce integrazioni con i principali provider e framework di modelli linguistici, e può essere distribuita come API cloud o on-premises per le organizzazioni con rigidi requisiti di residenza dei dati. La piattaforma include una dashboard per il monitoraggio degli eventi di sicurezza, l'analisi dei modelli di attacco e la configurazione delle politiche di rilevamento. Lakera offre un livello gratuito per gli sviluppatori con chiamate API limitate, un livello a pagamento per le applicazioni di produzione e prezzi aziendali personalizzati per le organizzazioni che richiedono volumi più elevati, supporto dedicato e distribuzione on-premises.

Moderazione dei contenuti AI

Lakera Guard monitora sia gli input che gli output delle applicazioni LLM, rilevando e filtrando contenuti tossici, richieste dannose e risposte che violano le policy. Questo strato di moderazione input-output aiuta le organizzazioni a mantenere standard di sicurezza dei contenuti nelle loro applicazioni di AI, prevenendo sia l'uso improprio intenzionale che gli output dannosi involontari.

Cybersicurezza AI

Lakera fornisce cybersecurity specifica per l'AI attraverso Lakera Guard, che protegge le applicazioni LLM da attacchi di iniezione di prompt, jailbreaking e tentativi di estrazione dei dati. La sua API in tempo reale ispeziona i prompt prima che raggiungano il modello e monitora gli output per la perdita di dati sensibili, fornendo un livello di sicurezza progettato appositamente per il paesaggio di minacce unico delle applicazioni di AI generativa.

Strumenti AI per la sicurezza

Lakera contribuisce alla sicurezza dell'AI prevenendo l'uso improprio delle applicazioni LLM attraverso il rilevamento in tempo reale di prompt dannosi, tentativi di jailbreak e input che violano le policy. I suoi modelli proprietari, addestrati su milioni di esempi avversariali dal suo gioco di iniezione di prompt Gandalf, aiutano le organizzazioni a garantire che le loro applicazioni di AI non possono essere manipolate per produrre output dannosi.

Strumenti di test IA

Lakera aiuta le organizzazioni a testare le loro applicazioni LLM per vulnerabilità di sicurezza attraverso metodologie di testing avversariale informate da milioni di esempi di attacchi reali. La sua piattaforma consente ai team di sicurezza di valutare come le loro applicazioni di AI rispondono all'iniezione di prompt, jailbreaking e altri vettori di attacco prima della distribuzione.