Lakera er et AI-sikkerhetsselskap som spesialiserer seg på å beskytte applikasjoner basert på store språkmodeller mot prompt-injeksjonsangrep, jailbreaking-forsøk, datalekkasje og andre LLM-spesifikke sikkerhetstrusler. Grunnlagt i 2021 av David Haber, Matthias Kraft og Severin Elvatun, og med hovedkontor i Zürich, Sveits, fokuserer Lakera spesifikt på sikkerhetsutfordringene som er unike for generative AI-applikasjoner. Selskapets flaggskipsprodukt, Lakera Guard, tilbyr et sanntids-API som plasseres mellom brukerinndata og LLM-applikasjoner for å oppdage og blokkere ondsinnede prompter før de når modellen. Lakera Guard analyserer innkommende prompter for ulike angrepsmønstre, inkludert direkte og indirekte prompt-injeksjon, jailbreak-forsøk, forespørsler om skadelig innhold og forsøk på å trekke ut sensitiv informasjon eller systemprompter fra modellen. Systemet bruker proprietære maskinlæringsmodeller trent på et kontinuerlig oppdatert datasett med angrepsteknikker, inkludert data fra Gandalf, Lakeras offentlige prompt-injeksjonsspill som har samlet inn millioner av adversarielle prompt-eksempler fra brukere over hele verden. Lakera Guard overvåker også LLM-utganger for lekkasje av sensitive data, giftig innhold og svar som er utenfor emnet, og gir et omfattende sikkerhetssjikt for inn- og utganger. API-et er designet for lav-latensiintegrasjon og legger til minimal overhead på responstidene for LLM-applikasjoner. Lakera tilbyr integrasjoner med store LLM-leverandører og rammeverk, og kan distribueres som et sky-API eller lokalt for organisasjoner med strenge krav til dataplassering. Plattformen inkluderer et dashboard for overvåking av sikkerhetshendelser, analyse av angrepsmønstre og konfigurering av deteksjonspolicyer. Lakera tilbyr et gratis nivå for utviklere med begrensede API-kall, et betalt nivå for produksjonsapplikasjoner og tilpassede bedriftspriser for organisasjoner som krever høyere volumer, dedikert støtte og lokal distribusjon.

AI-innholdsmoderering

Lakera Guard overvåker både inndata til og utdata fra LLM-applikasjoner, oppdager og filtrerer giftig innhold, skadelige forespørsler og policybruddssvar. Dette input-output-modereringslaget hjelper organisasjoner med å opprettholde innholdssikkerhetsstandarder i AI-applikasjonene deres, og forhindrer både intensjonelt misbruk og utilsiktet skadelig utdata.

AI-cybersikkerhet

Lakera tilbyr AI-spesifikk cybersikkerhet gjennom Lakera Guard, som beskytter LLM-applikasjoner mot prompt-injeksjonsangrep, jailbreaking og dataekstraksjonsforsøk. Dets sanntids-API inspiserer prompts før de når modellen og overvåker utdata for sensitiv datalekkasje, og gir et sikkerhetslag som er spesialbygd for det unike trusellandskapet til generative AI-applikasjoner.

AI-sikkerhetsverktøy

Lakera bidrar til AI-sikkerhet ved å forhindre misbruk av LLM-applikasjoner gjennom sanntidsdeteksjon av skadelige prompts, jailbreak-forsøk og policybruddsinndata. Dets proprietære modeller, trent på millioner av motstridende eksempler fra sitt Gandalf prompt injection-spill, hjelper organisasjoner med å sikre at AI-applikasjonene deres ikke kan manipuleres til å produsere skadelig utdata.

AI-testverktøy

Lakera hjelper organisasjoner med å teste sine LLM-applikasjoner for sikkerhetsmuligheter gjennom motstridende testmetodologier informert av millioner av virkelige angrepeksempler. Plattformen gjør det mulig for sikkerhetsteam å evaluere hvordan AI-applikasjonene deres reagerer på prompt-injeksjon, jailbreaking og andre angrepsvektorer før distribusjon.