Databricks er en samlet plattform for dataanalyse og kunstig intelligens bygget rundt lakehouse-arkitekturen, som kombinerer funksjonalitetene til datainnsjøer og datalager i én enkelt plattform for datateknikk, datavitenskap, maskinlæring og forretningsanalyse. Grunnlagt i 2013 av de opprinnelige skaperne av Apache Spark ved UC Berkeley, inkludert Ali Ghodsi, Matei Zaharia og fem andre medgrunnleggere, har Databricks hovedkontor i San Francisco, California. Plattformen er bygget på og utvider Apache Spark, og gir et administrert skymiljø for behandling av massive datasett og bygging av AI-applikasjoner. Databricks tilbyr flere integrerte komponenter. Unity Catalog gir enhetlig datastyring på tvers av alle data- og AI-ressurser. Delta Lake, et åpen kildekode-lagringslag, gir ACID-transaksjoner, skjemahåndhevelse og tidsreise for datainnsjøer. MLflow, et annet åpen kildekode-prosjekt fra Databricks, gir eksperimentsporing, modellregister, modellservering og håndtering av ML-livssyklus. Databricks SQL muliggjør SQL-analyse og dashboarding direkte på lakehouse-data. Plattformen inkluderer Mosaic AI, dens suite av AI- og maskinlæringsverktøy som omfatter modelltrening, finjustering, servering og overvåking. Mosaic AI Agent Framework støtter bygging av sammensatte AI-systemer og retrieval-augmented generation-applikasjoner. Databricks tilbyr også Foundation Model API-er for tilgang til populære store språkmodeller og Vector Search for likhetssøk på embeddings. Plattformen kjører på alle store skyleverandører inkludert AWS, Azure og Google Cloud, med kunder som distribuerer innen sine egne skykontoer for datasikkerhet og samsvar. Databricks-prissetting følger en forbruksbasert modell som bruker Databricks Units (DBU), med satser som varierer etter arbeidsmengdetype og beregningsnivå. Plattformen betjener organisasjoner av alle størrelser, fra oppstartsselskaper til de største bedriftene i verden, på tvers av bransjer inkludert finanstjenester, helsevesen, detaljhandel, media og teknologi.

AI-analyseverktøy

Databricks SQL tilbyr business intelligence- og analysemuligheter direkte på lakehouse-data, med AI-forbedrede funksjoner for automatisert innsiktsgenerering og naturlig språkspørring. Plattformen gjør det mulig for organisasjoner å kjøre analysekjøringer sammen med deres datavarsling og ML-arbeidsflyter uten å flytte data mellom systemer.

AI-dataanalyse

Databricks tilbyr en enhetlig plattform for AI-drevet dataanalyse i stor skala, som kombinerer datavarsling og analyser på en lakehouse-arkitektur. Plattformen støtter SQL-analyser, notatbok-basert utforsking med Python og R, og AI-assistert dataanalyse gjennom grensesnitt med naturlig språk, og gjør det mulig for organisasjoner å få innsikt fra petabyte-store datasett.

AI-MLOps-verktøy

Databricks integrerer MLflow, det mye brukte åpen kildekode MLOps-rammeverket, for eksperimentsporring, modellversjonering, modellregister og produksjonstjenester. Plattformen gir end-to-end styring av ML-livssyklus fra dataforberedelse gjennom modellimplementering og overvåking, med enhetlig styring på tvers av alle ML-eiendeler gjennom Unity Catalog.

AI-modellhosting

Databricks tilbyr modelltjenester gjennom Mosaic AI, og gir administrerte endepunkter for implementering av maskinlæringsmodeller og fundamentale modeller i produksjon. Plattformen støtter sanntids- og batch-inferens, automatisk skalering, A/B-testing og modellovervakning, sammen med Foundation Model API-er for tilgang til populære LLM-er innenfor Databricks-miljøet.

AI-forskningsverktøy

Databricks støtter AI-forskning gjennom samarbeidende notater, distribuert databehandling for storskalaforsøk, og MLflow for eksperimentsporring og reproduserbarhet. Dens Mosaic AI-forskningsdivisjon bidrar til åpen kildekode LLM-utvikling, inkludert DBRX-modellen, og plattformen brukes av forskerteam på tvers av akademia og industri.

AI-treningsplattformer

Databricks tilbyr distribuert databehandlingsinfrastruktur for trening av maskinlæringsmodeller i stor skala ved hjelp av Apache Spark og GPU-klynger. Mosaic AI-pakken støtter storskalmodelltrening, finjustering av fundamentale modeller, og distribuerte dyplæringskjøringer på tvers av alle større skytilbydere med automatisk skalering av databehandlingsressurser.