Databricks ist eine vereinheitlichte Datenanalytik- und Künstliche-Intelligenz-Plattform, die um die Lakehouse-Architektur herum entwickelt wurde und die Fähigkeiten von Data Lakes und Data Warehouses in einer einzigen Plattform für Data Engineering, Data Science, Machine Learning und Business Analytics kombiniert. Das Unternehmen wurde 2013 von den ursprünglichen Erstellern von Apache Spark an der UC Berkeley gegründet, darunter Ali Ghodsi, Matei Zaharia und fünf weitere Gründer, und hat seinen Hauptsitz in San Francisco, Kalifornien. Die Plattform basiert auf und erweitert Apache Spark und bietet eine verwaltete Cloud-Umgebung zum Verarbeiten enormer Datensätze und zum Erstellen von KI-Anwendungen. Databricks bietet mehrere integrierte Komponenten. Der Unity Catalog bietet einheitliche Data Governance über alle Daten- und KI-Assets. Delta Lake, eine Open-Source-Speicherschicht, bietet ACID-Transaktionen, Schema-Erzwingung und Time Travel für Data Lakes. MLflow, ein weiteres von Databricks stammendendes Open-Source-Projekt, bietet Experiment Tracking, Model Registry, Model Serving und ML-Lifecycle-Management. Databricks SQL ermöglicht SQL-Analytik und Dashboarding direkt auf Lakehouse-Daten. Die Plattform umfasst Mosaic AI, ihre Suite von KI- und Machine-Learning-Tools, die Modelltraining, Fine-Tuning, Serving und Monitoring umfasst. Mosaic AI Agent Framework unterstützt das Erstellen von zusammengesetzten KI-Systemen und Retrieval-Augmented-Generation-Anwendungen. Databricks bietet auch Foundation Model APIs für den Zugriff auf beliebte Large Language Models und Vector Search für Ähnlichkeitssuche auf Embeddings. Die Plattform läuft auf allen großen Cloud-Providern, einschließlich AWS, Azure und Google Cloud, wobei Kunden innerhalb ihrer eigenen Cloud-Konten bereitstellen können, um Datensicherheit und Compliance zu gewährleisten. Die Databricks-Preisgestaltung folgt einem verbrauchsbasierten Modell unter Verwendung von Databricks Units (DBUs), wobei die Sätze je nach Workload-Typ und Compute-Tier variieren. Die Plattform bedient Organisationen aller Größen, von Startups bis zu den größten Unternehmen der Welt, über Branchen wie Finanzdienstleistungen, Gesundheitswesen, Einzelhandel, Medien und Technologie.

AI-Analyse-Tools

Databricks SQL bietet Business-Intelligence- und Analyticsfunktionen direkt auf Lakehouse-Daten mit KI-gestützten Funktionen für automatisierte Insight-Generierung und natürlichsprachige Abfragen. Die Plattform ermöglicht Organisationen, Analytics-Workloads neben ihren Data-Engineering- und ML-Workflows auszuführen, ohne Daten zwischen Systemen zu verschieben.

AI-Datenanalyse

Databricks bietet eine einheitliche Plattform für KI-gestützte Datenanalyse im großen Maßstab, die Data Engineering und Analytics auf einer Lakehouse-Architektur kombiniert. Die Plattform unterstützt SQL-Analytics, notebook-basierte Exploration mit Python und R sowie KI-gestützte Datenanalyse über natürlichsprachige Schnittstellen und ermöglicht Organisationen, Insights aus Petabyte-großen Datensätzen zu gewinnen.

KI-MLOps-Tools

Databricks integriert MLflow, das weit verbreitete Open-Source-MLOps-Framework, für Experiment-Tracking, Model-Versionierung, Model Registry und Production Serving. Die Plattform bietet End-to-End-ML-Lifecycle-Management von der Datenvorbereitung bis zur Model-Bereitstellung und Überwachung mit einheitlicher Governance über alle ML-Assets durch Unity Catalog.

AI-Modell-Hosting

Databricks bietet Model Serving über Mosaic AI und stellt verwaltete Endpunkte für die Bereitstellung von Machine-Learning-Modellen und Foundation Models in der Produktion zur Verfügung. Die Plattform unterstützt Echtzeit- und Batch-Inferenzen, automatische Skalierung, A/B-Tests und Model-Überwachung sowie Foundation Model APIs für den Zugriff auf beliebte LLMs innerhalb der Databricks-Umgebung.

AI-Forschungstools

Databricks unterstützt KI-Forschung durch kollaborative Notebooks, verteiltes Computing für großflächige Experimente und MLflow für Experiment-Tracking und Reproduzierbarkeit. Die Mosaic AI-Forschungsabteilung trägt zur Open-Source-LLM-Entwicklung bei, einschließlich des DBRX-Modells, und die Plattform wird von Forschungsteams in Wissenschaft und Industrie genutzt.

KI-Trainingsplattformen

Databricks bietet verteilte Computing-Infrastruktur zum Trainieren von Machine-Learning-Modellen im großen Maßstab mit Apache Spark und GPU-Clustern. Die Mosaic AI Suite unterstützt großflächiges Model-Training, Fine-Tuning von Foundation Models und verteilte Deep-Learning-Workloads über alle großen Cloud-Anbieter hinweg mit automatisch skalierenden Computeressourcen.