Databricks è una piattaforma unificata di analytics e intelligenza artificiale dei dati costruita intorno all'architettura del lakehouse, che combina le capacità dei data lake e dei data warehouse in una singola piattaforma per l'ingegneria dei dati, la data science, il machine learning e l'analytics aziendale. Fondata nel 2013 dai creatori originali di Apache Spark presso UC Berkeley, inclusi Ali Ghodsi, Matei Zaharia e cinque altri co-fondatori, Databricks ha sede a San Francisco, California. La piattaforma è costruita su e estende Apache Spark, fornendo un ambiente cloud gestito per l'elaborazione di dataset massicci e la costruzione di applicazioni di IA. Databricks offre diversi componenti integrati. Unity Catalog fornisce una governance dati unificata su tutti gli asset di dati e IA. Delta Lake, uno strato di storage open-source, fornisce transazioni ACID, imposizione dello schema e time travel per data lake. MLflow, un altro progetto open-source originario di Databricks, fornisce il tracciamento degli esperimenti, il registro dei modelli, il servizio dei modelli e la gestione del ciclo di vita del ML. Databricks SQL abilita analytics SQL e dashboarding direttamente sui dati del lakehouse. La piattaforma include Mosaic AI, la sua suite di strumenti di IA e machine learning che comprende l'addestramento del modello, l'ottimizzazione, la distribuzione e il monitoraggio. Mosaic AI Agent Framework supporta la costruzione di sistemi di IA composti e applicazioni di generazione aumentata da recupero. Databricks offre inoltre Foundation Model APIs per accedere a modelli linguistici di grandi dimensioni popolari e Vector Search per la ricerca di somiglianza su embedding. La piattaforma funziona su tutti i principali provider cloud inclusi AWS, Azure e Google Cloud, con clienti che si distribuiscono all'interno dei propri account cloud per la sicurezza e la conformità dei dati. Il prezzo di Databricks segue un modello basato sul consumo utilizzando Databricks Units (DBU), con tariffe che variano in base al tipo di carico di lavoro e al livello di calcolo. La piattaforma serve organizzazioni di tutte le dimensioni, dalle startup alle più grandi aziende del mondo, in tutti i settori inclusi i servizi finanziari, l'healthcare, il retail, i media e la tecnologia.

Strumenti di analytics IA

Databricks SQL fornisce funzionalità di business intelligence e analisi direttamente sui dati del lakehouse, con funzionalità avanzate da IA per la generazione automatica di insight e il query in linguaggio naturale. La piattaforma consente alle organizzazioni di eseguire carichi di lavoro analitici insieme ai loro flussi di lavoro di data engineering e ML senza spostare dati tra sistemi.

Analisi dei dati IA

Databricks fornisce una piattaforma unificata per l'analisi dei dati potenziata da IA su larga scala, combinando data engineering e analisi su un'architettura lakehouse. La piattaforma supporta analisi SQL, esplorazione basata su notebook con Python e R e analisi dei dati assistita da IA attraverso interfacce in linguaggio naturale, consentendo alle organizzazioni di derivare insight da dataset su scala petabyte.

Strumenti AI per MLOps

Databricks integra MLflow, il framework MLOps open-source ampiamente adottato, per il tracciamento degli esperimenti, il versioning dei modelli, il model registry e la distribuzione in produzione. La piattaforma fornisce la gestione del ciclo di vita di ML end-to-end dalla preparazione dei dati attraverso la distribuzione e il monitoraggio dei modelli, con governance unificata su tutti gli asset ML attraverso Unity Catalog.

Hosting di modelli AI

Databricks offre model serving attraverso Mosaic AI, fornendo endpoint gestiti per la distribuzione di modelli di machine learning e foundation model in produzione. La piattaforma supporta inferenza in tempo reale e batch, scalabilità automatica, test A/B e monitoraggio dei modelli, insieme alle Foundation Model API per accedere a LLM popolari nell'ambiente Databricks.

Strumenti di ricerca IA

Databricks supporta la ricerca di IA attraverso notebook collaborativi, computing distribuito per esperimenti su larga scala e MLflow per il tracciamento degli esperimenti e la riproducibilità. La sua divisione di ricerca Mosaic AI contribuisce allo sviluppo open-source di LLM incluso il modello DBRX, e la piattaforma è utilizzata da team di ricerca in ambienti accademici e industriali.

Piattaforme di training AI

Databricks fornisce infrastruttura di computing distribuito per l'addestramento di modelli di machine learning su larga scala utilizzando Apache Spark e cluster GPU. La suite Mosaic AI supporta l'addestramento di modelli su larga scala, il fine-tuning di foundation model e carichi di lavoro di deep learning distribuito su tutti i principali provider cloud con risorse di computing con scalabilità automatica.