Databricks é uma plataforma unificada de análise de dados e inteligência artificial construída em torno da arquitetura lakehouse, que combina as capacidades de data lakes e data warehouses em uma única plataforma para engenharia de dados, ciência de dados, aprendizado de máquina e análises de negócios. Fundada em 2013 pelos criadores originais do Apache Spark na UC Berkeley, incluindo Ali Ghodsi, Matei Zaharia e cinco outros co-fundadores, Databricks está sediada em San Francisco, Califórnia. A plataforma é construída em e estende Apache Spark, fornecendo um ambiente em nuvem gerenciado para processar conjuntos de dados massivos e construir aplicações de IA. Databricks oferece vários componentes integrados. O Unity Catalog fornece governança de dados unificada em todos os dados e ativos de IA. Delta Lake, uma camada de armazenamento de código aberto, fornece transações ACID, imposição de esquema e viagem no tempo para data lakes. MLflow, outro projeto de código aberto originário da Databricks, fornece rastreamento de experimentos, registro de modelos, servimento de modelos e gerenciamento de ciclo de vida de ML. Databricks SQL permite análises SQL e dashboarding diretamente em dados de lakehouse. A plataforma inclui Mosaic AI, seu conjunto de ferramentas de IA e aprendizado de máquina que engloba treinamento de modelos, ajuste fino, servimento e monitoramento. Mosaic AI Agent Framework suporta construção de sistemas de IA compostos e aplicações de geração aumentada por recuperação. Databricks também oferece APIs de Modelo de Fundação para acessar modelos grandes de linguagem populares e Vector Search para pesquisa de similaridade em embeddings. A plataforma funciona em todos os principais provedores de nuvem incluindo AWS, Azure e Google Cloud, com clientes implantando dentro de suas próprias contas em nuvem para segurança de dados e conformidade. O preço do Databricks segue um modelo baseado em consumo usando Databricks Units (DBUs), com taxas variando por tipo de carga de trabalho e nível de computação. A plataforma serve organizações de todos os tamanhos, de startups às maiores empresas do mundo, em setores incluindo serviços financeiros, saúde, varejo, mídia e tecnologia.

Ferramentas de Análise com IA

O Databricks SQL fornece recursos de inteligência de negócios e análise diretamente em dados de lakehouse, com recursos aprimorados por IA para geração automatizada de insights e consultas em linguagem natural. A plataforma permite que as organizações executem cargas de trabalho de análise juntamente com seus fluxos de trabalho de engenharia de dados e ML sem mover dados entre sistemas.

Análise de Dados com IA

O Databricks oferece uma plataforma unificada para análise de dados alimentada por IA em escala, combinando engenharia de dados e análise em uma arquitetura de lakehouse. A plataforma suporta análise SQL, exploração baseada em notebooks com Python e R, e análise de dados assistida por IA através de interfaces em linguagem natural, permitindo que as organizações derivem insights de conjuntos de dados em escala de petabytes.

Ferramentas de MLOps com IA

O Databricks integra o MLflow, o framework MLOps de código aberto amplamente adotado, para rastreamento de experimentos, versionamento de modelos, registro de modelos e model serving em produção. A plataforma fornece gerenciamento do ciclo de vida completo de ML desde preparação de dados até implantação e monitoramento de modelos, com governança unificada em todos os ativos de ML através do Unity Catalog.

Hospedagem de Modelos de IA

O Databricks oferece model serving através do Mosaic AI, fornecendo endpoints gerenciados para implantar modelos de aprendizado de máquina e modelos de fundação em produção. A plataforma suporta inferência em tempo real e em lote, dimensionamento automático, testes A/B e monitoramento de modelos, juntamente com APIs de Foundation Model para acessar LLMs populares no ambiente Databricks.

Ferramentas de Pesquisa com IA

O Databricks suporta pesquisa de IA através de notebooks colaborativos, computação distribuída para experimentos em larga escala e MLflow para rastreamento de experimentos e reprodutibilidade. Sua divisão de pesquisa Mosaic AI contribui para o desenvolvimento de LLM de código aberto, incluindo o modelo DBRX, e a plataforma é utilizada por equipes de pesquisa em academia e indústria.

Plataformas de Treinamento de IA

O Databricks fornece infraestrutura de computação distribuída para treinar modelos de aprendizado de máquina em escala usando Apache Spark e clusters de GPU. O suite Mosaic AI suporta treinamento de modelos em larga escala, fine-tuning de modelos de fundação e cargas de trabalho de aprendizado profundo distribuído em todos os principais provedores de nuvem com recursos de computação com dimensionamento automático.