开源 LLM - 含AI评论的目录

开源 LLM 使得功能强大的语言模型得以普及，这些模型可以在私有基础设施上运行，无需 API 费用或数据共享。来自 Meta 和 Google 的 Llama 3 和 Gemma 2 为开放权重能力树立了新的基准。Ollama 使本地运行这些模型变得像单条命令一样简单，而 Together AI 和 Groq 则为需要大规模使用开放模型的团队提供云端推理。Hugging Face 托管着开源模型生态系统，vLLM 则提供了为众多部署提供支持的高吞吐量服务引擎。

Hugging Face 1 4.9 Hugging Face 免费增值 免费计划 API 开源 企业版 3条评论 Hugging Face 是开源大语言模型的主要分发平台，托管来自 Meta (LLaMA)、Mistral、Google、Microsoft 和数千个社区贡献者的模型。其 Transformers 库为在所有主要框架上加载、运行和微调开源 LLM 提供了统一的接口。 Ollama 2 4.8 Ollama 免费 免费计划 开源 2条评论 Ollama 是本地运行开源 LLM 的最流行工具，提供对 LLaMA、Mistral、Gemma、DeepSeek 等数十个模型的轻松访问。它处理模型下载、量化和硬件优化，使开源语言模型可供任何拥有个人计算机的人使用。 Together AI 3 4.8 Together AI 付费 API 企业版 2条评论 Together AI 专门托管和提供开源语言模型，为来自 Meta、Mistral、DeepSeek 和其他开源提供商的模型提供快速且经济实惠的 API 访问。其平台使运行、比较和集成开源 LLM 变得容易，无需管理 GPU 基础设施。 vLLM 4 4.8 vLLM 免费 免费计划 API 开源 1条评论 vLLM is a high-throughput, memory-efficient inference engine for serving large language models. Developed at UC Berkeley, it uses PagedAttention to dramatically reduce memory waste and increase serving speed, making it one of the fastest open-source LLM serving frameworks available. vLLM supports a Text Generation Web UI 5 4.7 Text Generation Web UI 免费 免费计划 API 开源 1条评论 Text Generation Web UI (commonly called oobabooga) is a popular open-source Gradio-based interface for running large language models locally. It supports a wide range of model loaders including GPTQ, GGUF, AWQ, and ExLlamaV2, and provides features like chat mode, notebook mode, extensions, and LoRA LocalAI 6 4.7 LocalAI 免费 免费计划 API 开源 2条评论 LocalAI is a free, open-source alternative to OpenAI's API that runs entirely on consumer hardware without requiring a GPU. It provides an OpenAI-compatible REST API for running LLMs, image generation, audio transcription, and embeddings locally. LocalAI supports dozens of model families and is desi Jan 7 4.6 Jan 免费 免费计划 API 开源 2条评论 Jan is an open-source desktop application for running large language models locally on Mac, Windows, and Linux. It provides a clean ChatGPT-like interface for offline AI conversations, supports popular model formats like GGUF, and includes a built-in model hub for downloading models. Jan emphasizes Groq 8 4.5 Groq 免费增值 免费计划 API 企业版 3条评论 Groq 通过其超快推理平台提供流行的开源语言模型，包括 LLaMA、Mistral、Mixtral 和 Gemma。其 LPU 硬件使这些开源模型能以比传统 GPU 基础设施快得多的速度运行，使其对实时应用更加实用。 Replicate 9 4.5 Replicate 付费 API 企业版 2条评论 Replicate 托管和提供许多流行的开源语言模型，使开发者能够通过简单的 API 运行 LLaMA、Mistral 和其他社区模型，无需管理 GPU 基础设施。其平台使缺乏自有 GPU 资源的开发者能够访问开源 LLM。 Meta Llama 10 4.4 Meta Llama 免费 免费计划 开源 1条评论 Meta Llama is Meta's family of open-source large language models that have become foundational to the open AI ecosystem. Available in multiple sizes and configurations, Llama models can be freely downloaded, fine-tuned, and deployed for commercial use. The Llama family powers thousands of applicatio Whisper 11 4.3 Whisper 免费 免费计划 API 开源 2条评论 虽然技术上是一个语音模型而非语言模型，但 Whisper 是 OpenAI 在 MIT 许可证下最重要的开源 AI 发布之一。其开放可用性促进了整个派生工具和优化实现生态系统的发展，使其成为音频处理任务开源 AI 社区的基石。 Mistral AI 12 4.0 Mistral AI 免费增值 免费计划 API 开源 企业版 1条评论 Mistral AI is a French AI company building open and commercial large language models that emphasize efficiency, performance, and European AI sovereignty. Their models range from compact open-source options to powerful proprietary offerings, with strong multilingual capabilities and competitive bench