AI大模型 分类

Transformers：Hugging Face 模型库快速入门指南

Transformers：Hugging Face 模型库快速入门指南 huggingface/transformers 是 Hugging Face 维护的开源模型定义框架，实时 Star 数约 168.2k，是整个大模型生态事实上的「模型定义中心」。本文基于官方 README 完整翻译整理，从项

SGLang：高效大模型推理与服务框架部署指南

SGLang 是面向大语言模型、视觉语言模型与扩散模型的开源推理框架，GitHub Star 数约 3.8 万，采用 Apache-2.0 协议，主要编程语言为 Python。项目针对智能体（agentic）工作负载、大规模在线服务与强化学习 rollout 场景做了深度优化，内置的 SGLang

Swift：魔搭大模型微调框架使用指南

SWIFT（ms-swift）：魔搭社区的大模型与多模态微调部署框架 SWIFT（Scalable lightWeight Infrastructure for Fine-Tuning，可扩展轻量微调基础设施）是魔搭社区（ModelScope）开源的大模型与多模态大模型训练、推理、评测、量化与部署一

llama.cpp：纯 C++ 大模型推理引擎｜编译、量化与部署全指南

llama.cpp：纯 C/C++ 高效本地大模型推理引擎｜部署与使用全指南

LobeChat：以 Agent 为工作单元、支持多模型与协作编排的现代开源 AI 聊天框架｜部署与使用全指南

LobeChat（现品牌 LobeHub，仓库 lobehub/lobehub）是面向 Agent 团队协作的现代开源 AI 框架：以 Agent 为工作单元，统一接入多模型与模态，提供 Skills 与 MCP 市场、定时任务、分组协作和白盒个人记忆。本文基于官方 Compose 与环境变量模板，整理 setup.sh 一键初始化、手动部署、源码开发、配置项、运维命令与故障排查。

FreeLLMAPI 部署指南｜免费 LLM 聚合路由网关本地部署与多客户端接入手册

FreeLLMAPI 是本地优先的免费 LLM 聚合路由网关：统一多家提供方与数百个模型端点到 OpenAI 兼容 /v1 接口，内置智能路由、自动回退、密钥加密与用量面板；覆盖一键脚本、Compose、源码与桌面应用部署及主流智能体接入。

TRL：Transformer 强化学习库部署指南

TRL：Transformers 强化学习后训练库使用指南 huggingface/trl 是 Hugging Face 维护的大模型后训练库，实时 Star 数约 19.6k，是做 SFT、DPO、GRPO、KTO 等对齐训练的事实标准工具。本文基于官方 README 完整翻译整理，从项目定位、安

vLLM：高吞吐 LLM 推理服务引擎｜部署与使用全指南

Xinference：Xorbits 开源的本地模型部署与推理平台，内置模型库一键拉起大模型、Embedding、多模态与语音模型｜部署与使用全指南

Xinference（Xorbits Inference）是 Xorbits 开源的模型服务平台，一条命令拉起内置大模型、Embedding、Rerank、图像、视频、音频与多模态模型，暴露 OpenAI 兼容 RESTful API、Anthropic 兼容接口、CLI、RPC 与可视化控制台，支持 vLLM、SGLang、Transformers、llama.cpp、MLX 等多引擎与分布式集群。本文整理 pip、一键安装脚本、Docker、Docker Compose 与 Helm 部署路径、环境变量、CLI/Python SDK 用法、副本与内存测算、运维命令与故障排查。