Loading...

文章分类

全部 AI大模型 (125) AI智能体 (107) AI图像视频 (49) AI语音 (27) AI趣味应用 (45) 服务器运维 (53) 微信小程序 (30) 博客社区 (16) 大厂开源 (126) 安全逆向 (16)
Xinference：Xorbits 开源的本地模型部署与推理平台，内置模型库一键拉起大模型、Embedding、多模态与语音模型｜部署与使用全指南 的封面
10-27
AI大模型
若琳部署

Xinference：Xorbits 开源的本地模型部署与推理平台，内置模型库一键拉起大模型、Embedding、多模态与语音模型｜部署与使用全指南

Xinference（Xorbits Inference）是 Xorbits 开源的模型服务平台，一条命令拉起内置大模型、Embedding、Rerank、图像、视频、音频与多模态模型，暴露 OpenAI 兼容 RESTful API、Anthropic 兼容接口、CLI、RPC 与可视化控制台，支持 vLLM、SGLang、Transformers、llama.cpp、MLX 等多引擎与分布式集群。本文整理 pip、一键安装脚本、Docker、Docker Compose 与 Helm 部署路径、环境变量、CLI/Python SDK 用法、副本与内存测算、运维命令与故障排查。

1
0
0
17 / 67