🔓AI开源 / 推理与部署工具（12 个工具）

基于 llama.cpp 的易用 AI 推理前端，适合本地创作。

基于编译的本地大模型部署，覆盖移动端与 WebGPU。

NVIDIA 开源的统一推理服务，支持多框架多模型。

微软开源的深度学习优化库，支持超大模型推理训练。

BentoML 开源的任何模型一键部署为服务的工具。

高性能大语言模型服务框架，RadixAttention 复用前缀。

书生·浦语开源的 LLM 压缩与部署工具箱。

HuggingFace 开源的生产级文本生成推理服务。

NVIDIA 官方 LLM 推理优化库，极致 GPU 性能。

纯 C/C++ 量化推理库，可在 CPU/边缘设备跑 LLM。

本地一键运行大模型的工具，跨平台体验极佳。

高吞吐大模型推理与服务引擎，PagedAttention 显存高效。