Ollama - 本地部署 / 推理项目深度评测 · 智子雷达Run large language models locally on your machine with a single command

本地部署 LLM 自托管 Go Ollama

01 / SUMMARY

项目简介

Ollama 是本地运行大语言模型的事实标准工具，一条命令即可下载并运行 Llama、Qwen、DeepSeek 等上百种模型。它封装了 llama.cpp 推理引擎，自动处理量化、GPU 加速和模型管理，提供 OpenAI 兼容的 REST API，是个人开发者和小型团队私有化部署 LLM 的首选入口。

02 / ZHIZI NOTE

智子短评

实验室视角

本地 LLM 的开箱即用方案，`ollama run` 一条命令上手，生态已成气候。