跳到主要内容
版本：v0.8.0

Ollama

配置 DB-GPT 使用 Ollama 在本地运行模型。Ollama 是在个人机器上部署开源模型最简单的方式之一。

前置条件​

  • 已安装并启动 Ollama
  • 已安装带 proxy_ollama 扩展的 DB-GPT

安装 Ollama​

# Download from https://ollama.ai or use Homebrew:
brew install ollama

拉取模型​

# 拉取聊天模型
ollama pull deepseek-r1:1.5b

# 拉取 embedding 模型
ollama pull bge-m3:latest
提示

使用 ollama list 可以查看已下载模型。

安装 DB-GPT 依赖​

uv sync --all-packages \
  --extra "base" \
  --extra "proxy_ollama" \
  --extra "rag" \
  --extra "storage_chromadb" \
  --extra "dbgpts"

配置方式​

编辑 configs/dbgpt-proxy-ollama.toml：

[models]
[[models.llms]]
name = "deepseek-r1:1.5b"
provider = "proxy/ollama"
api_base = "http://localhost:11434"
api_key = ""

[[models.embeddings]]
name = "bge-m3:latest"
provider = "proxy/ollama"
api_url = "http://localhost:11434"
api_key = ""
信息

对于本地 Ollama，api_key 可以留空。如果 Ollama 运行在另一台机器上，则需要把 api_base 改成对应地址。

常见模型选择​

聊天模型​

模型拉取命令大小说明
DeepSeek-R1 1.5Bollama pull deepseek-r1:1.5b~1 GB小模型、速度快、推理能力不错
Qwen2.5 7Bollama pull qwen2.5:7b~4.7 GB综合平衡较好
Llama 3.1 8Bollama pull llama3.1:8b~4.7 GBMeta 新一代模型
Mistral 7Bollama pull mistral:7b~4.1 GB通用场景、速度快

Embedding 模型​

模型拉取命令说明
bge-m3ollama pull bge-m3:latest多语言
nomic-embed-textollama pull nomic-embed-text更偏英文场景

启动服务​

先确保 Ollama 已经在运行：

# 如果没有以服务方式启动，则手动启动 Ollama
ollama serve

然后启动 DB-GPT：

uv run dbgpt start webserver --config configs/dbgpt-proxy-ollama.toml

故障排查​

问题解决方法
Connection refused确认 Ollama 已启动：ollama serve
Model not found先执行 ollama pull model-name 拉取模型
响应较慢尝试更小模型，或确认是否使用了 GPU
内存不足换更小的量化模型，例如 qwen2.5:7b-q4_0

下一步​