DB-GPT Docker 镜像构建指南
本指南详细介绍如何使用 docker/base/build_image.sh 脚本,以各种配置构建 DB-GPT Docker 镜像。
概述
DB-GPT 构建脚本允许你根据具体需求创建定制化的 Docker 镜像。你可以选择预定义的安装模式,也可以通过指定额外依赖、环境变量等参数来自定义构建。
可用安装模式
- 默认模式
- OpenAI 模式
- VLLM 模式
- Llama-cpp 模式
- 完整模式
基于 CUDA 的标准功能镜像。
bash docker/base/build_image.sh
包含:CUDA 支持、代理集成(OpenAI、Ollama、智谱、Anthropic、千帆、通义)、RAG 能力、Graph RAG、Hugging Face 集成以及量化支持。
基于 CPU 的 OpenAI API 优化镜像。
bash docker/base/build_image.sh --install-mode openai
包含:基础功能、所有代理集成以及 RAG 能力,无需 GPU 加速。
基于 CUDA 的 VLLM 优化推理镜像。
bash docker/base/build_image.sh --install-mode vllm
包含:所有默认功能以及 VLLM 高性能推理支持。
基于 CUDA 的 Llama-cpp 支持镜像。
bash docker/base/build_image.sh --install-mode llama-cpp
包含:所有默认功能以及 Llama-cpp 和 Llama-cpp Server,通过 CMAKE_ARGS="-DGGML_CUDA=ON" 启用 CUDA 加速。
基于 CUDA 的全功能镜像。
bash docker/base/build_image.sh --install-mode full
包含:其他所有模式的功能以及 Embedding 能力。
基本用法
查看可用模式
查看所有可用的安装模式及其配置:
bash docker/base/build_image.sh --list-modes