
deepseek本地化部署:
一、准备阶段
在部署DeepSeek之前,用户需要确保计算机满足一定的硬件和软件要求。硬件方面,建议配置较高的CPU和内存,以及支持CUDA的GPU(如果希望利用GPU加速)。软件方面,需要安装Python 3.8或更高版本,并确保CUDA和GPU驱动已正确安装。此外,还需要安装pip和virtualenv来管理Python依赖。
二、安装阶段
1. 安装管理AI模型的工具:用户可以选择安装Ollama或LM Studio来管理AI模型。Ollama的安装相对简单,只需从官网下载并安装适配包,然后在终端验证安装是否成功。LM Studio则提供了更友好的用户界面,适合新手使用。
Ollama下載地址:https://ollama.com/download/linux,linux版本為腳本安裝:curl -fsSL https://ollama.com/install.sh | sh,在本地命令行執行。如果沒有gpu,則會提示:WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.
设置ollama下载模型路径
vi /etc/profile
export OLLAMA_MODELS=/www/models
source /etc/profile
2. 安装DeepSeek模型:根据计算机配置选择合适的DeepSeek模型版本。普通配置建议选择较小的模型,以避免显存不足导致安装失败。安装模型时,Ollama用户可以通过终端命令安装,而LM Studio用户则可以在模型管理界面中一键下载并安装。
安装deepseek-r1:8b或其他模型
可以在ollama查看模型列表 https://ollama.com/library
#ollama run deepseek-r1:8b(对应所需硬件存储空间4.9G和显存8G以上)
3. 安装交互工具:为了增强交互体验,用户可以安装ChatBox或Open WebUI。这些工具允许用户通过Web界面与DeepSeek模型进行交互,大大提高了使用的便捷性。
webUI一般使用docker模式运行,https://github.com/open-webui/open-webui
启动docker服务
#service docker start
拉去webui并运行,使用3000端口对外提供服务
docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
访问:http://127.0.0.1:3000
进入webui docker container
docker ps #查看container
docker ps
CONTAINER ID IMAGE COMMAND CREATED STATUS PORTS NAMES
5c88257e1be3 ghcr.io/open-webui/open-webui:main "bash start.sh" 38 minutes ago Up 38 minutes (healthy) 0.0.0.0:3000->8080/tcp, [::]:3000->8080/tcp open-webui
进入容器:
docker exec -it 5c88257e1be3 bash
三、配置与测试
1. 配置文件:根据需求修改DeepSeek的配置文件,如模型路径、数据路径和服务器端口等。
2. 启动服务:在终端中启动DeepSeek检索服务,并等待服务成功运行。
3. 测试API:如果DeepSeek提供了RESTful API,用户可以通过Postman或curl等工具进行测试,确保API接口正常工作。
四、部署到生产环境
对于需要将DeepSeek部署到生产环境的用户,可以考虑使用Docker进行容器化部署,以提高系统的可移植性和可扩展性。此外,还可以使用Gunicorn或Nginx进行负载均衡和性能优化,确保系统在高并发下的稳定运行。
通过以上步骤,用户可以在本地成功部署DeepSeek,并享受其带来的高效文档检索体验。