deekseek本地化部署

deekseek本地化部署做敦煌文本分析

deepseek本地化部署:

一、准备阶段

在部署DeepSeek之前,用户需要确保计算机满足一定的硬件和软件要求。硬件方面,建议配置较高的CPU和内存,以及支持CUDA的GPU(如果希望利用GPU加速)。软件方面,需要安装Python 3.8或更高版本,并确保CUDA和GPU驱动已正确安装。此外,还需要安装pip和virtualenv来管理Python依赖。

二、安装阶段

1. 安装管理AI模型的工具:用户可以选择安装Ollama或LM Studio来管理AI模型。Ollama的安装相对简单,只需从官网下载并安装适配包,然后在终端验证安装是否成功。LM Studio则提供了更友好的用户界面,适合新手使用。

Ollama下載地址:https://ollama.com/download/linux,linux版本為腳本安裝:curl -fsSL https://ollama.com/install.sh | sh,在本地命令行執行。如果沒有gpu,則會提示:WARNING: No NVIDIA/AMD GPU detected. Ollama will run in CPU-only mode.

设置ollama下载模型路径

vi /etc/profile

export OLLAMA_MODELS=/www/models

source /etc/profile

2. 安装DeepSeek模型:根据计算机配置选择合适的DeepSeek模型版本。普通配置建议选择较小的模型,以避免显存不足导致安装失败。安装模型时,Ollama用户可以通过终端命令安装,而LM Studio用户则可以在模型管理界面中一键下载并安装。

安装deepseek-r1:8b或其他模型

可以在ollama查看模型列表 https://ollama.com/library

#ollama run deepseek-r1:8b(对应所需硬件存储空间4.9G和显存8G以上)

3. 安装交互工具:为了增强交互体验,用户可以安装ChatBox或Open WebUI。这些工具允许用户通过Web界面与DeepSeek模型进行交互,大大提高了使用的便捷性。

webUI一般使用docker模式运行,https://github.com/open-webui/open-webui

启动docker服务

 #service docker start
拉去webui并运行,使用3000端口对外提供服务

 docker run -d -p 3000:8080 --add-host=host.docker.internal:host-gateway -v open-webui:/app/backend/data --name open-webui --restart always ghcr.io/open-webui/open-webui:main
访问:http://127.0.0.1:3000

进入webui docker container

 docker ps #查看container

docker ps
CONTAINER ID   IMAGE                                COMMAND           CREATED          STATUS                    PORTS                                         NAMES
5c88257e1be3   ghcr.io/open-webui/open-webui:main   "bash start.sh"   38 minutes ago   Up 38 minutes (healthy)   0.0.0.0:3000->8080/tcp, [::]:3000->8080/tcp   open-webui
进入容器:

 docker exec -it 5c88257e1be3  bash
 

三、配置与测试

1. 配置文件:根据需求修改DeepSeek的配置文件,如模型路径、数据路径和服务器端口等。

2. 启动服务:在终端中启动DeepSeek检索服务,并等待服务成功运行。

3. 测试API:如果DeepSeek提供了RESTful API,用户可以通过Postman或curl等工具进行测试,确保API接口正常工作。

四、部署到生产环境

对于需要将DeepSeek部署到生产环境的用户,可以考虑使用Docker进行容器化部署,以提高系统的可移植性和可扩展性。此外,还可以使用Gunicorn或Nginx进行负载均衡和性能优化,确保系统在高并发下的稳定运行。

通过以上步骤,用户可以在本地成功部署DeepSeek,并享受其带来的高效文档检索体验。