# 起源

8x24g 4090 上搭载着已经过时的 centos7.6，想部署当前最强中文模型 Qwen2.5 需要费一番功夫。

# 方案

ollama + Qwen2.5_32B + open webui

# 问题

1. docker 环境问题。openWebui 需要 docker 部署。
2. 工具链下载。由于缺少相关包，离线环境无法使用 yum 进行方便下载。
3. 大模型部署
4. docker 无法启用 gpu

# 问题解决

1. 采用文件复制，由于 yum 已经没有正在维护的 docker 源了，不使用 yum 的情况下直接下载对应二进制文件进行手动安装。

2. 首先需要本地一份一模一样的 centos7.6 环境。采用 wsl+ docker save -o centos76 创建，具体方案网上有。

   docker pull centos:7.6.1810
   docker export lhrcentos76 > /mnt/d/Users/fid/Desktop/lhrcentos76.tar
   docker run -d --name lhrcentos76 -h lhrcentos76 --privileged=true centos:7.6.1810 /usr/sbin/init
   docker exec -it lhrcentos76 bash
   docker export lhrcentos76 > /mnt/d/Users/fid/Desktop/lhrcentos76.tar
   wsl --import centos76 D:\wsl\lhrcentos76 D:\Users\joytion\Desktop\lhrcentos76.tar
   wsl -d CentOS76

   在此基础上进行 yum 源配置（找了好久，贴一份

   vim /etc/yum.repos.d/CentOS-Vault.repo

   	# Vault
   	[Vault-base]
   	name=Vault - CentOS-$releasever - Base
   	baseurl=http://vault.centos.org/centos/$releasever/os/$basearch/
   	gpgcheck=1
   	gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-$releasever
   	[Vault-updates]
   	name=Vault - CentOS-$releasever - Updates
   	baseurl=http://vault.centos.org/centos/$releasever/updates/$basearch/
   	gpgcheck=1
   	gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-$releasever
   	[Vault-extras]
   	name=Vault - CentOS-$releasever – Extras
   	baseurl=http://vault.centos.org/centos/$releasever/extras/$basearch/
   	gpgcheck=1
   	gpgkey=file:///etc/pki/rpm-gpg/RPM-GPG-KEY-CentOS-$releasever

   	yum clean all
   	yum makecache

   采用 yum 离线下载，然后你会发现下载下来的包不是全的（）

   解决方案：
   https://blog.csdn.net/jlh21/article/details/104775084

   yum deplist 检查后用 repotrack runc 下载即可（举例安装最新 runc）

3. 模型下载
   从 modelscope 上下载模型，选择 Qwen2.5_32B_Instruct 的量化 gguf 版本 (q4.0 用的多？)。
   gguf 在 ollama 直接支持，Qwen 官方提供了方法以及配置。

4. 下载 nvidia-container-runtime

   官方仓库已经归档，原文档已经失效

   # DEPRECATION NOTICE

   This project has been superseded by the NVIDIA Container Toolkit.
   The toolking provided by it has been migrated to the NVIDIA Container Toolkit and this repository is archived.

   For further instructions, see the NVIDIA Container Toolkit documentation
   and specifically the install guide.

   # Issues and Contributing

   Checkout the Contributing document!

   • For questions, feature requests, or bugs, open an issue against the nvidia-container-toolkit repository.

   在对应文档中找到最新方法：
   https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installing-with-yum-or-dnf

   保险起见，在加入源之后再次下载 nvidia-container-runtime 即可

   	repotrack nvidia-container-toolkit
   	repotrack nvidia-container-runtime

   发现新增了一个包 Downloading nvidia-container-runtime-3.14.0-1.noarch.rpm 。

   最后离线安装即可：
   rpm -Uvh --force --nodeps *.rpm

   参考资料：
   https://blog.csdn.net/ace1231/article/details/119697280

# 吐槽

• centos7 的各种源我是真服了，包括 yum 源在内的各种源都不维护，docker 官方给出的版本是 centos9 + 源，centos7.6 早就停止维护了啊 TAT。
• 下载 Qwen2.5_32B_Instruct 时，我直接下载了基版本，而不是量化 gguf 版本，下载两遍我太开心了（）
• repotrack 真是好样的，没你我怎么活啊，yum 依赖这东西一堆方法，找到个好用的真费时间。
• 最大槽点就是：离线部署 / 过时 centos

# 结语

总之，离线安装挺麻烦的，部分依赖没有官方离线实践，只能自己摸索，很耗费实践，疯狂踩坑 XD。