centos 7.6 离线安装大模型Qwen2.5
# 起源
8x24g 4090 上搭载着已经过时的 centos7.6,想部署当前最强中文模型 Qwen2.5 需要费一番功夫。
# 方案
ollama + Qwen2.5_32B + open webui
# 问题
docker 环境问题。openWebui 需要 docker 部署。
工具链下载。由于缺少相关包,离线环境无法使用 yum 进行方便下载。
大模型部署
docker 无法启用 gpu
# 问题解决
采用文件复制,由于 yum 已经没有正在维护的 docker 源了,不使用 yum 的情况下直接下载对应二进制文件进行手动安装。
首先需要本地一份一模一样的 cen
more...