Mac mini m4搭建Qwen 2.5 推理环境(ollama+Open webUI)

鉴于真香的新版M4 mini，小玩了一下ai推理环境的搭建。
鉴于ollama类似docker的用法，选择了它作为推理后台部署，mac的ollama需要用app才能访问硬件设备，不能使用docker方式安装。
而Open webUI为了避免污染Mac自带python环境，使用了docker部署方案。

1. 下载Ollama for Mac程序进行安装，完成后运行下面的命令下载并运行qwen2.5-coder。

   ollama run qwen2.5-coder:14b

   14b是mini 16G内存能跑的最大参数版本。

2. 安装docker for Mac。

3. 安装Open Web UI。
   此方案需要虚拟机访问宿主的网络，OLLAMA_BASE_URLS的地址使用了docker提供的访问宿主机的域名。open-webui镜像地址使用了国内镜像来加速。原始镜像地址为:ghcr.io/open-webui/open-webui:main。

   docker run -d -p 3000:8080 \
       -v open-webui:/app/backend/data \
       -e OLLAMA_BASE_URLS="http://docker.for.mac.host.internal:11434" \
       --name open-webui \
       --restart always \
       ghcr.nju.edu.cn/open-webui/open-webui:main

4. 修改OLLAMA_HOST, 这步不设置虚拟机内部也能访问到ollama，放这里备用。

   launchctl setenv OLLAMA_HOST "0.0.0.0"

   参考地址: https://github.com/ollama/ollama/blob/main/docs/faq.md