跳到主要内容

Arc A770 Ollama WebUI 教程


Arc A770 Ollama WebUI 部署教程

本文记录 Windows 上使用 Arc A770、Ollama 和 Open WebUI 的配置思路。GPU 后端支持取决于 Ollama 版本、驱动和模型配置,需要用实际运行状态验证。

第一部分:区分后端与前端

Ollama 负责模型服务,Open WebUI 是可选的浏览器前端。使用浏览器前端不代表 Ollama 已经启用 GPU,实际后端仍要通过 Ollama 的运行状态和日志确认。

Ollama 0.30 起 Vulkan 后端已经默认启用,并扩展了对 Intel / AMD 等 GPU 的支持,因此新版本通常不需要再手工设置 OLLAMA_VULKAN=1。旧版本或特殊构建可能行为不同,先以当前安装版本为准。

第二部分:系统环境准备

2.1. 检查 Arc 显卡驱动

先记录当前驱动版本,再按 Ollama 对应后端的要求核对。需要更新时,从英特尔官方下载适用于 Arc A770 的驱动并按提示安装、重启;无需把清洁安装作为每次配置的必做步骤。

2.2. 安装官方 Ollama

从 Ollama 官网 获取 Windows 安装程序,按安装器完成安装。

如果电脑上已有其他 Ollama 发行版,先确认正在使用的可执行文件和模型存储位置,保留自己的配置。退出旧服务,避免两个实例争用端口,不要直接删除模型目录。

PowerShell 中检查实际版本和命令来源:

ollama --version
Get-Command ollama -All

第三部分:验证 GPU 后端

3.1. 先直接验证 Vulkan

当前版本的 Ollama 通常会自动启用可用的 Vulkan 后端,不需要先设置环境变量。先正常启动 Ollama,再运行一个模型,然后检查:

ollama ps

如果机器同时有核显和 Arc 独显,可以结合日志确认 Ollama 识别出的 Vulkan 设备。需要指定某一张 Vulkan GPU 时,可按实际设备编号设置 GGML_VK_VISIBLE_DEVICES 后重启 Ollama,例如:

$env:GGML_VK_VISIBLE_DEVICES = "1"
ollama serve

设备编号必须按本机实际识别结果填写,不要固定照抄 1。出现兼容问题时也可以临时禁用 Vulkan 做对照测试,例如设置 OLLAMA_VULKAN=0。

不要同时启动托盘服务与另一个 ollama serve;若出现 11434 端口占用,先检查已有实例。

3.2. 启动模型并验证

服务启动本身不会自动下载或推理模型。需要另外运行模型或从前端发起请求,再在模型仍加载时检查:

ollama ps

结合 PROCESSOR 信息和服务日志判断是否使用 GPU、CPU 或混合卸载。GPU 占用低于某个固定百分比,不能单独证明只用了 CPU;任务管理器也应选择对应计算引擎,不能只看默认的 3D 图表。

第四部分:安装 Open WebUI

Open WebUI 是额外的前端服务,可以放在独立的 Conda 或 venv 环境里。下面保留原文 Python 3.11 的示例;实际安装前核对所选 Open WebUI 版本的 Python 要求,不满足时按其要求创建环境。

conda create -n open-webui python=3.11 -y
conda activate open-webui
python -m pip install open-webui
open-webui serve

启动后按日志显示的地址手动打开页面,通常为 http://localhost:8080。初始化账号后检查 Ollama 连接设置;同机服务通常使用 http://127.0.0.1:11434。

如果改用容器,容器内的 localhost 指向容器自己,需要另行配置主机地址。前端页面正常打开,不代表模型服务已经连接,也不代表 GPU 已启用。

第五部分:验证与性能测试

先选适合显存和内存的模型,完成一次短对话,再观察 ollama ps、服务日志、显存占用和响应速度。

原文使用 deepseek-r1:14b 举例。能否放入 A770 16GB 显存,取决于模型量化、上下文长度、KV 缓存和其他进程的显存占用,不能保证所有 14B 模型都轻松运行。显存不足时,先降低上下文或改用更小的模型,再观察加载结果和性能。

Open WebUI 中能发出请求、Ollama 中能看到已加载模型,以及日志确认使用预期后端,三者一起验证,才算完成这套配置。


文章作者: 0xdadream
版权声明: 本博客所有文章除特別声明外,均采用 CC BY 4.0 许可协议。转载请注明来源 0xdadream !
赏
评论

评论将在接近此处时加载,也可点击立即加载。

  目录