ipex-llm/docs/mddocs/Quickstart/ollama_portablze_zip_quickstart.zh-CN.md

2.1 KiB
Raw Blame History

使用 IPEX-LLM 在 Intel GPU 上运行 Ollama Portable Zip

< English | 中文 >

本指南演示如何使用 Ollama portable zip 通过 ipex-llm 在 Intel GPU 上直接免安装运行 Ollama。

Note

目前IPEX-LLM 仅在 Windows 上提供 Ollama portable zip。

目录

系统环境准备

检查你的 GPU 驱动程序版本,并根据需要进行更新:

  • 对于 Intel Core Ultra processors (Series 2) 或者 Intel Arc B-Series GPU我们推荐将你的 GPU 驱动版本升级到最新版本

  • 对于其他的 Intel 核显和独显,我们推荐使用 GPU 驱动版本 32.0.101.6078

步骤 1下载和解压

从此链接下载 IPEX-LLM Ollama portable zip。

然后,将 zip 文件解压到一个文件夹中。

步骤 2启动 Ollama Serve

在解压后的文件夹中双击 start-ollama.bat 即可启动 Ollama Serve。随后会弹出一个窗口如下所示

步骤 3运行 Ollama

在 Intel GPUs 上使用 Ollama 运行 LLMs如下所示

  • 打开命令提示符cmd并通过在命令行输入指令 cd /d PATH\TO\EXTRACTED\FOLDER 进入解压后的文件夹
  • 在命令提示符中运行 `ollama run deepseek-r1:7可以将当前模型替换为你需要的模型