diff --git a/README.zh-CN.md b/README.zh-CN.md index 9faa777a..0a186e74 100644 --- a/README.zh-CN.md +++ b/README.zh-CN.md @@ -9,7 +9,7 @@ > - ***70+** 模型已经在 `ipex-llm` 上得到优化和验证(如 Llama, Phi, Mistral, Mixtral, Whisper, DeepSeek, Qwen, ChatGLM, MiniCPM, Qwen-VL, MiniCPM-V 等), 以获得先进的 **大模型算法优化**, **XPU 加速** 以及 **低比特(FP8FP8/FP6/FP4/INT4) 支持**;更多模型信息请参阅[这里](#模型验证)。* ## 最新更新 🔥 -- [2025/02] 新增 [Ollama Portable Zip](docs/mddocs/Quickstart/ollama_portablze_zip_quickstart.md) 在 Intel GPU 上直接**免安装运行 Ollama**. +- [2025/02] 新增 [Ollama Portable Zip](docs/mddocs/Quickstart/ollama_portablze_zip_quickstart.zh-CN.md) 在 Intel GPU 上直接**免安装运行 Ollama**. - [2025/01] 新增在 Intel Arc [B580](docs/mddocs/Quickstart/bmg_quickstart.md) GPU 上运行 `ipex-llm` 的指南。 - [2025/01] 新增在 Intel GPU 上运行 [Ollama 0.5.4](docs/mddocs/Quickstart/ollama_quickstart.zh-CN.md) 的支持。 - [2024/12] 增加了对 Intel Core Ultra [NPU](docs/mddocs/Quickstart/npu_quickstart.md)(包括 100H,200V,200K 和 200H 系列)的 **Python** 和 **C++** 支持。 diff --git a/docs/mddocs/Quickstart/ollama_portablze_zip_quickstart.md b/docs/mddocs/Quickstart/ollama_portablze_zip_quickstart.md index 1b7965d9..71aaac71 100644 --- a/docs/mddocs/Quickstart/ollama_portablze_zip_quickstart.md +++ b/docs/mddocs/Quickstart/ollama_portablze_zip_quickstart.md @@ -1,4 +1,7 @@ # Run Ollama Portable Zip on Intel GPU with IPEX-LLM +

+ < English | 中文 > +

This guide demonstrates how to use [Ollama portable zip](https://github.com/intel/ipex-llm/releases/tag/v2.2.0-nightly) to directly run Ollama on Intel GPU with `ipex-llm` (without the need of manual installations). diff --git a/docs/mddocs/Quickstart/ollama_portablze_zip_quickstart.zh-CN.md b/docs/mddocs/Quickstart/ollama_portablze_zip_quickstart.zh-CN.md new file mode 100644 index 00000000..d8d5e49b --- /dev/null +++ b/docs/mddocs/Quickstart/ollama_portablze_zip_quickstart.zh-CN.md @@ -0,0 +1,48 @@ +# 使用 IPEX-LLM 在 Intel GPU 上运行 Ollama Portable Zip +

+ < English | 中文 > +

+ +本指南演示如何使用 [Ollama portable zip](https://github.com/intel/ipex-llm/releases/tag/v2.2.0-nightly) 通过 `ipex-llm` 在 Intel GPU 上直接免安装运行 Ollama。 + +> [!NOTE] +> 目前,IPEX-LLM 仅在 Windows 上提供 Ollama portable zip。 + +## 目录 +- [系统环境安装](#系统环境准备) +- [步骤 1:下载和解压](#步骤-1下载和解压) +- [步骤 2:启动 Ollama Serve](#步骤-2启动-ollama-serve) +- [步骤 3:运行 Ollama](#步骤-3运行-ollama) + +## 系统环境准备 + +检查你的 GPU 驱动程序版本,并根据需要进行更新: + +- 对于 Intel Core Ultra processors (Series 2) 或者 Intel Arc B-Series GPU,我们推荐将你的 GPU 驱动版本升级到[最新版本](https://www.intel.com/content/www/us/en/download/785597/intel-arc-iris-xe-graphics-windows.html) + +- 对于其他的 Intel 核显和独显,我们推荐使用 GPU 驱动版本 [32.0.101.6078](https://www.intel.com/content/www/us/en/download/785597/834050/intel-arc-iris-xe-graphics-windows.html) + +## 步骤 1:下载和解压 + +从此[链接](https://github.com/intel/ipex-llm/releases/tag/v2.2.0-nightly)下载 IPEX-LLM Ollama portable zip。 + +然后,将 zip 文件解压到一个文件夹中。 + +## 步骤 2:启动 Ollama Serve + +在解压后的文件夹中双击 `start-ollama.bat` 即可启动 Ollama Serve。随后会弹出一个窗口,如下所示: + +
+ +
+ +## 步骤 3:运行 Ollama + +在 Intel GPUs 上使用 Ollama 运行 LLMs,如下所示: + +- 打开命令提示符(cmd),并通过在命令行输入指令 `cd /d PATH\TO\EXTRACTED\FOLDER` 进入解压后的文件夹 +- 在命令提示符中运行 `ollama run deepseek-r1:7(可以将当前模型替换为你需要的模型) + +
+ +
diff --git a/docs/mddocs/Quickstart/ollama_quickstart.zh-CN.md b/docs/mddocs/Quickstart/ollama_quickstart.zh-CN.md index 6c9801da..34b158c5 100644 --- a/docs/mddocs/Quickstart/ollama_quickstart.zh-CN.md +++ b/docs/mddocs/Quickstart/ollama_quickstart.zh-CN.md @@ -6,7 +6,7 @@ [ollama/ollama](https://github.com/ollama/ollama) 是一个轻量级、可扩展的框架,用于在本地机器上构建和运行大型语言模型。现在,借助 [`ipex-llm`](https://github.com/intel-analytics/ipex-llm) 的 C++ 接口作为其加速后端,你可以在 Intel **GPU** *(如配有集成显卡,以及 Arc,Flex 和 Max 等独立显卡的本地 PC)* 上,轻松部署并运行 `ollama`。 > [!Important] -> 现在可使用 [Ollama Portable Zip](./ollama_portablze_zip_quickstart.md) 在 Intel GPU 上直接***免安装运行 Ollama***. +> 现在可使用 [Ollama Portable Zip](./ollama_portablze_zip_quickstart.zh-CN.md) 在 Intel GPU 上直接***免安装运行 Ollama***. > [!NOTE] > 如果是在 Intel Arc B 系列 GPU 上安装(例如 **B580**),请参阅本[指南](./bmg_quickstart.md)。