Further update Ollama portable zip quickstart (#12921)

* Update Chinese doc for ollama quickstart tips and troubleshooting

* Update for recommanded Windows OS

* Small fix

* Small fix
This commit is contained in:
Yuwen Hu 2025-03-03 18:07:57 +08:00 committed by GitHub
parent f81d89d908
commit b2d676f1c6
No known key found for this signature in database
GPG key ID: B5690EEEBB952194
2 changed files with 36 additions and 4 deletions

View file

@ -33,6 +33,9 @@ This guide demonstrates how to use [Ollama portable zip](https://github.com/inte
## Windows Quickstart
> [!NOTE]
> We recommand using Windows 11 for Windows users.
### Prerequisites
Check your GPU driver version, and update it if needed:

View file

@ -27,11 +27,15 @@
- [通过切换源提升模型下载速度](#通过切换源提升模型下载速度)
- [在 Ollama 中增加上下文长度](#在-ollama-中增加上下文长度)
- [在多块 GPU 可用时选择特定的 GPU 来运行 Ollama](#在多块-gpu-可用时选择特定的-gpu-来运行-ollama)
- [性能调优](#性能调优)
- [Ollama v0.5.4 之后新增模型支持](#ollama-v054-之后新增模型支持)
- [更多信息](ollama_quickstart.zh-CN.md)
## Windows用户指南
> [!NOTE]
> 对于 Windows 用户,我们推荐使用 Windows 11。
### 系统环境准备
检查你的 GPU 驱动程序版本,并根据需要进行更新:
@ -50,8 +54,8 @@
根据如下步骤启动 Ollama serve:
- 打开命令提示符cmd并通过在命令行输入指令 "cd /d PATH\TO\EXTRACTED\FOLDER" 进入解压缩后的文件夹
- 在命令提示符中运行 "start-ollama.bat" 即可启动 Ollama Serve。随后会弹出一个窗口如下所示
- 打开命令提示符cmd并通过在命令行输入指令 `cd /d PATH\TO\EXTRACTED\FOLDER` 进入解压缩后的文件夹
- 在命令提示符中运行 `start-ollama.bat` 即可启动 Ollama Serve。随后会弹出一个窗口如下所示
<div align="center">
<img src="https://llm-assets.readthedocs.io/en/latest/_images/ollama_portable_start_ollama_new.png" width=80%/>
@ -170,15 +174,40 @@ Ollama 默认从 Ollama 库下载模型。通过在**运行 Ollama 之前**设
- 对于 **Windows** 用户:
- 打开命令提示符,并通过 `cd /d PATH\TO\EXTRACTED\FOLDER` 命令进入解压后的文件夹
- 在命令提示符中设置 `ONEAPI_DEVICE_SELECTOR` 来定义你想使用的 Intel GPU例如 `set ONEAPI_DEVICE_SELECTOR=level_zero:0`,其中`0`应该替换成你期望的 GPU id
- 在命令提示符中设置 `ONEAPI_DEVICE_SELECTOR` 来定义你想使用的 Intel GPU例如 `set ONEAPI_DEVICE_SELECTOR=level_zero:0`(使用单块 GPU`set ONEAPI_DEVICE_SELECTOR=level_zero:0;level_zero:1`(使用多块 GPU,其中 `0`、`1` 应该替换成你期望的 GPU id
- 通过运行 `start-ollama.bat` 启动 Ollama serve
- 对于 **Linux** 用户:
- 在终端中输入指令 `cd PATH/TO/EXTRACTED/FOLDER` 进入解压后的文件夹
- 在终端中设置 `ONEAPI_DEVICE_SELECTOR` 来定义你想使用的 Intel GPU例如 `export ONEAPI_DEVICE_SELECTOR=level_zero:0`,其中`0`应该替换成你期望的 GPU id
- 在终端中设置 `ONEAPI_DEVICE_SELECTOR` 来定义你想使用的 Intel GPU例如 `export ONEAPI_DEVICE_SELECTOR=level_zero:0`(使用单块 GPU`export ONEAPI_DEVICE_SELECTOR="level_zero:0;level_zero:1"`(使用多块 GPU,其中 `0`、`1` 应该替换成你期望的 GPU id
- 通过运行 `./start-ollama.sh` 启动 Ollama serve
### 性能调优
你可以尝试如下设置来进行性能调优:
#### 环境变量 `SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS`
环境变量 `SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS` 用于控制是否使用 immediate command lists 将任务提交到 GPU。你可以尝试将 `SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS` 设为 `1``0` 以找到最佳性能配置。
你可以通过如下步骤,在**启动 Ollama serve 之前**启用 `SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS`(如果 Ollama serve 已经在运行,请确保先将其停止):
- 对于 **Windows** 用户:
- 打开命令提示符,并通过 `cd /d PATH\TO\EXTRACTED\FOLDER` 命令进入解压后的文件夹
- 在命令提示符中设置 `set SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1`
- 通过运行 `start-ollama.bat` 启动 Ollama serve
- 对于 **Linux** 用户:
- 在终端中输入指令 `cd PATH/TO/EXTRACTED/FOLDER` 进入解压后的文件夹
- 在终端中设置 `export SYCL_PI_LEVEL_ZERO_USE_IMMEDIATE_COMMANDLISTS=1`
- 通过运行 `./start-ollama.sh` 启动 Ollama serve
> [!TIP]
> 参考[此处文档](https://www.intel.com/content/www/us/en/developer/articles/guide/level-zero-immediate-command-lists.html)以获取更多 Level Zero Immediate Command Lists 相关信息。
### Ollama v0.5.4 之后新增模型支持
当前的 Ollama Portable Zip 基于 Ollama v0.5.4;此外,以下新模型也已在 Ollama Portable Zip 中得到支持: