9df70d95eb
* Rename bigdl/llm to ipex_llm * rm python/llm/src/bigdl * from bigdl.llm to from ipex_llm
85 lines
6.7 KiB
Python
85 lines
6.7 KiB
Python
#
|
|
# Copyright 2016 The BigDL Authors.
|
|
#
|
|
# Licensed under the Apache License, Version 2.0 (the "License");
|
|
# you may not use this file except in compliance with the License.
|
|
# You may obtain a copy of the License at
|
|
#
|
|
# http://www.apache.org/licenses/LICENSE-2.0
|
|
#
|
|
# Unless required by applicable law or agreed to in writing, software
|
|
# distributed under the License is distributed on an "AS IS" BASIS,
|
|
# WITHOUT WARRANTIES OR CONDITIONS OF ANY KIND, either express or implied.
|
|
# See the License for the specific language governing permissions and
|
|
# limitations under the License.
|
|
#
|
|
|
|
import torch
|
|
from ipex_llm.transformers import AutoModelForCausalLM
|
|
from transformers import AutoTokenizer
|
|
import argparse
|
|
import time
|
|
import numpy as np
|
|
|
|
|
|
torch.nn.Linear.reset_parameters = lambda x: None
|
|
seed=42
|
|
torch.manual_seed(seed)
|
|
np.random.seed(seed)
|
|
|
|
long_input = """折纸的过程看似简单，其实想要做好，还是需要一套很复杂的工艺。以折一支玫瑰花为例，我们可以将整个折纸过程分成三个阶段，即：创建栅格折痕，制作立体基座，完成花瓣修饰。首先是创建栅格折痕：这一步有点像我们折千纸鹤的第一步，即通过对称州依次对折，然后按照长和宽两个维度，依次进行多等分的均匀折叠；最终在两个方向上的折痕会交织成一套完整均匀的小方格拼接图案；这些小方格就组成了类似二维坐标系的参考系统，使得我们在该平面上，通过组合临近折痕的方式从二维小方格上折叠出三维的高台或凹陷，以便于接下来的几座制作过程。需要注意的是，在建立栅格折痕的过程中，可能会出现折叠不对成的情况，这种错误所带来的后果可能是很严重的，就像是蝴蝶效应，一开始只是毫厘之差，最后可能就是天壤之别。然后是制作立体基座：在这一步，我们需要基于栅格折痕折出对称的三维高台或凹陷。从对称性分析不难发现，玫瑰花会有四个周对称的三维高台和配套凹陷。所以，我们可以先折出四分之一的凹陷和高台图案，然后以这四分之一的部分作为摸板，再依次折出其余三个部分的重复图案。值得注意的是，高台的布局不仅要考虑长和宽这两个唯独上的规整衬度和对称分布，还需要同时保证高这个维度上的整齐。与第一阶段的注意事项类似，请处理好三个维度上的所有折角，确保它们符合计划中所要求的那种布局，以免出现三维折叠过程中的蝴蝶效应；为此，我们常常会在折叠第一个四分之一图案的过程中，与成品玫瑰花进行反复比较，以便在第一时间排除掉所有可能的错误。最后一个阶段是完成花瓣修饰。在这个阶段，我们往往强调一个重要名词，叫用心折叠。这里的用心已经不是字面上的认真这个意思，而是指通过我们对于大自然中玫瑰花外型的理解，借助自然的曲线去不断修正花瓣的形状，以期逼近现实中的玫瑰花瓣外形。请注意，在这个阶段的最后一步，我们需要通过拉扯已经弯折的四个花瓣，来调整玫瑰花中心的绽放程度。这个过程可能会伴随玫瑰花整体结构的崩塌，所以，一定要控制好调整的力道，以免出现不可逆的后果。最终，经过三个阶段的折叠，我们会得到一支栩栩如生的玫瑰花冠。如果条件允许，我们可以在一根拉直的铁丝上缠绕绿色纸条，并将玫瑰花冠插在铁丝的一段。这样，我们就得到了一支手工玫瑰花。总之，通过创建栅格折痕，制作立体基座，以及完成花瓣修饰，我们从二维的纸面上创作出了一支三维的花朵。这个过程虽然看似简单，但它确实我们人类借助想象力和常见素材而创作出的艺术品。问: 请基于以上描述，分析哪些步骤做错了很大可能会导致最终折叠失败？答: """
|
|
|
|
|
|
if __name__ == '__main__':
|
|
parser = argparse.ArgumentParser(description='Predict Tokens using `generate()` API for Baichuan2 model')
|
|
parser.add_argument('--repo-id-or-model-path', type=str, default="baichuan-inc/Baichuan2-7B-Chat",
|
|
help='The huggingface repo id for the Baichuan2 (e.g. `baichuan-inc/Baichuan2-7B-Chat` and `baichuan-inc/Baichuan2-13B-Chat`) to be downloaded'
|
|
', or the path to the huggingface checkpoint folder')
|
|
parser.add_argument('--prompt', type=str, default=long_input,
|
|
help='Prompt to infer')
|
|
parser.add_argument('--n-predict', type=int, default=128,
|
|
help='Max tokens to predict')
|
|
parser.add_argument('--th_stop_draft', type=float, default=0.6,
|
|
help='draft stop probility')
|
|
|
|
args = parser.parse_args()
|
|
model_path = args.repo_id_or_model_path
|
|
# Load model in optimized fp16 here.
|
|
# Set `speculative=True`` to enable speculative decoding,
|
|
# it only works when load_in_low_bit="fp16" on Intel GPU or load_in_low_bit="bf16" on latest Intel Xeon CPU
|
|
model = AutoModelForCausalLM.from_pretrained(model_path,
|
|
optimize_model=True,
|
|
torch_dtype=torch.float16,
|
|
load_in_low_bit="fp16",
|
|
speculative=True,
|
|
trust_remote_code=True,
|
|
use_cache=True)
|
|
model = model.to('xpu')
|
|
|
|
tokenizer = AutoTokenizer.from_pretrained(model_path, trust_remote_code=True)
|
|
|
|
with torch.inference_mode():
|
|
prompt = args.prompt
|
|
input_ids = tokenizer(prompt, return_tensors='pt').input_ids.to(model.device)
|
|
|
|
# warmup
|
|
output = model.generate(input_ids,
|
|
max_new_tokens=args.n_predict,
|
|
th_stop_draft=args.th_stop_draft,
|
|
do_sample=False)
|
|
output_str = tokenizer.decode(output[0])
|
|
|
|
# speculative decoding
|
|
st = time.perf_counter()
|
|
output = model.generate(input_ids,
|
|
max_new_tokens=args.n_predict,
|
|
th_stop_draft=args.th_stop_draft,
|
|
do_sample=False)
|
|
output_str = tokenizer.decode(output[0], skip_special_tokens=True)
|
|
torch.xpu.synchronize()
|
|
end = time.perf_counter()
|
|
|
|
print(output_str)
|
|
print(f"Tokens generated {model.n_token_generated}")
|
|
print(f"E2E Generation time {(end - st):.4f}s")
|
|
print(f"First token latency {model.first_token_time:.4f}s")
|