parent
573c20bae6
commit
4811a490ef
1 changed files with 2 additions and 2 deletions
|
|
@ -39,8 +39,8 @@ if __name__ == '__main__':
|
||||||
parser.add_argument("--max-output-len", type=int, default=1024)
|
parser.add_argument("--max-output-len", type=int, default=1024)
|
||||||
parser.add_argument("--max-prompt-len", type=int, default=960)
|
parser.add_argument("--max-prompt-len", type=int, default=960)
|
||||||
parser.add_argument("--disable-transpose-value-cache", action="store_true", default=False)
|
parser.add_argument("--disable-transpose-value-cache", action="store_true", default=False)
|
||||||
parser.add_argument("--intra-pp", type=int, default=2)
|
parser.add_argument("--intra-pp", type=int, default=None)
|
||||||
parser.add_argument("--inter-pp", type=int, default=2)
|
parser.add_argument("--inter-pp", type=int, default=None)
|
||||||
|
|
||||||
args = parser.parse_args()
|
args = parser.parse_args()
|
||||||
model_path = args.repo_id_or_model_path
|
model_path = args.repo_id_or_model_path
|
||||||
|
|
|
||||||
Loading…
Reference in a new issue