|
@@ -2,7 +2,7 @@
|
|
|
|
|
|
# 模型配置
|
|
|
model_name: "../models/pretrained/DeepSeek-R1-Distill-Qwen-1.5B"
|
|
|
-max_seq_length: 6144 # 2048 单次会话的最大 token 长度
|
|
|
+max_seq_length: 8192 # 2048 单次会话的最大 token 长度
|
|
|
dtype: "float16" # 数据类型,可选 "float16" 或 "bfloat16"
|
|
|
load_in_4bit: True # 是否以4位精度加载模型
|
|
|
fast_inference: False # Enable vLLM fast inference
|