|
@@ -22,7 +22,7 @@ gradient_accumulation_steps: 4 # 1 梯度累积步数 ,用于在较小的batch
|
|
|
num_generations: 8 # 8 表示每次训练时生成的候选输出数量
|
|
num_generations: 8 # 8 表示每次训练时生成的候选输出数量
|
|
|
max_prompt_length: 256 # 256 模型输入的最大长度
|
|
max_prompt_length: 256 # 256 模型输入的最大长度
|
|
|
max_completion_length: 384 # 200 模型输入（生成）的最大长度
|
|
max_completion_length: 384 # 200 模型输入（生成）的最大长度
|
|
|
-num_train_epochs: 1 # 训练轮数
|
|
|
|
|
|
|
+num_train_epochs: 3 # 训练轮数
|
|
|
max_steps: 12 # 250 训练的最大步数
|
|
max_steps: 12 # 250 训练的最大步数
|
|
|
save_steps: 12 # 250 保存模型的步数（多少步保存一次模型）
|
|
save_steps: 12 # 250 保存模型的步数（多少步保存一次模型）
|
|
|
max_grad_norm: 0.1 # 梯度裁剪的最大阈值，防止梯度爆炸
|
|
max_grad_norm: 0.1 # 梯度裁剪的最大阈值，防止梯度爆炸
|
zhouyang.xie