Top-k、Top-p 与温度:采样不是三个旋钮
从概率分布的重塑过程理解温度、候选截断和生成稳定性。
温度改变分布的尖锐程度,Top-k 和 Top-p 决定候选集合。三者的顺序和组合影响输出,而不只是“更随机”。
温度
低温度放大高概率 token 的优势,高温度让尾部获得更多机会。
候选截断
Top-k 固定候选数量;Top-p 根据累计概率动态决定候选集合。
评估
采样配置应针对任务做离线评估,而不是只凭单次输出的主观印象。
从概率分布的重塑过程理解温度、候选截断和生成稳定性。
温度改变分布的尖锐程度,Top-k 和 Top-p 决定候选集合。三者的顺序和组合影响输出,而不只是“更随机”。
低温度放大高概率 token 的优势,高温度让尾部获得更多机会。
Top-k 固定候选数量;Top-p 根据累计概率动态决定候选集合。
采样配置应针对任务做离线评估,而不是只凭单次输出的主观印象。