LLAMA 配置AI大模型参数 --temp、--top-p、--top-k

温度非常重要–temp/–temperature0 ~ 1.0确定性 ~ 创造性参数作用典型取值范围–temp(temperature)对概率分布进行“缩放”。temp1 → 高概率 token 更突出更确定temp1 → 概率更平缓更随机。0.0 ~ 2.0–top-p(nucleus sampling)从概率累积和达到 p 的最小 token 集合中采样如 p0.9 → 只考虑概率最高的、累计占 90% 的 token。0.8 ~ 1.0–top-k只保留概率最高的k个 token其余丢弃。1 ~ 100重要交互top_k1时强制选择概率最高的 token此时temp和top_p都无效。通常top_k用于初步裁剪如 40~60再配合top_p或temp进行采样。temp0也等价于贪心总是选最高概率 token但某些实现不允许 0可用--temp 0.0或极小的值。需求temptop-ptop-k备注每次答案一模一样0.01.00*或--top-k 1安全、稳定、少跑偏0.30.8530适合敏感内容日常对话平衡0.70.940多数情况的最佳起点创意写作1.00.9560加--repeat-penalty 1.1完全无限制极随机1.51.00*可能输出无意义内容*top-k0或未设置表示不进行 top-k 剪裁top-p1.0表示不进行核采样。