第四百零六章 温度、K和P (第3/3页)

个了？”马小飞问。

    刘大海惊讶地看了看马小飞：“小飞，你很有天赋啊！咱们机器学习里，专门就有一个工具是来解决这个问题的！”

    他模仿着马小飞刚才的样子，朝着半空中伸出手。

    “所有的模型设置里，都会有一个参数，叫Temperature，也就是中文的温度。”

    然后他对马小飞说了一句：“这块后期加特效哈。”

    马小飞笑了笑。不愧是博士，学得真快。

    “那这个温度怎么解决呢？”马小飞问。

    “简单地说，这是一个可以把概率分布拉平的操作。”刘大海说道，“假设你的数据概率分布就是很极端，前四高的选项分别对应的概率是90、3、3、3，那你可能无论怎么选，选到的都是90的那个。但通过把温度调高，我们可以把总体的概率变成30、22、22、22；调整之后，几个选项之间的排序不变，但分布更均匀了，你选到小选项的概率也变大了。”

    “我们这样做的根本原因，是因为我们知道统计规律高的结果并不一定是最好的；所以我们通过人为操作概率的方式，让结果出现更多的变量。”

    马小飞一脸“我听懂了”的表情，说道：“大海老师，我以前也在各种界面上看到过这个温度的选项，一直不明白是干什么的；你这一说我就明白了。所以，温度越低，模型就越冷静，输出也就越固定；温度越高，模型就越激情，输出也就越随机。我总结得没错吧？”

    刘大海面露犹豫。总结得是没错，可“激情”什么的，这用词对吗？

    “那除了温度之外，模型里还有什么常用的参数呢？”

    “还是两个和温度经常出现的参数：一个是Top K，一个是Top P。”刘大海说道，“咱们先说Top K吧。”

    “你知道，现在的大模型是很大的，几万亿个参数，一个输入对应的输出可能有几万个可能性；如果我们把它们都算一遍，又慢又浪费资源。为了避免浪费，我们就选择只把前K个放到候选池里，其他的就不放了。”

    马小飞点了点头。这个倒是简单明白。

    “那Top P呢？”

    刘大海也许是好久没给人讲课了，也越谈越兴起。

    “这个P在这里是概率的意思，Probability。咱们先说它解决什么问题。你比如说，我输入一句“中国的首都是”，你说答案是什么？”

    “是京城啊。”马小飞秒答。

    “对，这属于事实性答案，是不允许错的。但在模型里，别的选项仍有很小的概率，比如“金陵”，比如“长安”，在语料里也存在；按照我们刚才的说法，这些选项也可能被输出。”

    刘大海说道：“可是我们不想让它被输出，我们只想要最确定的那些答案。所以我们可以设定一个P=0.95；这样，只要我们收集到的选项概率超过了0.95，就不会继续收集了。刚才的答案里，“京城”的原始概率可能高达0.99，答案集里自然不会再出现其他的选项了。”

    这个对马小飞来说就有点儿烧脑了。不过他还是尝试总结了一下。不懂不是坏事，不懂就要问；毕竟他能听懂，观众才能听懂嘛。

    “所以，Top K是看个数，Top P是看总概率；那这两个数选出来的选项数量不一样的时候，听哪个？”马小飞问。

    “哪个小就听哪个。”刘大海回答，“我们做这些事情，都是为了给答案剪枝嘛；不符合任何一个条件，都被剪掉了。”

    听到这儿，马小飞松了一口气。真是一场酣畅淋漓的教学啊。

    他看了看手里准备的问题，继续问道：“大海老师，非常感谢你刚才深入浅出的解答。我这还有最后一个问题。”

    “你问。”刘大海微笑着说。

    “咱们刚才讲到了，一个模型每次输出都不一样，是因为这些参数的设定，让每次推理都有一定的随机性。”马小飞低头看了一下，然后抬起头，“那有没有一种情况，一个模型会突然降智呢？”

    刘大海的笑容一下僵在脸上。

    “马总，你这个问题可不兴问啊。”

『加入书签，方便阅读』