第四百四十章 系统一和系统二 (第2/3页)

。

    “速度太慢。”江松然说道。当初韩路一提出用汤圆模型做路由时，他就想到了这个问题：每秒钟数万的并发请求，如果每个请求都要提前过一遍汤圆，相当于把请求数直接翻倍。还是韩路一提出了折中方案——对于多步骤请求，只对第一步估算任务难度。

    可即便这样，一次估算也要消耗数百毫秒。可别觉得几百毫秒很短：在高并发场景下，这点延迟就可能引发雪崩效应——延迟导致请求超时，超时又引发重试，无效请求增多，甚至让整个服务不可用。

    “赵总，汤圆本身是大参数模型，即便采用稀疏架构，一次几百毫秒的用时也不是调度层承受得起的。慢是第一个问题；还有因慢导致的第二个问题：汤圆做任务预测精度虽高，但延迟太长，我们只敢在任务链开始时加上，之后只能依赖第一次的预测结果。可有些用户请求会在交互过程中突然增加复杂度，若还沿用第一次的测算结果，就会不准。”江松然说道。

    韩路一在旁边也听懂了：江松然虽说了两个问题，本质却还是速度慢——因为慢，不敢每次调度都调用一次，精度便随之漂移。

    “文渊，这就是我专门把你叫过来的原因。”韩路一开口道，“上次我们聊过，给汤圆做一个轻量版，你觉得能不能解决这个问题？”

    专业旗舰版验证过性能后，再推出参数更小、能力稍弱但成本低很多的轻量版，本来就是业内通行做法。

    这类轻量版一般通过蒸馏原始旗舰模型后训练出来。所谓蒸馏，是把一些高难度问题输入旗舰模型，让它给出答案，再用这些问题和答案作为训练集，给轻量模型做后训练。这样能以较低成本让轻量模型拥有旗舰模型70%到80%的能力，算是比较有性价比的做法。

    当然，也不一定非蒸馏自家旗舰模型，用同样方

    （本章未完，请点击下一页继续阅读）

『加入书签，方便阅读』