第四百四十章 系统一和系统二 (第1/3页)

    前后不过两分钟，大会议室便清空了，只留下韩路一和江松然两人。

    视频里，赵文渊开口问道：“韩总，是因为算力的事儿？我刚才听老江的意思，进度好像不太够吧？”

    江松然点了点头，确实不够。

    眼下是巧妇难为无米之炊：调度架构做得再好，计算卡总量就这么多，也很难再腾挪出更多算力。

    韩路一说道：“留下二位，就是想聊这件事。老江，上次咱们做的调度优化，你先给文渊讲一讲。”

    韩路一指的是汤圆1.0模型API正式发售前，基础设施部门在任务调度上做的一些新优化架构。

    那段时间的难题是：每个推理任务进来，服务器端都判断不了任务复杂程度，也就没法分配合适资源。大任务分给小资源池，任务完不成，就要重试；反过来，小任务分到大资源池，实际用不上那么多算力，又会造成浪费。

    在韩路一建议下，江松然引入汤圆自身来做调度判断。这类判断任务都是小任务，初次判断后就能规避很多失败场景。于是，在相同算力下，起源推理集群能支持的并发量直接增加了三分之一。

    但这只是江松然他们在应用端对汤圆的一种用法。现在韩路一把赵文渊叫来，是想看看模型层面还能不能再做些优化，把性能再提一提。

    没办法。如果起源也能像谷歌、OpenAI那样算力富裕，甚至能有鼎盛那么多算力，这些软件层面的优化并不急迫，甚至不做也行。

    可眼下硬件算力捉襟见肘，就只能从软件层面想办法。

    江松然点了点头，把困扰基础设施部门许久的问题说了出来：“用汤圆做初次调度判断，确实极大地提高了资源分配效率，但我们也逐渐发现了两个问题。”

    “什么问题？”赵文渊问

    （本章未完，请点击下一页继续阅读）

『加入书签，方便阅读』