第四百一十四章 算力调度 (第2/3页)

小，调度逻辑就不好写，有时只能硬试。”

    听到这里，韩路一问：“所以你们现在的方向是什么？”

    “我们在考虑，能不能把任务切得再小一些。这样就不用考虑盛不盛得下，用哪张卡都盛得下。”

    韩路一坐在原处看了他一眼。

    “按这个思路，能做的任务复杂程度会受到限制吧？”

    这相当于自废武功：太复杂的任务直接放弃，让L100也只能跑龙腾2000能跑的那类任务。

    江松然说：“确实有这个缺陷，所以我们也还在探索。”

    江松然和韩路一都是系统工程出身，都知道很多时候，一个东西在实验室里实现了，并不意味着现实中也能做出来。

    从实验室到大规模应用，中间隔着的就是工程能力。

    韩路一又想了一会儿，说：“现在的技术挑战都在任务编排上——这个编排规则必须提前写死吗？”

    江松然闻言一惊。

    韩路一接着说：“之前做电力任务时，就是让汤圆做调度中枢的。任务分配的调度，能不能也让汤圆来做？”

    江松然仔细琢磨了一下。

    动态调度确实是他们探索的另一个方向，但直接让汤圆参与可能并不成熟。AI眼下的一个问题就是速度慢、并发量上不去；而随着汤圆模型调用量越来越大，调度判断可能达到每秒几万甚至几十万次。

    “韩总，调度逻辑比较复杂，直接交给模型来做，并发可能上不去。”江松然回答。

    韩路一看着屏幕上的实时数据说：“我不是算力基础设施方面的专家，说错了你可以纠正我。现在的问题是任务复杂程度不好提前判断，对吧？那如果不把调度权交给汤圆，只让它判断任务复杂度呢？”

    对啊！

    江松然之前钻了牛角尖：写死规则的调度层性能好，却不够智能；完全交给汤圆来做，性能又不好。

    但是，如果不是直接让汤圆做调度逻辑呢？

    如果把判断任务难度作为调用链的起点呢？

    江松然思路一开，新想法忽然都涌了出来。

    “韩总，之前我们没考虑过这个方向；但您提了之后，我觉得值得一试。”江松然说，“直接让汤圆做调度确实不太现实，但我们完全可以在第一个任务里，让汤圆对总任务流程的复杂程度做个预测，之后在调用链的每一步都把这个判断带给调用层。”

    韩路一点头：有方向就好。

    “这样一来，任务分级，算力也分级，现有算力的调动效率还能再提高——”江松然说到一半停住。

    “提高多少？”韩路一问。

    江松然苦笑：“这个我手头现在没数据，等测试完再向您汇报。”

    “好，算力的事交给你，有阶段性进展就跟我汇报。”韩路一说。

    说完，他起身走了出去。

    他看了看表，该下班了。

    ……

    海城司衡律师事务所。

    办公区里，已经有律师和实习律师开始收拾东西准备回家。

    最近两个月，大家的日子过得都不错。

    因为主任加班少了，大家也不用守在办公室加班。

    当然，活儿并没变少，只是能把电脑带回家干。

    毕竟客户等着，上庭时间也都是定好的。

    但别小看这个福利——这也叫弹性时间、远程办公。

    至于顾主任为什么最近突然不加班了？所里传言，她恋爱了。

    传言说得有鼻子有眼，也不知从哪儿传出来的，所里有人信，有人不信。

    不信的人理由都差不多——顾主任虽然腿长人美，可每天那么严肃，当她男朋友不得被吓死。

    也有人反驳：“主任平时严肃，那是工作时的样子；人家回家跟男朋友在一起，肯定不是这样啊。”

    说这话的是实习律师小王。她这么笃定，是因为探过师傅的口风。

    沈律被小王问起时那副诡异表情，分明说明顾主任的感情生活有情况。

    她现在只希望顾主任那位神秘男友能把顾主任调教——

    （本章未完，请点击下一页继续阅读）

『加入书签，方便阅读』