第四百六十四章 下一波算力 (第2/3页)

S这个量级，江松然才有此一问。

    这是把豆汁儿接入每一个调度请求所需要的资源。

    小牛拉出一张图表：“江总，我们做过压测，自己使用的八卡L100大概能做到两万四千QPS。”

    这个数字让海城会议室的人一惊。

    那岂不是说，就算加上资源冗余，要服务整个起源所有推理请求的调度，也只需四十张L100左右的算力？

    这个豆汁儿模型也太小太省算力了吧。

    江松然对身边的基础设施总监陶封说：“老陶，刚才赵总那边说，豆汁儿模型的判断准确率能到98%。按这个数据估算，如果现在把每一步算力调度都跑一遍豆汁儿模型，照我们之前的估算，大概能提高多少效率？”

    陶封在面前的笔记本电脑上迅速操作了几下，回答：“我们之前测算过，总体算力约有百分之三十因资源错配被浪费；若真能达到这个准确率，应该至少能救回百分之二十。”

    两个数据中心目前一共部署了三万张左右计算卡，若能从里面优化出百分之二十的性能，就等于凭空多出六千张卡。

    四十张卡，能换出六千张卡的算力来，这就是豆汁儿模型的价值。

    韩路一在旁边暗自思量：离赵文渊之前要求的万卡训练集群还有点儿差距，还得再想办法。

    眼下新买的卡一直在持续部署，国产算力联盟的适配工作也在更多厂家推进，也许再过两个月，这几千张卡的缺口就能补上。

    只不过不知道到时候起源对算力的需求又会增长成什么样子。

    韩路一心里盘算着，陶封和他带来的高级专家已和小牛讨论起联调的具体细节。

    “我们肯定要灰度上线。以现在的体量，首批先接入百分之一的服务器，效果稳定后再慢慢往上加。”陶封说。

    “可以。”江松然点头。

    产品发布一般没这么麻烦，可基础设施是全公司所有产品的基石，一旦出问题，所有产品都会受影响，所以格外谨慎。

    “那就只剩时间了。先不谈上线，只做改动，大概要多久？”江松然转头问另一位参会的下属——基础设施部门高级专家谭应许。

    谭应许沉吟片刻，说：“这个接口很简单，把调用汤圆的地方换成调用豆汁儿，返回结果的解析逻辑大概改一下。如果着急，我今天就能做完。”

    韩路一在旁边听笑了。

    他仿佛看见当年自己在鼎盛做排期预算时的样子。

    “别一天，一周吧。”韩路一开口，“光改完还不够，记得把测试跑通。这个改动影响太大，没必要这么着急。”

    按韩路一总结的经验，做计划时的估算肯定不准；把第一时间估出的时间先翻倍，再加三天，差不多就是最终实现所需的时间。

    做基础设施最重要的就是立规矩，规矩立住了，以后的路走得才稳。

    奇怪，怎么有奇怪的声音传进来了？

    谭应许听得一愣。他在不少大厂工作过，加班加点“今天晚上赶出来”的命令见过不少；主动给加时间的，还是第一次见。

    不过这对团队来说是好事，谭应许当然不会反驳。

    “好的，韩总。”

    江松然看了看，总结：“联调方案刚才已经定下来，排期也定了，那我们就争取下个星期这个时候灰度百分之一。哪个部门有新信息，大家及时同步。”

    眼看视频会议要挂断，赵文渊突然想起什么：“对了，韩总，今天上午梦脑科技那边也有新进展，我什么时候和您汇报？”

    他心里想显摆的，是刚抱回办公室的那箱宝贝。

    韩路一回答：“我和老江还要再碰点别的事，一会儿找你。”

    ……

    韩路一和江松然分别坐在董事长办公室茶几两边的沙发上，韩路

    （本章未完，请点击下一页继续阅读）

『加入书签，方便阅读』