首页 > 都市言情> 首富从AI浪潮开始

首富从AI浪潮开始 第65节

  韩路一看着她。

  “如果我离开博衡,”顾司玥的语气跟刚才差不多,“源码会怎么做?”

  “顾律师,我认可的是你的能力。我跟博衡可没什么交情。”他说得很快。

  顾司玥看了看表:“今天的咨询时间到了。”

  韩路一笑了笑,正要说话,他的手机震了,是服务监控在报警。

  “不好意思,我得回去一趟。”韩路一起身,椅子在地板上发出一声短促的刮擦,离开了咖啡馆。

  顾司玥没说话。

  韩路一刚打上车就接到了赵磊的电话。

  “先提紧急工单让青岳放开GPU配额,我们要扩容。”

  “好。”赵磊说,“我现在就提。”

  “别等审批,能拉多少先拉多少,配额不够他们会拒绝,到时候再说。”

  挂断电话,他赶紧给梁宇打了个电话,让他帮忙催一下优先级。

  他推开办公室的门时,气氛跟他走之前完全不一样。赵磊坐在工位上,三个终端窗口全开着,右边的监控面板一片红,姜亦心站在他身后,不知道该干什么。苏念念、李婷和陆明洲在会议室,手在电脑上疯狂打字,用户反馈群一直在弹消息。

  他径直走到座位上,打开电脑。

  开启视界。

  【开物·系统状态】

  【推理实例:6/6过载|GPU利用率:100%】

  【推理队列:2847请求等待|平均推理时间:>120s(正常值:8-12s)】

  【请求超时率:42.3%|状态:服务降级】

  【原因:为同时在线两千人设计,现在在线五千+】

  每个用户都在提交生成请求,算力根本扛不住,请求堆进来出不去,用户刷新又制造新请求,越堆越崩。

  “赵磊,姜亦心。”

  两个人立刻围了过来。

  “赵磊,你先把队列监控拉出来,一会儿队列分离你来做。“他看了一眼姜亦心,“小姜,你搬把椅子过来,学习的机会,一会帮我跑脚本。“

  韩路一低头开始敲命令。

  “要不要把陈建业叫回来?”赵磊问了一句。

  “他孩子生病了,别叫了。”韩路一说,眼睛没离开屏幕。

  第一步,扩推理实例。

  梁宇那边动作快,青岳已经把配额放开了,韩路一在配置文件里把实例数从六个直接拉到二十个,改完推给姜亦心。

  “跑这个部署。”

  姜亦心接过来,手指都在发抖,但敲得很快,部署脚本跑起来了,终端开始刷日志。

  新实例一个一个上线,监控面板上队列在分流,超时率开始往下掉,三十五……三十……

  两分钟后,超时率降到百分之十五。还是高,但至少不是瀑布式崩溃了。

  第二步,加速率限制。

  韩路一现写了一个中间件:单用户请求频率超过阈值,不再让请求排进队列等到超时,直接返回一个“排队中,请稍后重试”的提示页。

  “这个也部署上去。”

  姜亦心接过去跑。

  效果立竿见影——用户端从“一直转圈”变成“排队中”,带预计排队时间。刷新不再制造新请求,死亡螺旋的输入被切断了。

  第三步,分离队列。

  现在AI推理和网页页面共用一个请求队列,推理慢了会把页面加载也拖死;要把推理请求分到独立队列,网页服务走另一条通道。

  韩路一说了方向,赵磊自己写了配置,改了路由规则,手速比韩路一预期的还快。

  “可以了,”赵磊说,“推理队列隔离完了,网页服务不受影响。”

  姜亦心部署完最后一版,盯着监控曲线,数字一格一格往下掉。

  “超时率……百分之二……百分之一……”

  七点二十,在线人数开始自然回落了,开物的用户画像偏白天使用场景,晚上本来就不是高峰期。

  七点四十五,超时率归零,推理时间回到正常的十几秒。

  监控面板上一片绿。

  “解决了,都下班吧。”韩路一没站起来。

  赵磊关掉终端,拿起外套。

  “走了。”

  “辛苦。”韩路一说。

  姜亦心还在工位上,监控曲线还开着,但她低头在发微信。

  【小姜(救火版)】:你不会信的,我今天经历了人生第一次生产事故!!!比过山车还刺激

  【大刘】:这么野的吗?

  【大刘】:你还吃晚饭吗我快饿死了啊!

  苏念念走到韩路一工位旁边。

  “用户群里已经安抚了,明天早上我再发一条公告,措辞你要不要看一下?”

  “你定就行。”

  “流失情况我明天跑一下数据给你。”

  “好。”

  苏念念拍了拍他的椅背,走了。

  韩路一关了屏幕,拿起手机。

  第二天早上八点四十。

  陈建业一进办公室,就看见姜亦心端着杯子走过来,脸上带着那种经历了大事后还在回味的兴奋劲儿。

  “老陈!你昨天没在太可惜了——”

第六十五章 系统的问题

  东方路儿童医学中心的输液室上午九点已经坐满了。

  陈建业坐在输液椅旁边的塑料凳上,女儿的手臂扎着留置针,小脸烫得通红,三十九度二。她闭着眼睛,嘴唇干得起皮,一只手攥着他的手指。

  走廊里有一个小孩在哭,空调不够冷,空气里满是消毒水和汗混在一起的怪味。

  输液瓶的液面一滴一滴往下走。

  护士过来换了一次输液袋,女儿醒了一下,喊了声爸爸,又迷迷糊糊睡过去了,他摸了摸她的额头,还是烫的。

  中午回到家,女儿吃了药又睡了。

  老婆在厨房热粥,探头问了一句:“下午还去公司吗?”

  “都请假了,在家歇一天吧。”

  老婆没说什么,把粥端出来,他随便吃了几口,坐到客厅沙发上。

  下午女儿还在烧,蔫蔫地靠在沙发上看动画片,看一会儿就闹,要喝水,水凉了不喝,要抱,抱起来又要下来。又给她量了两次体温,三十八度五,比上午好一点了,但还没退干净。

  趁她安静盯着屏幕的间隙,他掏出手机打开招聘App,上周主动联系的几个猎头都没回消息,投出去的几份简历,一份已读未回,其他的连已读都没有。三十五岁的后端架构,市场什么行情他比谁都清楚。

  “爸爸我要尿尿。”

  陈建业赶紧把手机锁屏,把女儿抱去了卫生间。

  晚上八点半,女儿睡着了,烧终于退了。她的小脸上还挂着干掉的鼻涕眼泪,头发上都是汗,被子被她蹬到一边,陈建业给她掖好,把门带上。

  客厅沙发上坐下来,打开手机,静音刷了会短视频,弹出来一条微信,老周发的。

  老周以前是鼎盛测试组的,和陈建业合作的多,是他在鼎盛为数不多的朋友。但是前两年老周转了管理,两人联系就少了,他离职的时候还是喝了顿酒。

  “老陈,最近怎么样啊?上岸了吗?”

  陈建业点进对话框,打“挺好的。”

  犹豫了一下,又删掉。

  打“还行”。

  老周秒回:“那就好,改天约饭。”

  老婆从卧室出来倒水,经过沙发的时候停了一下。

  “学区房的事你想的怎么样了?”她声音压得很低,怕吵醒孩子。“我妈说隔壁那套又涨了,明年九月就来不及了。”

首节 上一节 65/298下一节 尾节 目录txt下载

上一篇:这个导演不讲规矩

下一篇:返回列表

推荐阅读