首页 > 穿越架空 > 都重生了谁给资本打工啊

都重生了谁给资本打工啊 第584节

第420章 审梁文峰

  [灵灵]AI实验室的开放式办公区,一个靠窗边的白板前。

  刚刚入职第一天的梁文峰,并未向其他新入职员工一样,办理各种手续,申请各种权限,了解各种规章制度,又或者跟团队老员工攀谈。

  此时的他,已经直接找到了[灵灵]AI的主负责人申士坤博士,跟他一起讨论起来技术问题。

  “申博士,我刚才在看技术文档时,看到了你们的数据流图,从语料清洗到模型训练,中间竟然隔了三层?”梁文峰问道。

  “没错,确实是隔了三层。”申士坤颔首道。

  梁文峰紧跟着追问起来:

  “为什么要隔三层?这是工程上的必要,还是历史遗留问题?”

  申士坤眉头一挑,随即笑道:

  “文峰,你为什么会这么问?”

  “申博士,我之前在出租屋搭建过几台服务器跑量化模型,数据管线越短,延迟就越低,一旦出问题,也很容易定位。”

  梁文峰顿了顿,继续道:

  “你们这三层,我看第一层是原始语料清洗,第二层是标注和结构化,第三层应该是特征化,每一层之间都有一次全量落盘,这对硬盘I/O的消耗得有多大?”

  申士坤眼睛一亮,认真解释道:

  “你说到点子上了,这三层是历史原因。[灵灵]最早是从灵犀的对话数据起家的,那时候数据量小,分层是为了方便人工介入。但数据流从千万级涨到五十亿级之后,每一层之间的落盘就成了瓶颈。我们现在正在做的一件事情,就是把三层合并成一层流式处理。”

  听到这话,梁文峰不禁好奇了起来,忙问道:

  “流式处理?你们用的是什么框架?”

  申士坤呵呵笑道:“这是我们自研的,市面上可没有能支撑这个数据量的流式框架。”

  梁文峰闻言,直接拿起一支马克笔,在白板上快速画了几条线,又道:

  “那你们是怎么处理背压的?流式处理最大的问题是上游生产速度超过下游的消费速度,内存会被打爆的吧?”

  见两人讨论起了比较深度的技术问题,旁边的另外两个同事,也加入了进来讨论。

  申士坤此时也拿起一支马克笔,在白板上画了一个缓冲队列的结构:

  “我们做了一个分级缓冲池,热数据进内存队列,温数据进SSD缓冲层,冷数据回落。消费端如果跟不上,生产端就会自动降速。”

  梁文峰盯着白板看了好几秒,仔细思考起来。

  十多秒后,他疑惑地再次开口:

  “申博士,那降速的阈值是怎么定的?”

  梁文峰作为一名新员工,才刚刚入职了半天多,就拉着老员工一口气询问这么多问题,显得很是另类。

  尤其是,人家申士坤还不是他入职后的导师,而是大组长。

  申士坤今天其实还很忙,晚上还要跟已经飞往加拿大的邢傲杰开会商讨不少东西。

  但面对这个明显不按套路出牌的新员工梁文峰,他非但没有任何反感,反而很是热心且耐心地跟梁文峰解惑。

  申士坤微微一笑:

  “是按照GPU的利用率来定的,GPU利用率低于70%,则说明下游消费端吃不饱,生产端就加速。反之,高于90%,就说明消费端快满了,生产端就降速。”

  梁文峰十分缓慢地点点头,但似乎对申士坤的答案,还有不少的保留。

  他略作沉吟,继续问道:

  “申博士,按GPU利用率做背压控制,这个在逻辑上是对的。但是,你们有没有考虑过GPU利用率假高的问题呢?比如,在某些算子等待内存拷贝的时候,GPU利用率也会显示很高,但实际上,计算单元其实是空闲的这种情况。”

  听到梁文峰的这个问题,申士坤沉默了三秒。

  倒不是他不知道答案,而是惊诧于梁文峰的实力。

  虽然只是简单的几个回合沟通,但申士坤便发现了这个梁文峰的技术实力不简单,至少是在这个领域沉浸多年了。

  他不清楚当时在面试时,邢傲杰和贾振彪跟梁文峰提到了多少有关[灵灵]的知识,但无论怎么说,这个梁文峰都让他挺刮目相看的。

  申士坤略作迟疑,便开口道:

  “文峰,你说得没错,我们老早之前确实踩过这个假高的坑,后来我们加了一个计算密度的指标,用单位时间内执行的浮点运算次数,来除以理论峰值,计算密度低于某个阈值,就算GPU利用率高,也算假高,背压逻辑就会忽略这个高……”

  两人聊了一会儿,梁文峰便将询问的方向,从数据转向了模型。

  最一开始,是梁文峰询问,申士坤解惑,双方的意见都还比较一致。

  直到聊到[灵灵]的情感计算模型架构,双方开始有了分歧。

  申士坤解释,情感计算模型是分了两层。

  在底层,是一个基于循环神经网络的序列编码器,负责把对话的每一局都编码成为一个向量。上层则是一个情感分类器,用来判断对话的情感走向。

  但是梁文峰却有了不同意见,他皱起眉头道:

  “申博士,RNN的串行计算特性,在GPU上并行效率并不高,你们有没有试过卷积网络替代RNN?”

  申士坤闻言,眉头一挑。

  梁文峰说着,再次拿起马克笔,在白板上画了一个卷积核的示意图。

  “我做过机器视觉,CNN在GPU上的并行效率远高于RNN。文本序列虽然会有时序以来,但是卷积核的局部感受野,其实也能捕捉到乡邻词语之间的关系。”

  申士坤皱起眉头:“你说的是TextCNN思路?我们内部有讨论过,但担心卷积的感受野受限,长距离依赖捕捉不到。”

  此时,白板前,已经围了过来七八个人,有两个新员工,其他的都是老员工,其中还有从耿直办公室出来的杜玉娇。

  杜玉娇已经在旁边站了差不多十分钟了,见梁文峰跟申士坤一直在聊技术问题,她就决定在旁边旁听。

  “申博士,长距离依赖可以用多层卷积堆叠来扩大感受野,更关键的是,卷积的并行效率,或许比RNN能高一个数量级,能大大加快模型的训练时间。”

  申士坤闻言,开始在心中快速思考起来。

  长久以来,他带领的团队把[效果]和[效率]对立起来了。

  但梁文峰给他提供了一个新思路:如果卷积版能快三倍,那么就有三倍的时间去跑更多的数据、做更多的迭代。

  而效果不是一次训练出来的,而是迭代出来的。

  跑得越快,迭代次数越多,最终的模型可能比RNN版更好。

  他们过去太执着于单次训练的效果了,却没有重视单位时间内的迭代收益。

  “对单位时间内的收益如此看中,不愧是做量化交易的人啊!”申士坤心中不由得感慨了一句。

  梁文峰询问完模型的问题后,他便想将话题转移到他十分关心的算力问题上。

  他自己在做量化交易时,只用了几块GPU。

  梁文峰特别特别想知道,训练[灵灵]AI这种参数过亿的模型,训练集群和推理集群大概需要多少块GPU。

  事实上,当初在来明矾科技面试时,他就曾经问过他的两轮面试官邢傲杰和贾振彪,但得到的结果都是要等他正式入职后,才可能知道。

  他现在入职了,终于有机会得到答案了。

  “申博士,我很想知道,咱们现在的GPU训练集群,规模有多大啊?”

  可当他刚开口问出,却听到身侧后方的一个女士打断道:

  “文峰,耿总刚才说,如果你有空,可以去他办公室一下,他要亲自跟你聊一下。”

  杜玉娇不再给他继续提问的机会了,因为她担心再晚一些,老板耿直就没空了。

  她的话音刚落,梁文峰便不禁皱起眉头。

  我跟耿老板没有交谈过,怎么老板会突然叫我过去??

  是要干啥?

  同样皱起眉头的,还有申士坤等在场的几人。

  这梁文峰不是才第一天入职吗?

  老板之前不是没面试过他吗?

  怎么会邀请他去办公室面谈?

  梁文峰看向申士坤,想要得到答案,却听申士坤笑着说道:

  “文峰,既然老板找你,那你就先过去吧。”

  梁文峰点了点头,便跟在杜玉娇身后,朝耿直办公室走去。

  他边走,边将自己的眼镜摘下来,哈了哈气,随后用自己的衣袖擦了擦,才重新戴上。

  当初来明矾科技面试,梁文峰并未紧张,刚才跟申士坤交流时,也很自信。

  但跟邢傲杰、贾振彪、申士坤聊,和跟明矾科技的掌舵人耿直聊,是明显不一样的。

  虽然梁文峰曾在视频演讲中见过耿直很多很多很多遍,也在微软技术大会的现场见过真人。

  但不知怎的,此刻真正要面对面见面了,梁文峰还是有一丝丝紧张,同时又夹杂着不小的激动。

  咚咚!

  杜玉娇轻轻敲门后,便直接推门走了进来。

  “老板,梁文峰来了。”

首节上一节584/609下一节尾节目录txt下载

上一篇:港片:大佬,我真不想出卖你!

下一篇:重生1997,从煤老板开始崛起

推荐阅读