都重生了谁给资本打工啊 第584节
第420章 审梁文峰
[灵灵]AI实验室的开放式办公区,一个靠窗边的白板前。
刚刚入职第一天的梁文峰,并未向其他新入职员工一样,办理各种手续,申请各种权限,了解各种规章制度,又或者跟团队老员工攀谈。
此时的他,已经直接找到了[灵灵]AI的主负责人申士坤博士,跟他一起讨论起来技术问题。
“申博士,我刚才在看技术文档时,看到了你们的数据流图,从语料清洗到模型训练,中间竟然隔了三层?”梁文峰问道。
“没错,确实是隔了三层。”申士坤颔首道。
梁文峰紧跟着追问起来:
“为什么要隔三层?这是工程上的必要,还是历史遗留问题?”
申士坤眉头一挑,随即笑道:
“文峰,你为什么会这么问?”
“申博士,我之前在出租屋搭建过几台服务器跑量化模型,数据管线越短,延迟就越低,一旦出问题,也很容易定位。”
梁文峰顿了顿,继续道:
“你们这三层,我看第一层是原始语料清洗,第二层是标注和结构化,第三层应该是特征化,每一层之间都有一次全量落盘,这对硬盘I/O的消耗得有多大?”
申士坤眼睛一亮,认真解释道:
“你说到点子上了,这三层是历史原因。[灵灵]最早是从灵犀的对话数据起家的,那时候数据量小,分层是为了方便人工介入。但数据流从千万级涨到五十亿级之后,每一层之间的落盘就成了瓶颈。我们现在正在做的一件事情,就是把三层合并成一层流式处理。”
听到这话,梁文峰不禁好奇了起来,忙问道:
“流式处理?你们用的是什么框架?”
申士坤呵呵笑道:“这是我们自研的,市面上可没有能支撑这个数据量的流式框架。”
梁文峰闻言,直接拿起一支马克笔,在白板上快速画了几条线,又道:
“那你们是怎么处理背压的?流式处理最大的问题是上游生产速度超过下游的消费速度,内存会被打爆的吧?”
见两人讨论起了比较深度的技术问题,旁边的另外两个同事,也加入了进来讨论。
申士坤此时也拿起一支马克笔,在白板上画了一个缓冲队列的结构:
“我们做了一个分级缓冲池,热数据进内存队列,温数据进SSD缓冲层,冷数据回落。消费端如果跟不上,生产端就会自动降速。”
梁文峰盯着白板看了好几秒,仔细思考起来。
十多秒后,他疑惑地再次开口:
“申博士,那降速的阈值是怎么定的?”
梁文峰作为一名新员工,才刚刚入职了半天多,就拉着老员工一口气询问这么多问题,显得很是另类。
尤其是,人家申士坤还不是他入职后的导师,而是大组长。
申士坤今天其实还很忙,晚上还要跟已经飞往加拿大的邢傲杰开会商讨不少东西。
但面对这个明显不按套路出牌的新员工梁文峰,他非但没有任何反感,反而很是热心且耐心地跟梁文峰解惑。
申士坤微微一笑:
“是按照GPU的利用率来定的,GPU利用率低于70%,则说明下游消费端吃不饱,生产端就加速。反之,高于90%,就说明消费端快满了,生产端就降速。”
梁文峰十分缓慢地点点头,但似乎对申士坤的答案,还有不少的保留。
他略作沉吟,继续问道:
“申博士,按GPU利用率做背压控制,这个在逻辑上是对的。但是,你们有没有考虑过GPU利用率假高的问题呢?比如,在某些算子等待内存拷贝的时候,GPU利用率也会显示很高,但实际上,计算单元其实是空闲的这种情况。”
听到梁文峰的这个问题,申士坤沉默了三秒。
倒不是他不知道答案,而是惊诧于梁文峰的实力。
虽然只是简单的几个回合沟通,但申士坤便发现了这个梁文峰的技术实力不简单,至少是在这个领域沉浸多年了。
他不清楚当时在面试时,邢傲杰和贾振彪跟梁文峰提到了多少有关[灵灵]的知识,但无论怎么说,这个梁文峰都让他挺刮目相看的。
申士坤略作迟疑,便开口道:
“文峰,你说得没错,我们老早之前确实踩过这个假高的坑,后来我们加了一个计算密度的指标,用单位时间内执行的浮点运算次数,来除以理论峰值,计算密度低于某个阈值,就算GPU利用率高,也算假高,背压逻辑就会忽略这个高……”
两人聊了一会儿,梁文峰便将询问的方向,从数据转向了模型。
最一开始,是梁文峰询问,申士坤解惑,双方的意见都还比较一致。
直到聊到[灵灵]的情感计算模型架构,双方开始有了分歧。
申士坤解释,情感计算模型是分了两层。
在底层,是一个基于循环神经网络的序列编码器,负责把对话的每一局都编码成为一个向量。上层则是一个情感分类器,用来判断对话的情感走向。
但是梁文峰却有了不同意见,他皱起眉头道:
“申博士,RNN的串行计算特性,在GPU上并行效率并不高,你们有没有试过卷积网络替代RNN?”
申士坤闻言,眉头一挑。
梁文峰说着,再次拿起马克笔,在白板上画了一个卷积核的示意图。
“我做过机器视觉,CNN在GPU上的并行效率远高于RNN。文本序列虽然会有时序以来,但是卷积核的局部感受野,其实也能捕捉到乡邻词语之间的关系。”
申士坤皱起眉头:“你说的是TextCNN思路?我们内部有讨论过,但担心卷积的感受野受限,长距离依赖捕捉不到。”
此时,白板前,已经围了过来七八个人,有两个新员工,其他的都是老员工,其中还有从耿直办公室出来的杜玉娇。
杜玉娇已经在旁边站了差不多十分钟了,见梁文峰跟申士坤一直在聊技术问题,她就决定在旁边旁听。
“申博士,长距离依赖可以用多层卷积堆叠来扩大感受野,更关键的是,卷积的并行效率,或许比RNN能高一个数量级,能大大加快模型的训练时间。”
申士坤闻言,开始在心中快速思考起来。
长久以来,他带领的团队把[效果]和[效率]对立起来了。
但梁文峰给他提供了一个新思路:如果卷积版能快三倍,那么就有三倍的时间去跑更多的数据、做更多的迭代。
而效果不是一次训练出来的,而是迭代出来的。
跑得越快,迭代次数越多,最终的模型可能比RNN版更好。
他们过去太执着于单次训练的效果了,却没有重视单位时间内的迭代收益。
“对单位时间内的收益如此看中,不愧是做量化交易的人啊!”申士坤心中不由得感慨了一句。
梁文峰询问完模型的问题后,他便想将话题转移到他十分关心的算力问题上。
他自己在做量化交易时,只用了几块GPU。
梁文峰特别特别想知道,训练[灵灵]AI这种参数过亿的模型,训练集群和推理集群大概需要多少块GPU。
事实上,当初在来明矾科技面试时,他就曾经问过他的两轮面试官邢傲杰和贾振彪,但得到的结果都是要等他正式入职后,才可能知道。
他现在入职了,终于有机会得到答案了。
“申博士,我很想知道,咱们现在的GPU训练集群,规模有多大啊?”
可当他刚开口问出,却听到身侧后方的一个女士打断道:
“文峰,耿总刚才说,如果你有空,可以去他办公室一下,他要亲自跟你聊一下。”
杜玉娇不再给他继续提问的机会了,因为她担心再晚一些,老板耿直就没空了。
她的话音刚落,梁文峰便不禁皱起眉头。
我跟耿老板没有交谈过,怎么老板会突然叫我过去??
是要干啥?
同样皱起眉头的,还有申士坤等在场的几人。
这梁文峰不是才第一天入职吗?
老板之前不是没面试过他吗?
怎么会邀请他去办公室面谈?
梁文峰看向申士坤,想要得到答案,却听申士坤笑着说道:
“文峰,既然老板找你,那你就先过去吧。”
梁文峰点了点头,便跟在杜玉娇身后,朝耿直办公室走去。
他边走,边将自己的眼镜摘下来,哈了哈气,随后用自己的衣袖擦了擦,才重新戴上。
当初来明矾科技面试,梁文峰并未紧张,刚才跟申士坤交流时,也很自信。
但跟邢傲杰、贾振彪、申士坤聊,和跟明矾科技的掌舵人耿直聊,是明显不一样的。
虽然梁文峰曾在视频演讲中见过耿直很多很多很多遍,也在微软技术大会的现场见过真人。
但不知怎的,此刻真正要面对面见面了,梁文峰还是有一丝丝紧张,同时又夹杂着不小的激动。
咚咚!
杜玉娇轻轻敲门后,便直接推门走了进来。
“老板,梁文峰来了。”
上一篇:港片:大佬,我真不想出卖你!
下一篇:重生1997,从煤老板开始崛起
