首富从AI浪潮开始 第194节
更要命的是,全世界的人都已经习惯了这个老城市的规矩了。他们写代码的时候默认CUDA可以调用,默认用的是英伟达的显卡,论文上说的也都是在英伟达上才能跑通的用例。
不用英伟达?那你自己试试吧。
本来能跑的代码,把CUDA的依赖删掉,一下冒出一千个错误来,修完了第一个错误,又冒出一千个来。
模型能跑,不代表能跑的快;小模型能跑,不代表大模型能跑;单卡能跑,不代表多卡能跑;多卡能跑,不代表千卡集群能稳定训练几十天。
而大模型最可怕的地方就在这里,它不是“能跑”就算成功,它还必须稳定、必须高效、必须鲁棒。
必须能在极端昂贵的算力成本下,把每一张卡的利用率压到足够高。
否则你花同样的钱,别人训练一个月,你训练三个月。别人烧一千万,你烧三千万。
最后模型效果还不一定赶得上。
赵文渊潜心研究了两天,越研究,脸色越难看。最大的困难不是技术上完全不可行。恰恰相反,很多东西理论上都有办法做。
最大的问题是,工程量太大了。
这不是一个天才程序员闭关三个月就能解决的问题。
这是业内十多年、无数公司、无数开发者、无数论文、无数开源项目共同堆起来的生态。
这就像愚公移山,别说是赵文渊一个人,别说是源码科技模型组的这点人,就算韩路一给他几百人的开发团队,花个几年时间,可能也就能把最核心的部分做一个可用版本。
这现实吗?
不现实。
赵文渊狠狠的抓了抓头发,然后看着自己抓掉的头发,又心疼的摸了摸。
他打开微信,找到一个在谷歌工作时的华人同事。
那个同事当年给TPU做过适配工作。谷歌自研芯片加自研框架的路线,面临的是一样的困境,只是他们当年砸钱砸出来了。
赵文渊写了一条长长的信息,把自己的困境简短说了一下。
如何从训练框架层面对新硬件做适配?自研芯片生态早期最难补的短板是什么?如果一个创业团队想在国产AI芯片上跑大模型,有没有现实一点的切入方式?
这里面可能会涉及一些保密内容,赵文渊和这个前同事也两年没联系了,他本来也不预期一定会收到回复。
没想到半个小时之后,对方回复了。
看到信息的内容,赵文渊气笑了。
回复很简短:
“别想了,没戏。”
原来人气极了真的会笑。
过了一会,对方又发了更长的一段话过来。
“TPU这条路不是创业公司能复制的。你们如果只是想省钱,直接买N卡。你们如果想支持国产芯片,那也应该让芯片厂来做生态,你们最多做应用层适配。总不能花几千万美元给硬件厂商补生态吧?”
几千万?美元?朋友,你说保守了。
赵文渊把手机锁屏,打开电脑,看着自己在飞机上写的那个文档。
《汤圆模型国产算力适配路线图》
有点儿讽刺。
他把标题删了,重新打了一个。
《汤圆模型国产显卡适配评估:暂不具备可行性》
整层办公楼已经只剩下赵文渊一个人了,他透过玻璃看向外面的黑夜,玻璃上映出他自己的脸,看起来有点陌生。
这时,手机震了一下,屏幕又亮了起来。
他低头一看,是韩路一发来的消息。
“文渊,我刚落地海城,周一早晨我们对一下模型训练的进度。”
赵文渊犹豫了一下,不知道该怎么回复韩路一。
第一百八十三章 这不是有戏了吗?
一月十一日,周一。
上午九点,韩路一走进前滩中心十二楼,源码科技的办公室。
周末刚过,办公室里已经恢复了工作日的节奏。开放工位区里零星坐着几个来的早的工程师,两个人一边看屏幕一边低声讨论,茶水间门口还有人端着咖啡往回走。
看见韩路一,他们都停下来打招呼。
没人奇怪韩路一为什么几天没在公司,又突然回来,大家都渐渐适应大老板的神出鬼没了。
韩路一没有去自己的办公室,而是先去了苏念念的办公室。
苏念念的电脑屏幕上正放着陈建业发来的评审流程数据。她看到韩路一过来,点了点头,又转头把注意力放在屏幕上。
“你回来啦。”
韩路一笑了:“累死我了,周末睡了两天回血。我不在的时候还顺利吗?”
苏念念听他这么说,抬头仔细观察了一下他的脸色,才放下心来,说:
“上次和你说的,小姜做的那个智能体编程,你应该去开发区看一眼。”
“效果很好?”韩路一挑了挑眉。
苏念念笑了笑:“给你留个惊喜,等小姜来了你去问她,她提前准备了报告呢。”
韩路一出门看了看,姜亦心已经在工位上了。
韩路一走过去,站在姜亦心的工位旁边,轻轻敲了敲隔板。
“韩总,你回来啦!”姜亦心转过头,吓了一小跳。
“苏总说你做的智能体效果很好?”
“是钱晓乐和我一起做的。”姜亦心一边拉数据一边强调,“韩总你看,这是上周的数据。”
“全公司一线开发共三十人,上周合并代码分支一百二十七个。”
姜亦心指了指右边的柱状图。
“之前的数据是平均每周四十七个。”
她又指了指左边的柱状图。
“但是这个数字还没到顶,因为大家都在适应。”
姜亦心又在数据上加了一个筛选条件。
“你看,钱晓乐,她用的最早,上周二一天就合并了十个代码分支,这可都是生产项目。”
韩路一看着这个数据,不禁身体前倾,把右手撑在了姜亦心面前的桌子上。
他自己做了五年多的程序员,他知道每天十个合并是什么概念。
一个代码合并包括从理解任务需求,和其他部门沟通,同步信息,完成改动,编写单元测试一系列步骤。改动有大有小,但是平均下来,一人一天能有一个合并就是合理的工作量了。
现在钱晓乐一个人就做了十个人的量。
从很多年前开始,硅谷就鼓吹“十倍工程师”的概念,指的是一个非常厉害的天才程序员可以一个人做出十个普通程序员的贡献。
现在的钱晓乐,至少在这一天里,已经接近了“十倍工程师”的样子了。
更重要的是,这种能力不是天赋。
而是工具带来的!
只要使用流程继续优化,源码科技的三十个开发,产出还会被整体再抬高一个档次。
“代码质量呢?把合并的改动拉出来我看看。”韩路一问道。
姜亦心早有准备:“智能体首次提交的通过率现在是百分之六十七。大概有三分之一的任务现在的智能体还没法独立完成,会卡死,这个时候需要人工介入。”
然后她直接打开代码库,找出了钱晓乐最近合并的改动。
韩路一开视界扫过去,基本全是绿的。
这是非常夸张的效率提升了。
三十个人干出来一百个人的活来。
本来上个月韩路一还在盘算,如果要把开发团队从三十人扩到六十人,光是招聘、面试、入职培训,最快也要三个月。而海城这个市场上,能招到的合格工程师,月薪没有三万打不住。
三十个人,一年就是一千多万的人力成本。
可是不招人,源码业务发展的又太快,需求都做不过来了。
现在姜亦心和钱晓乐搞出来的这个东西,等于他不用多花一分钱,凭空多了七十个人。
不对。
比多七十个人还好。
多七十个人意味着多七十个人的管理成本、沟通成本、磨合期。
而智能体不需要开会,不需要团建,不需要一对一沟通,管理成本大大降低了。
韩路一看向姜亦心,认真地说:“小姜,这个工具的优先级提到最高。你需要什么资源,直接找苏总要。”
