学霸的模拟器系统 第359节

　　空气中弥漫着咖啡的香气和高密度的智力火花。

　　在这个经济危机的寒冬，各大科技巨头的预算都砍到了大动脉。

　　即使谷歌和微软的展台，此刻显得格外朴素，只有几张海报和几个无精打采的实习生。

　　但以太动力的展台却是个异类。

　　方雪若穿着一身剪裁利落的香奈儿白色职业装，踩着高跟鞋，指挥着两个工人把一只巨大的展示箱摆在以太动力（Aether Dynamics）的展台上。

　　在那只防弹玻璃柜里，并不是什么炫酷的机器人，也不是滚动的宣传片。

　　数十张NVIDIA Tesla C870显卡整齐排列，散热风扇在LED灯带的照耀下泛着冷冽的金属光泽，充满了暴力的工业美感。

　　旁边竖着一块极其嚣张的标语牌——

　　“WE HAVE COMPUTING POWER. DO YOU?”（我们有算力，你有吗？）

　　在金融危机阴云笼罩的背景，这种赤裸裸的“炫富”行为立刻引来了无数侧目。

　　“那个穿白西装的女人是谁？”几个挂着微软工牌的工程师窃窃私语。

　　“听说是以太动力的CFO。”

　　“以太动力？没听说过。”

　　“这你都没听说过？它的老板是林允宁！新闻看没看？”

　　“就是那个搞出暗流体理论的林允宁？他不是物理学家么？来凑什么热闹？”

　　“你真是啥也不懂。”其中一人推了推眼镜，语气里带着几分不屑，“最近特别火的线型注意力机制知道吧，就是他在ICML提出来的……听说以太动力靠着这个算法，不止买了好多钱，还研究出了小分子药物筛选的方法。”

　　“那又怎么样？隔行如隔山，图像识别可不是解微分方程。”

　　……

　　而在展台的另一侧，方佩妮正被一群穿着格子衬衫的年轻博士生们围着。

　　作为以太动力的首席架构师，她今天被迫营业。

　　“这位女士，请问你们的CUDA核心利用率……”

　　一个麻省理工的博士生问道。

　　方佩妮低着头，手指紧紧攥着数据单，指关节发白。

　　她没有像方雪若那样长袖善舞，而是像一台被按下了播放键的复读机，语速飞快且毫无起伏：

　　“单精度浮点性能518 GFLOPS，显存带宽76.8 GB/s，我们重写了BLAS库，矩阵乘法效率比官方库提升了40%……”

　　“酷……”

　　几个年轻男生眼睛都直了。

　　强劲的算力猛兽，加上难得一见的亚裔美女，在极客眼中简直性感得要命。

　　这不就是现实版的“美女与野兽”么？

　　……

　　上午十点，主会场。

　　原本只能容纳两千人的大厅被挤得水泄不通，连过道上都坐满了人。

　　当林允宁走上讲台时，原本还有些嘈杂的会场瞬间安静了下来。

　　无论这帮搞计算机的人多么心高气傲，面对一个刚刚在《Science》上发表了诺奖级理论，被物理学界视为“明日之星”的人物，基本的敬畏还是有的。

　　林允宁今天没有穿正装，依然是那件标志性的深灰色连帽衫，显得随意而松弛。

　　他身后的屏幕上，PPT极其简洁。

　　标题：《Deep Residual Learning for Image Recognition》（用于图像识别的深度残差学习）。

　　“大家早上好。”

　　林允宁没有寒暄，直接按下翻页笔。

　　屏幕上出现了一张对比图。左边是目前主流的AlexNet（8层），右边是一根细长的、密密麻麻的柱状图。

　　“这是我们构建的深层神经网络——ResNet-101。”

　　林允宁指着右边的图，声音平稳，“它有101层。”

　　“轰——”

　　台下瞬间炸了锅。

　　“101层？他疯了吧？”

　　“简直荒谬！这么多层数，梯度早就消失了！根本训练不起来！”

　　“这就是物理学家的傲慢吗？以为层数越多越好？”

　　一位坐在前排、头发花白的老教授站了起来。

　　他是来自MIT计算机实验室的权威，坚定的SVM（支持向量机）拥护者。

　　“林先生，”

　　老教授也不管是不是提问环节，直接抓过麦克风，“你的理论很漂亮。但众所周知，神经网络一旦超过20层，就会面临严重的退化问题（Degradation Problem）。训练误差不降反升。你这101层，是在做数学游戏，还是在堆积木玩？”

　　台下响起一阵低笑。

　　深层神经网络是个漂亮的学术陷阱，这是在场所有人的共识。

　　加深网络层数，只会得到一堆无法收敛的垃圾参数。

　　林允宁并没有辩解。

　　他笑了笑，按下了下一页PPT。

　　那是ResNet的核心结构——一个简单的跳跃连接（Skip Connection）。

　　H(x)= F(x)+ x

　　“教授，您说得对。深层网络很难训练，就像让一个人传话给第100个人，信息肯定会失真。”

　　林允宁指着那条连接线，“但如果我们给信息修一条‘高速公路’呢？

　　“我们不再让网络去学习完整的输出，而是让它只学习‘残差’（Residual）。如果这一层什么都不做，它就是恒等映射（Identity Mapping），信息可以无损地流向下一层。

　　“这不仅仅是数学游戏。为了训练这个模型，以太动力的算力中心满负荷运转了整整两周。

　　“数学不会骗人，但直觉会。至于它到底是不是浪费电费……”

　　林允宁看了一眼台下神色各异的众人，关掉了PPT：

　　“下午的ImageNet挑战赛，结果会说明一切。”

　　……

　　下午三点，ImageNet Workshop现场。

　　这里的气氛比上午还要紧张。

　　李飞飞教授站在台侧，手心里全是汗。

　　这是ImageNet的第一战，如果大家都跑不出好成绩，那这个巨大的数据集就会沦为业界的笑柄。

　　大屏幕上，实时的排行榜（Leaderboard）正在滚动。

　　比赛已经开始半小时了。

　　排在第一的是微软亚洲研究院的团队，Top-5错误率：26.2%。

　　紧随其后的是牛津大学的VGG组：26.8%。

　　谷歌团队：27.1%。

　　数字在小数点后一位艰难地跳动着。

　　每一次刷新，如果有队伍能降低0.1%，都会引来一阵小小的欢呼。

　　这就是2008年计算机视觉的天花板。

　　在SVM和手工特征提取的框架下，想再进一步，比登天还难。

　　“看来这就是极限了。”

　　刚才提问的那位MIT老教授摇了摇头，有些遗憾，“25%左右的错误率，离实用还差得远。也许，机器的视觉极限就在这里了……”

　　站在老教授身边的李飞飞，神色也有些黯淡。

　　确实，这个级别的错误率，意味着无法使用。

　　也就意味着ImageNet注定只是个算法的试金石，而不是真正实用的数据库。

　　“以太动力提交了。”

　　不知道是谁喊了一嗓子。

　　所有人的目光都集中到了屏幕的最后一行。

　　几秒钟的延迟后。

　　大屏幕突然闪烁了一下。

　　排行榜发生了一次剧烈的变动。