第19章 这也太深了吧
“DreamNet？这是什么网络结构？”李飞飞仔细翻找了一下各个队伍对自己提交的描述。</p>
可以看到几乎所有队伍的提交中都描述道，“我们的结构基于AlexNet”，“我们仿照AlexNet”，“我们把AlexNet和传统支持向量机/../..相结合”。</p>
做法类似，结果自然也大差不差。</p>
剩下的便是如何把数个模型整合到一起的描述。</p>
翻到队伍Dream，人员构成栏只有“FanqiMeng，HuangTang”两个名字，没有具体的机构信息。</p>
观看队伍算法的简介，更是寥寥数语。</p>
“我们提出了新的DreamNet，使得深达到百层乃至千层的网络能够被训练。由于缺乏足够的设备，我们只获得了单个的权重进行提交。”</p>
孟繁岐是故意的，他当然可以把残差又或者是其他的主要trick简要地在队伍的提交描述里介绍清楚。但为什么要这么做呢，一定要先勾起业界这些人的好奇心，才能够获得最大的关注。</p>
分类top-5错误率，4.9%。</p>
这样一个简单的数字直接击中了李飞飞的内心。</p>
算法的错误率低于人类的5.1%，从09年她推动这個竞赛以来，一直是她追求的目标，也是她组织这个竞赛的一大原因。</p>
她甚至曾经做好了打算，如果某一届的算法成功地突破了这个水准，就不再继续组织IMAGENET。</p>
但她万万没有想到，这一天会来得这么快。</p>
就在400天前，最好的传统办法还只能取得25%左右的错误率。</p>
去年AlexNet16左右的错误率，她以为是一次厚积薄发的飞跃，这样的进展可谓几十年一现。</p>
完全没有想到今年的结果会给她一个更加夸张的惊喜。</p>
DreamNet，突破了人类水准的DreamNet。</p>
李飞飞觉得这个名字起得实在恰如其分，这个结果真是如梦似幻。</p>
检测结果mAP:0.34673，更是对第二名的0.22581进行了降维打击。</p>
我的天，这几个人到底是何方神圣？李飞飞苦思冥想，也想不出在哪个AI实验室有听过这几个名字。</p>
“为什么不把算法内容大概描述一下！”李飞飞用手狂锤了两下桌子，没有任何人比她这个数据收集者更能明白和理解这个算法性能的含金量。</p>
自从她看到这个结果的一瞬间开始，她的好奇心就如脱缰的野马，再也无法控制。真的好想知道，好想知道。哪怕只是似是而非的一两句描述，哪怕只是不明觉厉的一两个特定术语也好。</p>
只可惜孟繁岐深谙媒体宣传那一套，字里行间，先是“我们提出了新的DreamNet”表示这个结构是截然不同，相比AlexNet变化很大的，以强化阅读者的好奇心。</p>
随后又抛出重磅炸弹，“我们使得深达到百层乃至千层的网络能够被训练”，以去年8层的冠军来对比，这个数字实在太过震撼，更让技术从业者们心痒不已。</p>
最后再假装谦虚一下，实则表示，我们只使用比较有限的资源，获得了一个结果，就不跟你们去卷多模型融合集成那一套了。</p>
性能相差那么多，实在没必要呀。</p>
“尽快把结果页面上线。”李飞飞回复消息给邓嘉，心中暗想难怪一想沉稳踏实的邓嘉刚刚冒失得很，“这个罪可不能让我一个人来受，我要让你们统统急得像热锅上的蚂蚁。”</p>
最顶尖的大脑都是好奇心很强的，这种对未知的好奇，对更好的追求驱使着他们做出一个又一个可以改变人类生活的成果。</p>try{ggauto();} catch(ex){}
对稍稍近似一些的结果，可能还容易忍耐一些。因为会觉得，自己再仔细想想，努力测试一下，加入一点小的技巧，也许也可以收获同样的结果。</p>
而一个比去年AlexNet更加夸张的提升摆在眼前，即便是再自负的人都不得不承认，自己短时间内完全做不到这件事。</p>
更大的差距反而让人生不起怀疑和嫉妒之心，只有更加纯粹的好奇和敬佩。</p>
孟繁岐不准备改变大部分技术的名字，但唯独将混杂了一些其他方法如批归一化，二阶优化器等方法训练出来的残差网络结果称为DreamNet。</p>
一是因为重生十年一梦，自己回到2013提交残差网络就如同黄粱一梦，他其实偶尔都会担心，是不是这场梦随时都会醒来。</p>
二是因为自己姓孟，与梦谐音。若要真取名MengNet提交，未免脸皮太厚了一些，绝无此必要。</p>
赛事结果出来之后，同样觉得人生如梦似幻的还有唐璜和刘旭。</p>
即便孟繁岐每次更新的代码和小技巧总能提升模型的性能又或者是训练速度，即便他们也无数次的在想，不会真的可以夺冠吧？</p>
但从内心深处，他们都一直只是怀疑，从来没有真正相信过这件事。</p>
也就更别提这种碾压的姿态夺冠了。</p>
“微软，UC伯克利，圣彼得堡，IBM，东大，新加坡国立，牛津，多伦多。”一路数下来，多少世界一流的大学和机构被远远甩在后面。</p>
甚至于AI三巨头之一的立昆，本次也亲自带队参赛，但也只能折戟沉沙。</p>
与此同时，就在李飞飞让邓嘉快些公布结果网页的同时，斯坦福大学附近硅谷山景城的谷歌公司里有三个人第一时间就关注到了这个结果。</p>
他们就是去年的冠军，被谷歌重金收购的辛顿团队。</p>
阿里克斯，高高瘦瘦，短发方脸。一身经典的程序员套装打扮，言行举止之间干脆利落，很有智慧和干练的感觉。</p>
辛顿五官立体，稍有些鹰钩鼻，长相有三分像斯内普。面无表情的时候显得十分威严，让人心生畏惧，笑起来的时候却很有感染力。</p>
不过此时此刻，他实在是笑不出来。</p>
“难以置信，真的难以置信。”阿里克斯快步赶到老师的办公室门口，也顾不上敲门了，直接推门而入，“老师你看了吗？新一年的....”</p>
话还没有说完，辛顿就微微抬起右手示意他停下。</p>
半晌，才缓缓将椅子转了过来，声音非常低而深沉地说道，“这特么也太深了吧。”</p>
谷歌斥数千万巨资收购辛顿团队，可不是粉丝追星的行为。他们的合同当中，辛顿团队协助他们保持AI技术的领先地位是占了很大成分的。</p>
这一次DreamNet跨时代的提升，更高位置的十个点含金量远在去年自己团队的AlexNet之上。加上又打破了人类水准，猛然之间给了辛顿数十年未有的巨大学术压力。</p>
一年以来，他第一次有这种感叹，原来谷歌的钱拿着会这么烫手。</p>
“他们到底是谁，有机会提前联系上吗？”</p>
辛顿团队今年没有参赛也没有参与主办，自然也就没有队伍注册时留的邮箱和其他信息，如今这个震撼的结果出来之后，想要这个信息的人实在太多。</p>
主办方不可能每个都给，也就不如干脆公正严明到底了。</p>
而且辛顿了解李飞飞，她刚刚发消息让自己去查看榜单，就是故意想让自己好奇，怎么可能会提供协助？</p>
倒是阿里克斯突然想起了什么，“前几个月好像有人给我发过邮件，署名就是Meng，但我不确定他跟Dream队伍有没有关系。”</p></div>
可以看到几乎所有队伍的提交中都描述道，“我们的结构基于AlexNet”，“我们仿照AlexNet”，“我们把AlexNet和传统支持向量机/../..相结合”。</p>
做法类似，结果自然也大差不差。</p>
剩下的便是如何把数个模型整合到一起的描述。</p>
翻到队伍Dream，人员构成栏只有“FanqiMeng，HuangTang”两个名字，没有具体的机构信息。</p>
观看队伍算法的简介，更是寥寥数语。</p>
“我们提出了新的DreamNet，使得深达到百层乃至千层的网络能够被训练。由于缺乏足够的设备，我们只获得了单个的权重进行提交。”</p>
孟繁岐是故意的，他当然可以把残差又或者是其他的主要trick简要地在队伍的提交描述里介绍清楚。但为什么要这么做呢，一定要先勾起业界这些人的好奇心，才能够获得最大的关注。</p>
分类top-5错误率，4.9%。</p>
这样一个简单的数字直接击中了李飞飞的内心。</p>
算法的错误率低于人类的5.1%，从09年她推动这個竞赛以来，一直是她追求的目标，也是她组织这个竞赛的一大原因。</p>
她甚至曾经做好了打算，如果某一届的算法成功地突破了这个水准，就不再继续组织IMAGENET。</p>
但她万万没有想到，这一天会来得这么快。</p>
就在400天前，最好的传统办法还只能取得25%左右的错误率。</p>
去年AlexNet16左右的错误率，她以为是一次厚积薄发的飞跃，这样的进展可谓几十年一现。</p>
完全没有想到今年的结果会给她一个更加夸张的惊喜。</p>
DreamNet，突破了人类水准的DreamNet。</p>
李飞飞觉得这个名字起得实在恰如其分，这个结果真是如梦似幻。</p>
检测结果mAP:0.34673，更是对第二名的0.22581进行了降维打击。</p>
我的天，这几个人到底是何方神圣？李飞飞苦思冥想，也想不出在哪个AI实验室有听过这几个名字。</p>
“为什么不把算法内容大概描述一下！”李飞飞用手狂锤了两下桌子，没有任何人比她这个数据收集者更能明白和理解这个算法性能的含金量。</p>
自从她看到这个结果的一瞬间开始，她的好奇心就如脱缰的野马，再也无法控制。真的好想知道，好想知道。哪怕只是似是而非的一两句描述，哪怕只是不明觉厉的一两个特定术语也好。</p>
只可惜孟繁岐深谙媒体宣传那一套，字里行间，先是“我们提出了新的DreamNet”表示这个结构是截然不同，相比AlexNet变化很大的，以强化阅读者的好奇心。</p>
随后又抛出重磅炸弹，“我们使得深达到百层乃至千层的网络能够被训练”，以去年8层的冠军来对比，这个数字实在太过震撼，更让技术从业者们心痒不已。</p>
最后再假装谦虚一下，实则表示，我们只使用比较有限的资源，获得了一个结果，就不跟你们去卷多模型融合集成那一套了。</p>
性能相差那么多，实在没必要呀。</p>
“尽快把结果页面上线。”李飞飞回复消息给邓嘉，心中暗想难怪一想沉稳踏实的邓嘉刚刚冒失得很，“这个罪可不能让我一个人来受，我要让你们统统急得像热锅上的蚂蚁。”</p>
最顶尖的大脑都是好奇心很强的，这种对未知的好奇，对更好的追求驱使着他们做出一个又一个可以改变人类生活的成果。</p>try{ggauto();} catch(ex){}
对稍稍近似一些的结果，可能还容易忍耐一些。因为会觉得，自己再仔细想想，努力测试一下，加入一点小的技巧，也许也可以收获同样的结果。</p>
而一个比去年AlexNet更加夸张的提升摆在眼前，即便是再自负的人都不得不承认，自己短时间内完全做不到这件事。</p>
更大的差距反而让人生不起怀疑和嫉妒之心，只有更加纯粹的好奇和敬佩。</p>
孟繁岐不准备改变大部分技术的名字，但唯独将混杂了一些其他方法如批归一化，二阶优化器等方法训练出来的残差网络结果称为DreamNet。</p>
一是因为重生十年一梦，自己回到2013提交残差网络就如同黄粱一梦，他其实偶尔都会担心，是不是这场梦随时都会醒来。</p>
二是因为自己姓孟，与梦谐音。若要真取名MengNet提交，未免脸皮太厚了一些，绝无此必要。</p>
赛事结果出来之后，同样觉得人生如梦似幻的还有唐璜和刘旭。</p>
即便孟繁岐每次更新的代码和小技巧总能提升模型的性能又或者是训练速度，即便他们也无数次的在想，不会真的可以夺冠吧？</p>
但从内心深处，他们都一直只是怀疑，从来没有真正相信过这件事。</p>
也就更别提这种碾压的姿态夺冠了。</p>
“微软，UC伯克利，圣彼得堡，IBM，东大，新加坡国立，牛津，多伦多。”一路数下来，多少世界一流的大学和机构被远远甩在后面。</p>
甚至于AI三巨头之一的立昆，本次也亲自带队参赛，但也只能折戟沉沙。</p>
与此同时，就在李飞飞让邓嘉快些公布结果网页的同时，斯坦福大学附近硅谷山景城的谷歌公司里有三个人第一时间就关注到了这个结果。</p>
他们就是去年的冠军，被谷歌重金收购的辛顿团队。</p>
阿里克斯，高高瘦瘦，短发方脸。一身经典的程序员套装打扮，言行举止之间干脆利落，很有智慧和干练的感觉。</p>
辛顿五官立体，稍有些鹰钩鼻，长相有三分像斯内普。面无表情的时候显得十分威严，让人心生畏惧，笑起来的时候却很有感染力。</p>
不过此时此刻，他实在是笑不出来。</p>
“难以置信，真的难以置信。”阿里克斯快步赶到老师的办公室门口，也顾不上敲门了，直接推门而入，“老师你看了吗？新一年的....”</p>
话还没有说完，辛顿就微微抬起右手示意他停下。</p>
半晌，才缓缓将椅子转了过来，声音非常低而深沉地说道，“这特么也太深了吧。”</p>
谷歌斥数千万巨资收购辛顿团队，可不是粉丝追星的行为。他们的合同当中，辛顿团队协助他们保持AI技术的领先地位是占了很大成分的。</p>
这一次DreamNet跨时代的提升，更高位置的十个点含金量远在去年自己团队的AlexNet之上。加上又打破了人类水准，猛然之间给了辛顿数十年未有的巨大学术压力。</p>
一年以来，他第一次有这种感叹，原来谷歌的钱拿着会这么烫手。</p>
“他们到底是谁，有机会提前联系上吗？”</p>
辛顿团队今年没有参赛也没有参与主办，自然也就没有队伍注册时留的邮箱和其他信息，如今这个震撼的结果出来之后，想要这个信息的人实在太多。</p>
主办方不可能每个都给，也就不如干脆公正严明到底了。</p>
而且辛顿了解李飞飞，她刚刚发消息让自己去查看榜单，就是故意想让自己好奇，怎么可能会提供协助？</p>
倒是阿里克斯突然想起了什么，“前几个月好像有人给我发过邮件，署名就是Meng，但我不确定他跟Dream队伍有没有关系。”</p></div>