第14章 万事俱备
“妈，今年我就不回去了，顺利的话明年年初回去看望你们。”</p>
“我不是在外面瞎玩，休学也不是退学，您二位别紧张哈，我知道我在做什么。”</p>
“也不用给我打钱，我也不是在创业，只是这段时间需要集中精力解决一些问题。就今年底，您放心，就今年底。如果不成功，您说什么我都听您的。”</p>
“好，好嘞，记得叫老爸多出去运动，你们注意身体哈！”</p>
“回，回去。过年的时候一定回去。”</p>
挂了电话，孟繁岐靠在墙上，长长地叹了一口气。</p>
这些事情实在跟父母解释不清楚，若不是因为担心付院长会出手相助，他原本是不打算去办休学的。</p>
现在父母了解到如今的情况，肯定是忧心忡忡。最近几次通话，不管自己怎么说，父母总是没法放下心来。</p>
孟繁岐只能靠着年底的期限安抚他们一下，承诺只要今年不能取得杰出的成果，就什么都听他们的。</p>
看着房间里幸灾乐祸在调参的唐璜，孟繁岐没好气道，“笑什么笑。”</p>
唐璜瞬间做出一个严肃认真的表情，但不论怎么看都带着三分阴阳怪气的感觉，让人很是不爽。</p>
------------------------</p>
这天的迟些时候，孟繁岐收到了阿里克斯的回复，看了眼时间点，阿里克斯应该是一起床就回复了邮件，可以说是相当勤奋了。</p>
这个时间点已近临近今年赛事快要开始的时刻，不过阿里克斯本人其实没有计划继续组队参与本次的赛事。</p>
只是哥虽然不在江湖，江湖却到处都是哥的传说。</p>
13年的微软研究院队伍，新加坡国立大学队伍，和贾扬清领衔的Decaf，UC伯克利等队伍，都深受阿里克斯去年思想的影响。</p>
根据阿里克斯介绍的办法，孟繁岐很快调试完成，顺利将批归一化，Adam优化器等操作从自己实验的环境迁移到cuda-convnet框架上，做了一些调整和适配。</p>
没过过久，便已经在CIFAR-10上运行了起来。</p>
接下来便是本次参赛的最核心竞争力，残差网络在这个框架上的实现。</p>
“今年的IMAGENET挑战赛其实没有什么太多的新想法，大家基本上都是以复现阿里克斯的算法为主。”</p>
孟繁岐当然不准备和其他队伍一样，基于阿里克斯的框架去重新实现阿里克斯去年的参赛算法，早期的许多算法在参数量和计算量上都有很大的冗余。</p>
“谷歌的GoogleNet和牛津的VGGNet原本要明年才能研究出来，不过我今年参赛之后，这两个AI历史上的重要网络恐怕就要胎死腹中了吧？”</p>
别说是现在了，截止到14年末，多余的设计仍旧大量存在与谷歌和牛津大学的算法当中。</p>
直到15年，那个男人以残差网络ResNet夺冠ImageNet-2015，铸就了深度学习时代的AI模型的神格。</p>
残差思想是孟繁岐此时此刻的最佳选择，一方面它会成为深度学习时代的里程碑，因为它的核心思想，就是如何把深度网络做得更加‘深’。</p>
另一方面，它的实现和结构简洁，抛弃了大量人类看来很有道理和价值，但实际上其实用处不大的设计。</p>
将简洁好用的结构反复重复，这也大大地降低了孟繁岐所需要的开发工程量。</p>
AlexNet是八层的结构，各自有一些独立的设计，在此时，8层已经是革命性的深度网络了。</p>try{ggauto();} catch(ex){}
更深的网络特别难以训练，因此原本直到14年，谷歌和牛津才分别把这個深度推进到22层和19层。</p>
而ResNet的思想，彻底从根本上解决了网络变深就没法顺利训练的问题。它让50，100，150，甚至1000层网络的训练成为可能。</p>
“从去年的8，到今年的100+层，甚至1000层也可以训练。在2013年的视角来看，这一剂猛药应该够劲了。”</p>
不仅是深度上取得了开创性的突破，ResNet的性能也同样惊人。它是第一个Top-5错误率低于人类能力的结构，单模型达到了4.6%左右。</p>
如果综合几个不同方式训练的ResNet，平均他们的输出再去预测的话，其TOP-5错误率甚至低至3.7%。</p>
“其实在IMAGENET上做得太准了反而是一件怪事。”考虑到后世的研究中，该数据集中的标签其实有不小的比例是错误的，越贴近百分之百的准确率反而越有一些荒诞的感觉。</p>
ResNet的Res指residual，正经点说是残差，说得明白一些是一种短路或者是跳跃链接。</p>
再说的浅显一点，假设原本的操作为f(x)，ResNet就是把计算过程从f(x)改为f(x)+x。</p>
这也是孟繁岐最早与付院长讨论的内容之一。</p>
这种不带任何参数的支路链接，直接把操作前的内容加到操作后的内容上，是深度网络突然能够在上千层的深度下收敛的秘密所在。</p>
在此之后的几乎所有AI文章，都很难绕得开这个思路。恺明本人单就这一篇文章，就在六七年的时间内收获了十五六万的文章引用。</p>
不得不说这是一个天文数字。要知道即便是NatureCellScience三大世界级顶刊常客，著名华国美国双料科学院士抽出一个来，至今为止所有文章的总引用数量加在一起五万多都算是多的了。</p>
当然了，单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。</p>
很多基本学科曲高和寡，看得人少写得人也少。引用自然就上不去。</p>
但就AI这个实用性实验性比较强的学科来说，内部去对比的话，引用的多少含金量还是相当之高的。</p>
大家只会用代码投票，有价值的东西会一直迭代下去。有利于自己模型在任务上性能提升的技术，则会被一直引用下去。</p>
学术界一直有这样的说法，搞理论的和搞实验的两边相互看不起。这倒也不是无中生有。</p>
恺明凭借几篇代表作奠定自己历史地位后，就总有个别人喜欢说什么“ResNet的思想早就有人提过了”，“几十年前的东西不算什么新东西”，“这篇文章也就是流量大罢了，和流量明星是一样的”。</p>
酸味都要溢出屏幕了。</p>
孟繁岐不是没读过一些理论类的文章，但他个人觉得新时代的AI，P话谁都会说，代码写出来才是本事。你说几十年前就有的东西，怎么不写一个ResNet突破人类水准呢？</p>
ResNet的核心代码难写吗？不难的。</p>
基于阿里克斯的框架，只需几个小时的时间，他就可以基本复现出ResNet论文中的所有结构。</p>
弱小和无知不是生存的障碍，傲慢才是。</p></div>
“我不是在外面瞎玩，休学也不是退学，您二位别紧张哈，我知道我在做什么。”</p>
“也不用给我打钱，我也不是在创业，只是这段时间需要集中精力解决一些问题。就今年底，您放心，就今年底。如果不成功，您说什么我都听您的。”</p>
“好，好嘞，记得叫老爸多出去运动，你们注意身体哈！”</p>
“回，回去。过年的时候一定回去。”</p>
挂了电话，孟繁岐靠在墙上，长长地叹了一口气。</p>
这些事情实在跟父母解释不清楚，若不是因为担心付院长会出手相助，他原本是不打算去办休学的。</p>
现在父母了解到如今的情况，肯定是忧心忡忡。最近几次通话，不管自己怎么说，父母总是没法放下心来。</p>
孟繁岐只能靠着年底的期限安抚他们一下，承诺只要今年不能取得杰出的成果，就什么都听他们的。</p>
看着房间里幸灾乐祸在调参的唐璜，孟繁岐没好气道，“笑什么笑。”</p>
唐璜瞬间做出一个严肃认真的表情，但不论怎么看都带着三分阴阳怪气的感觉，让人很是不爽。</p>
------------------------</p>
这天的迟些时候，孟繁岐收到了阿里克斯的回复，看了眼时间点，阿里克斯应该是一起床就回复了邮件，可以说是相当勤奋了。</p>
这个时间点已近临近今年赛事快要开始的时刻，不过阿里克斯本人其实没有计划继续组队参与本次的赛事。</p>
只是哥虽然不在江湖，江湖却到处都是哥的传说。</p>
13年的微软研究院队伍，新加坡国立大学队伍，和贾扬清领衔的Decaf，UC伯克利等队伍，都深受阿里克斯去年思想的影响。</p>
根据阿里克斯介绍的办法，孟繁岐很快调试完成，顺利将批归一化，Adam优化器等操作从自己实验的环境迁移到cuda-convnet框架上，做了一些调整和适配。</p>
没过过久，便已经在CIFAR-10上运行了起来。</p>
接下来便是本次参赛的最核心竞争力，残差网络在这个框架上的实现。</p>
“今年的IMAGENET挑战赛其实没有什么太多的新想法，大家基本上都是以复现阿里克斯的算法为主。”</p>
孟繁岐当然不准备和其他队伍一样，基于阿里克斯的框架去重新实现阿里克斯去年的参赛算法，早期的许多算法在参数量和计算量上都有很大的冗余。</p>
“谷歌的GoogleNet和牛津的VGGNet原本要明年才能研究出来，不过我今年参赛之后，这两个AI历史上的重要网络恐怕就要胎死腹中了吧？”</p>
别说是现在了，截止到14年末，多余的设计仍旧大量存在与谷歌和牛津大学的算法当中。</p>
直到15年，那个男人以残差网络ResNet夺冠ImageNet-2015，铸就了深度学习时代的AI模型的神格。</p>
残差思想是孟繁岐此时此刻的最佳选择，一方面它会成为深度学习时代的里程碑，因为它的核心思想，就是如何把深度网络做得更加‘深’。</p>
另一方面，它的实现和结构简洁，抛弃了大量人类看来很有道理和价值，但实际上其实用处不大的设计。</p>
将简洁好用的结构反复重复，这也大大地降低了孟繁岐所需要的开发工程量。</p>
AlexNet是八层的结构，各自有一些独立的设计，在此时，8层已经是革命性的深度网络了。</p>try{ggauto();} catch(ex){}
更深的网络特别难以训练，因此原本直到14年，谷歌和牛津才分别把这個深度推进到22层和19层。</p>
而ResNet的思想，彻底从根本上解决了网络变深就没法顺利训练的问题。它让50，100，150，甚至1000层网络的训练成为可能。</p>
“从去年的8，到今年的100+层，甚至1000层也可以训练。在2013年的视角来看，这一剂猛药应该够劲了。”</p>
不仅是深度上取得了开创性的突破，ResNet的性能也同样惊人。它是第一个Top-5错误率低于人类能力的结构，单模型达到了4.6%左右。</p>
如果综合几个不同方式训练的ResNet，平均他们的输出再去预测的话，其TOP-5错误率甚至低至3.7%。</p>
“其实在IMAGENET上做得太准了反而是一件怪事。”考虑到后世的研究中，该数据集中的标签其实有不小的比例是错误的，越贴近百分之百的准确率反而越有一些荒诞的感觉。</p>
ResNet的Res指residual，正经点说是残差，说得明白一些是一种短路或者是跳跃链接。</p>
再说的浅显一点，假设原本的操作为f(x)，ResNet就是把计算过程从f(x)改为f(x)+x。</p>
这也是孟繁岐最早与付院长讨论的内容之一。</p>
这种不带任何参数的支路链接，直接把操作前的内容加到操作后的内容上，是深度网络突然能够在上千层的深度下收敛的秘密所在。</p>
在此之后的几乎所有AI文章，都很难绕得开这个思路。恺明本人单就这一篇文章，就在六七年的时间内收获了十五六万的文章引用。</p>
不得不说这是一个天文数字。要知道即便是NatureCellScience三大世界级顶刊常客，著名华国美国双料科学院士抽出一个来，至今为止所有文章的总引用数量加在一起五万多都算是多的了。</p>
当然了，单以论文被引用的次数来评价文章的水平和作者的水平是有失偏颇的。</p>
很多基本学科曲高和寡，看得人少写得人也少。引用自然就上不去。</p>
但就AI这个实用性实验性比较强的学科来说，内部去对比的话，引用的多少含金量还是相当之高的。</p>
大家只会用代码投票，有价值的东西会一直迭代下去。有利于自己模型在任务上性能提升的技术，则会被一直引用下去。</p>
学术界一直有这样的说法，搞理论的和搞实验的两边相互看不起。这倒也不是无中生有。</p>
恺明凭借几篇代表作奠定自己历史地位后，就总有个别人喜欢说什么“ResNet的思想早就有人提过了”，“几十年前的东西不算什么新东西”，“这篇文章也就是流量大罢了，和流量明星是一样的”。</p>
酸味都要溢出屏幕了。</p>
孟繁岐不是没读过一些理论类的文章，但他个人觉得新时代的AI，P话谁都会说，代码写出来才是本事。你说几十年前就有的东西，怎么不写一个ResNet突破人类水准呢？</p>
ResNet的核心代码难写吗？不难的。</p>
基于阿里克斯的框架，只需几个小时的时间，他就可以基本复现出ResNet论文中的所有结构。</p>
弱小和无知不是生存的障碍，傲慢才是。</p></div>