第15章 比赛在开始前就已经结束
2013年的暑假，距离比赛开始时间还有大约一个月的时间。</p>
“模型的训练过程需要将所有的权重，数据和许多中间过程都放入GPU中进行处理。因而GPU的显存大小格外重要。”孟繁岐叹了口气，“即便是我们购买的旗舰690，也太小了，只有4G大小。”</p>
比起后来被美国禁止卖给华国的A100-80G，690不说其他性能，单显存就少了20倍。孟繁岐如今只能可怜巴巴地每次使用16张图片对模型进行迭代。</p>
“一次十六张，一次循环要接近一百万次才能更新完整个数据集。而想把模型收敛好，上百次循环又是少不了的。”</p>
孟繁岐估算了一下，这个版本出一次结果要接近20天，最后的训练过程确实大概消耗了三周左右以收敛到现在的这个性能。</p>
好在IMAGENET在后来基本成为了每个算法工程师必调参的练手数据集，孟繁岐自己就曾无数次刷榜，自然是轻车熟路，清楚各类参数的大概设置。</p>
这为他至少节省了一两個月的珍贵时间。</p>
即便一次训练需要三周之久，孟繁岐却仍旧赶在比赛开始之前就已经准备好了一版模型。</p>
看着训练出来的模型最终性能达到了预期，孟繁岐心中的一块大石总算落地了。</p>
这几个月来，他唯一担心的一件事情就是多年前的老框架会出一些他意料之外的问题，导致最终的结果不能和理论预期吻合。</p>
一旦这种事情发生，找到问题所在并测试解决的代价就太大了。倘若不能够及时解决，会很大影响到他初期的规划。</p>
眼下的结果大约在4.9%的top-5错误率，这个版本比后世论文中的性能要稍差了一丁点，但好在仍旧强于赛事方给出的人类标准了。</p>
一般来说，比赛前是不会公布比赛所使用的具体数据的。只是IMAGENET比赛比较特殊，一千多万量级的图片，总不可能办一两次比赛就舍弃掉，不再使用。</p>
因而每届比赛所用的数据是变化很小的，只是具体赛道，所竞争的内容和评判的方式常会有所调整。</p>
虽说IMAGENET休赛的时期其实也可以提交结果，孟繁岐现在就可以把这个结果上传上去，夺取第一的位置，但关注度毕竟不可与赛时的激烈竞争同日而语。</p>
与此同时，唐璜也终于开始意识到事情的走向已经远远偏离了他的预料。</p>
“我记得之前查到AlexNet在这上面的准确率不到85吧，你现在这个已经特么超过95了啊。”唐璜第一次来查看结果的时候完全不敢相信这个事实。</p>
“你确定没搞错？别忽悠兄弟啊。兄弟书读的少，很容易被骗的。”唐璜此刻的心态很复杂，很希望这是真的，但由于事情实在显得太美好，反而很难相信。</p>
“是假的，我骗你的。”孟繁岐翻了个白眼，“我加了特技，里面都是化学的成分。”</p>
“不会吧，我亲眼看这性能一路上收敛上来的。”唐璜又翻了翻模型训练的日志，声音之中带了三分委屈。他刚刚已经在脑补自己抱紧大腿，走上人生巅峰的场景了。</p>
这就是患得患失的可怜人啊，不敢相信，却又害怕是假的。</p>
“虽然我没有测试集的真实答案，但是我从训练集里划了百分之5出来没有使用，作为验证的办法。”孟繁岐对这个数据集的方差可以说是了然于胸，95%的数据用于训练，5%的数据用于测试已经是相当稳妥而保守的比例了。</p>try{ggauto();} catch(ex){}
“也就是说，只要这百分之5的数据和测试集的数据差别不大，你的办法可以比去年的冠军强十个百分点？”唐璜仍旧还处于极度的震撼当中。“就这么简单？我还没出力呢，你们就全趴下了？”</p>
唐璜此时的感觉，就像是夜神月第一次发现原来可以直接指派死神去除掉自己最大的对手L一样。想象中的努力，拼搏和奋斗一样都没有发生，也完全没有必要，惊人的成绩和进展甚至在比赛正式开始之前就已经获得。</p>
“这就是人生。成功与失败很多时候可能与你并无关系，习惯就好。”孟繁岐拍了拍他的肩膀，“这次不习惯也没什么，以后的道路还有很长很长，你会习惯的。”</p>
因为不习惯也没办法，是吧。改变不了体重的人就只能改变审美。</p>
否则会被自己折磨一辈子的。</p>
既然在95%的数据上已经取得了这样的结果，接下来要做的就是把余下的5%也加入进去，继续微调模型几天。</p>
如此一来，得出的最终结果就可以直接在11月份的时候做提交所用了。</p>
在一个性能已经相当不错的模型上继续微调它的性能，就远远用不到21天那么久的时间了。</p>
只需两天左右的时间，新的训练日志便显示，模型的性能已经基本收敛到一个固定值，很少再继续波动。</p>
这样的话，孟繁岐在前往澳大利亚会议现场之前，就只剩下唯一的一件事情要做，那就是补齐手头这些论文的实验数据。</p>
将这些文章所缺的最后一块拼图填补上去。</p>
截止此时，孟繁岐已经大约完成了接近7篇之多的文章。除了本次的参赛核心，基于残差思想的新模型DreamNet，以及相关的训练技巧，批归一化，Adam二阶优化器，和Mix-up数据增强之外。</p>
孟繁岐还在三个其他方向上准备了开创性的工作，以占坑三个关键的领域。</p>
在参赛的相关内容中，其实只有残差网络算得上是开创性的内容。余下的三者，虽然是各自方向上的佳作，但是难以称得上是某一细分领域的奠基之作。</p>
写论文去详细描述，也只是迫于无奈，因为为了确保DreamNet的性能和训练速度，孟繁岐不得已而使用了一些技巧。</p>
为了确保这样的重要结果业界可以复现，孟繁岐不得不详细描述这些训练技巧，于是便写成论文。但若是有得选择，其实并不急于一时。</p>
而他真正希望抢占先机去布局的，一，是先前与付院长讨论过原理的，生成式对抗网络。这是近些年来最具有前景也最优雅的无标签学习方法，是以后所有生成类技术难以绕开的一个里程碑。</p>
二，是基于新思想的实时检测网络。这会使得在图片上分辨物体并确定位置的速度和准确率大大提高。日后落地最广的图像检测技术，不论是人脸识别，自动驾驶还是工业内检测。这些新技术都不得不提到这次提速的重要意义。</p>
三，则是最简洁好用的分割网络，U-Net。这将会是复杂分割任务的基准线，并且会制霸医疗图像领域。</p>
孟繁岐选出这三类加上残差网络，就涵盖了分类，检测，分割和生成四大领域。占领了图像算法的四大主要赛道。</p>
之所以全选择图像类的技术，也是为了显得合理一些。至于语言类，语音类或者多种模态的融合算法，他则计划可以稍稍放缓些时日提出。</p></div>
“模型的训练过程需要将所有的权重，数据和许多中间过程都放入GPU中进行处理。因而GPU的显存大小格外重要。”孟繁岐叹了口气，“即便是我们购买的旗舰690，也太小了，只有4G大小。”</p>
比起后来被美国禁止卖给华国的A100-80G，690不说其他性能，单显存就少了20倍。孟繁岐如今只能可怜巴巴地每次使用16张图片对模型进行迭代。</p>
“一次十六张，一次循环要接近一百万次才能更新完整个数据集。而想把模型收敛好，上百次循环又是少不了的。”</p>
孟繁岐估算了一下，这个版本出一次结果要接近20天，最后的训练过程确实大概消耗了三周左右以收敛到现在的这个性能。</p>
好在IMAGENET在后来基本成为了每个算法工程师必调参的练手数据集，孟繁岐自己就曾无数次刷榜，自然是轻车熟路，清楚各类参数的大概设置。</p>
这为他至少节省了一两個月的珍贵时间。</p>
即便一次训练需要三周之久，孟繁岐却仍旧赶在比赛开始之前就已经准备好了一版模型。</p>
看着训练出来的模型最终性能达到了预期，孟繁岐心中的一块大石总算落地了。</p>
这几个月来，他唯一担心的一件事情就是多年前的老框架会出一些他意料之外的问题，导致最终的结果不能和理论预期吻合。</p>
一旦这种事情发生，找到问题所在并测试解决的代价就太大了。倘若不能够及时解决，会很大影响到他初期的规划。</p>
眼下的结果大约在4.9%的top-5错误率，这个版本比后世论文中的性能要稍差了一丁点，但好在仍旧强于赛事方给出的人类标准了。</p>
一般来说，比赛前是不会公布比赛所使用的具体数据的。只是IMAGENET比赛比较特殊，一千多万量级的图片，总不可能办一两次比赛就舍弃掉，不再使用。</p>
因而每届比赛所用的数据是变化很小的，只是具体赛道，所竞争的内容和评判的方式常会有所调整。</p>
虽说IMAGENET休赛的时期其实也可以提交结果，孟繁岐现在就可以把这个结果上传上去，夺取第一的位置，但关注度毕竟不可与赛时的激烈竞争同日而语。</p>
与此同时，唐璜也终于开始意识到事情的走向已经远远偏离了他的预料。</p>
“我记得之前查到AlexNet在这上面的准确率不到85吧，你现在这个已经特么超过95了啊。”唐璜第一次来查看结果的时候完全不敢相信这个事实。</p>
“你确定没搞错？别忽悠兄弟啊。兄弟书读的少，很容易被骗的。”唐璜此刻的心态很复杂，很希望这是真的，但由于事情实在显得太美好，反而很难相信。</p>
“是假的，我骗你的。”孟繁岐翻了个白眼，“我加了特技，里面都是化学的成分。”</p>
“不会吧，我亲眼看这性能一路上收敛上来的。”唐璜又翻了翻模型训练的日志，声音之中带了三分委屈。他刚刚已经在脑补自己抱紧大腿，走上人生巅峰的场景了。</p>
这就是患得患失的可怜人啊，不敢相信，却又害怕是假的。</p>
“虽然我没有测试集的真实答案，但是我从训练集里划了百分之5出来没有使用，作为验证的办法。”孟繁岐对这个数据集的方差可以说是了然于胸，95%的数据用于训练，5%的数据用于测试已经是相当稳妥而保守的比例了。</p>try{ggauto();} catch(ex){}
“也就是说，只要这百分之5的数据和测试集的数据差别不大，你的办法可以比去年的冠军强十个百分点？”唐璜仍旧还处于极度的震撼当中。“就这么简单？我还没出力呢，你们就全趴下了？”</p>
唐璜此时的感觉，就像是夜神月第一次发现原来可以直接指派死神去除掉自己最大的对手L一样。想象中的努力，拼搏和奋斗一样都没有发生，也完全没有必要，惊人的成绩和进展甚至在比赛正式开始之前就已经获得。</p>
“这就是人生。成功与失败很多时候可能与你并无关系，习惯就好。”孟繁岐拍了拍他的肩膀，“这次不习惯也没什么，以后的道路还有很长很长，你会习惯的。”</p>
因为不习惯也没办法，是吧。改变不了体重的人就只能改变审美。</p>
否则会被自己折磨一辈子的。</p>
既然在95%的数据上已经取得了这样的结果，接下来要做的就是把余下的5%也加入进去，继续微调模型几天。</p>
如此一来，得出的最终结果就可以直接在11月份的时候做提交所用了。</p>
在一个性能已经相当不错的模型上继续微调它的性能，就远远用不到21天那么久的时间了。</p>
只需两天左右的时间，新的训练日志便显示，模型的性能已经基本收敛到一个固定值，很少再继续波动。</p>
这样的话，孟繁岐在前往澳大利亚会议现场之前，就只剩下唯一的一件事情要做，那就是补齐手头这些论文的实验数据。</p>
将这些文章所缺的最后一块拼图填补上去。</p>
截止此时，孟繁岐已经大约完成了接近7篇之多的文章。除了本次的参赛核心，基于残差思想的新模型DreamNet，以及相关的训练技巧，批归一化，Adam二阶优化器，和Mix-up数据增强之外。</p>
孟繁岐还在三个其他方向上准备了开创性的工作，以占坑三个关键的领域。</p>
在参赛的相关内容中，其实只有残差网络算得上是开创性的内容。余下的三者，虽然是各自方向上的佳作，但是难以称得上是某一细分领域的奠基之作。</p>
写论文去详细描述，也只是迫于无奈，因为为了确保DreamNet的性能和训练速度，孟繁岐不得已而使用了一些技巧。</p>
为了确保这样的重要结果业界可以复现，孟繁岐不得不详细描述这些训练技巧，于是便写成论文。但若是有得选择，其实并不急于一时。</p>
而他真正希望抢占先机去布局的，一，是先前与付院长讨论过原理的，生成式对抗网络。这是近些年来最具有前景也最优雅的无标签学习方法，是以后所有生成类技术难以绕开的一个里程碑。</p>
二，是基于新思想的实时检测网络。这会使得在图片上分辨物体并确定位置的速度和准确率大大提高。日后落地最广的图像检测技术，不论是人脸识别，自动驾驶还是工业内检测。这些新技术都不得不提到这次提速的重要意义。</p>
三，则是最简洁好用的分割网络，U-Net。这将会是复杂分割任务的基准线，并且会制霸医疗图像领域。</p>
孟繁岐选出这三类加上残差网络，就涵盖了分类，检测，分割和生成四大领域。占领了图像算法的四大主要赛道。</p>
之所以全选择图像类的技术，也是为了显得合理一些。至于语言类，语音类或者多种模态的融合算法，他则计划可以稍稍放缓些时日提出。</p></div>