2013年的暑假，距離比賽開始時間還有大約一個月的時
    “模型的訓練過程需要將所有的權重，數據和許多中間過程都放入gpu中進行處因而gpu的顯存大小格外重”孟繁岐歎了口氣，“即便是我們購買的旗艦690，也太小了，隻有4g大”
    比起後來被美國禁止賣給華國的a10080g，690不說其他性能，單顯存就少了20孟繁岐如今隻能可憐巴巴地每次使用16張圖片對模型進行迭
    “一次十六張，一次循環要接近一百萬次才能更新完整個數據而想把模型收斂好，上百次循環又是少不了”
    孟繁岐估算了一下，這個版本出一次結果要接近20天，最後的訓練過程確實大概消耗了三周左右以收斂到現在的這個性    這為他至少節省了一兩個月的珍貴時
    即便一次訓練需要三周之久，孟繁岐卻仍舊趕在比賽開始之前就已經準備好了一版模
    看著訓練出來的模型最終性能達到了預期，孟繁岐心中的一塊大石總算落地
    這幾個月來，他唯一擔心的一件事情就是多年前的老框架會出一些他意料之外的問題，導致最終的結果不能和理論預期吻
    一旦這種事情發生，找到問題所在並測試解決的代價就太大倘若不能夠及時解決，會很大影響到他初期的規
    眼下的結果大約在4.9的top5錯誤率，這個版本比後世論文中的性能要稍差了一丁點，但好在仍舊強於賽事方給出的人類標準
    一般來說，比賽前是不會公布比賽所使用的具體數據隻是iage比賽比較特殊，一千多萬量級的圖片，總不可能辦一兩次比賽就舍棄掉，不再使
    因而每屆比賽所用的數據是變化很小的，隻是具體賽道，所競爭的內容和評判的方式常會有所調    與此同時，唐璜也終於開始意識到事情的走向已經遠遠偏離了他的預
    “我記得之前查到aex在這上麵的準確率不到85吧，你現在這個已經特麽超過95了”唐璜第一次來查看結果的時候完全不敢相信這個事
    “你確定沒搞錯？別忽悠兄弟兄弟書讀的少，很容易被騙”唐璜此刻的心態很複雜，很希望這是真的，但由於事情實在顯得太美好，反而很難相
    “是假的，我騙你”孟繁岐翻了個白眼，“我加了特技，裏麵都是化學的成”
    “不會吧，我親眼看這性能一路上收斂上來”唐璜又翻了翻模型訓練的日誌，聲音之中帶了三分委他剛剛已經在腦補自己抱緊大腿，走上人生巔峰的場景
    這就是患得患失的可憐人啊，不敢相信，卻又害怕是假
    “雖然我沒有測試集的真實答案，但是我從訓練集裏劃了百分之5出來沒有使用，作為驗證的辦”孟繁岐對這個數據集的方差可以說是了然於胸，95的數據用於訓練，5的數據用於測試已經是相當穩妥而保守的比例
    “也就是說，隻要這百分之5的數據和測試集的數據差別不大，你的辦法可以比去年的冠軍強十個百分點？”唐璜仍舊還處於極度的震撼當“就這麽簡單？我還沒出力呢，你們就全趴下了？”
    唐璜此時的感覺，就像是夜神月第一次發現原來可以直接指派死神去除掉自己最大的對手一想象中的努力，拚搏和奮鬥一樣都沒有發生，也完全沒有必要，驚人的成績和進展甚至在比賽正式開始之前就已經獲
    “這就是人成功與失敗很多時候可能與你並無關係，習慣就”孟繁岐拍了拍他的肩膀，“這次不習慣也沒什麽，以後的道路還有很長很長，你會習慣”
    因為不習慣也沒辦法，是改變不了體重的人就隻能改變審
    否則會被自己折磨一輩子
    既然在95的數據上已經取得了這樣的結果，接下來要做的就是把餘下的5也加入進去，繼續微調模型幾
    如此一來，得出的最終結果就可以直接在11月份的時候做提交所用
    在一個性能已經相當不錯的模型上繼續微調它的性能，就遠遠用不到21天那麽久的時間
    隻需兩天左右的時間，新的訓練日誌便顯示，模型的性能已經基本收斂到一個固定值，很少再繼續波
    這樣的話，孟繁岐在前往澳大利亞會議現場之前，就隻剩下唯一的一件事情要做，那就是補齊手頭這些論文的實驗數
    將這些文章所缺的最後一塊拚圖填補上
    截止此時，孟繁岐已經大約完成了接近7篇之多的文除了本次的參賽核心，基於殘差思想的新模型drea，以及相關的訓練技巧，批歸一化，ada二階優化器，和ixup數據增強之
    孟繁岐還在三個其他方向上準備了開創性的工作，以占坑三個關鍵的領
    在參賽的相關內容中，其實隻有殘差網絡算得上是開創性的內餘下的三者，雖然是各自方向上的佳作，但是難以稱得上是某一細分領域的奠基之
    寫論文去詳細描述，也隻是迫於無奈，因為為了確保drea的性能和訓練速度，孟繁岐不得已而使用了一些技
    為了確保這樣的重要結果業界可以複現，孟繁岐不得不詳細描述這些訓練技巧，於是便寫成論但若是有得選擇，其實並不急於一
    而他真正希望搶占先機去布局的，一，是先前與付院長討論過原理的，生成式對抗網這是近些年來最具有前景也最優雅的無標簽學習方法，是以後所有生成類技術難以繞開的一個裏程
    二，是基於新思想的實時檢測網這會使得在圖片上分辨物體並確定位置的速度和準確率大大提日後落地最廣的圖像檢測技術，不論是人臉識別，自動駕駛還是工業內檢這些新技術都不得不提到這次提速的重要意
    三，則是最簡潔好用的分割網絡，這將會是複雜分割任務的基準線，並且會製霸醫療圖像領
    孟繁岐選出這三類加上殘差網絡，就涵蓋了分類，檢測，分割和生成四大領占領了圖像算法的四大主要賽
    之所以全選擇圖像類的技術，也是為了顯得合理一至於語言類，語音類或者多種模態的融合算法，他則計劃可以稍稍放緩些時日提