欧美性猛交XXXX免费看蜜桃,成人网18免费韩国,亚洲国产成人精品区综合,欧美日韩一区二区三区高清不卡,亚洲综合一区二区精品久久

知識蒸餾示意圖

知識蒸餾因為2015年Hinton的著(zhù)名論文 Distilling the knowledge in a neural network 而被更多人所認知，是模型參數壓縮、計算加速的重要方法，尤其在將深度神經(jīng)網(wǎng)絡(luò )模型部署到移動(dòng)端、IOT等邊緣設備上時(shí)。

在華東師范大學(xué)讀書(shū)的Yuang Liu 同學(xué)最近對知識蒸餾方向近幾年（2015-2019）進(jìn)行了技術(shù)總結、應用梳理和擴展討論。作者希望通過(guò)52CV平臺分享出來(lái)供大家參考。

Yuang Liu查考了大量的知識蒸餾的技術(shù)文獻，并按照以下模塊設置對該領(lǐng)域進(jìn)行了技術(shù)梳理：

知識蒸餾的定義：

Knowledge Distillation aims to compress and improve the model by transfering knowledge from deep nets to a small network.

Yuang Liu從三個(gè)方向知識蒸餾

對近幾年的知識蒸餾方法進(jìn)行了總結，每部分均有具代表性的論文介紹。

在知識蒸餾應用的部分，作者從GAN、ReID、視頻分類(lèi)、姿態(tài)估計、物體姿態(tài)回歸、BERT（NLP）、車(chē)道線(xiàn)檢測、語(yǔ)義分割等方向分別列出了代表性論文。

GAN是目前大熱的深度學(xué)習方向，作者進(jìn)一步調研了知識蒸餾與GAN的關(guān)系：

最后作者從新出的知識蒸餾文獻中總結了該領(lǐng)域的挑戰和展望。

PDF 資料下載：