Learning Efficient Object Detection Models with Knowledge Distillation



畳み込みニューラルネットワーク(CNN)ベースの物体検出器では、精度が大幅に向上しているにもかかわらず、リアルタイムアプリケーションのために画像を処理するために法外なランタイムを必要とすることがよくあります。最新のモデルは、多くの浮動小数点演算を伴う非常に深いネットワークを使用していることが多い。モデル圧縮のような取り組みは,パラメータ数の少ないコンパクトなモデルを学習するが,精度は大幅に低下する.本研究では,知識蒸留[20]とヒント学習[34]を用いて,精度を向上させたコンパクトで高速な障害物検出ネットワークを学習するための新しいフレームワークを提案する.知識蒸留は、より単純な分類設定に対して優れた改善を示したが、検出の複雑さは、回帰、領域の提案、およびより少ないボリュームのラベルの形で新たな課題を提起する。我々は、クラスの不均衡に対処するための重み付きクロスエントロピー損失、回帰成分を処理するための教師拘束損失、中間的な教師分布からより良く学習するための適応層などのいくつかの工夫によって、この問題に対処している。本研究では、PASCAL, KITTI, ILSVRC, MS-COCOを含む複数のデータセットを対象に、異なる蒸留構成を用いて包括的な実証評価を行った。その結果、最新の多クラス検出モデルの精度と速度のトレードオフが一貫して改善されていることが示された。


Despite significant accuracy improvement in convolutional neural networks (CNN) based object detectors, they often require prohibitive runtimes to process an image for real-time applications. State-of-the-art models often use very deep networks with a large number of floating point operations. Efforts such as model compression learn compact models with fewer number of parameters, but with much reduced accuracy. In this work, we propose a new framework to learn compact and fast ob- ject detection networks with improved accuracy using knowledge distillation [20] and hint learning [34]. Although knowledge distillation has demonstrated excellent improvements for simpler classification setups, the complexity of detection poses new challenges in the form of regression, region proposals and less voluminous la- bels. We address this through several innovations such as a weighted cross-entropy loss to address class imbalance, a teacher bounded loss to handle the regression component and adaptation layers to better learn from intermediate teacher distribu- tions. We conduct comprehensive empirical evaluation with different distillation configurations over multiple datasets including PASCAL, KITTI, ILSVRC and MS-COCO. Our results show consistent improvement in accuracy-speed trade-offs for modern multi-class detection models.

技術ブログをはじめよう Qrunch(クランチ)は、プログラマの技術アプトプットに特化したブログサービスです
or 外部アカウントで 登録 / ログイン する





ブログ開設 or ログイン してコメントを送ってみよう