アノテーションに大きめの空白の対処の相談とPSPNetの実装の報告です
コマツさんから、八枚の粗いアノテーションのデータをもらいました。
画像の解像度は640x480で想定より低いと考えています。
Dense-CRFsの手法を使用して、拡張の結果は真ん中の画像になります。
建機の小さい部分まで、きれいに拡張していると見えます。
山見たい路肩もあるし。
どこが路肩なのか、どこが粗い路面なのか、見にくいと思います。
遠景の部分では、コマツの董さんの話より、アノテーションにが難しい部分が多いので、大きめの空白が存在します。
Dense-CRFsの手法では、空白部分の周辺ピクセルを考慮して、ラベルを拡張するから、大きめの空白に対する拡張は精度が悪いと考えます。
既存研究では、
Cityscapesといったデータセットを例として、Annotationに空白はかなり存在します。
上記の図のように、黒色の部分は空白としています。
多くの論文では、モデルを学習する時、Lossにマスクをかけて、空白の部分のLossを計算しないようにします。
評価する時も同じく、空白部分は評価しないです。
先言った大きめの空白の対処について、二つがあると考えます。
一つ目は大きめの空白をそのまま空白とします。
考えとして、遠景の認識はあまり重要ではないなら、つまり、遠景の部分に対するsegmentationが不要でしたら、
実用する時、デプス画像を使用して、遠景の部分を排除します。
しかし、デプスの画像はどのような仕様なのか、コマツさんに確認する必要があります。
また、そのまま空白とすると、学習目標が少なくなるから、モデルの収束が早くなると考えます。
二つ目はもう一つのクラス[遠景クラス]を定義します。
そうなる、モデルの学習はしにくくなると考えています。
5
网友评论