반응형
Single Domain Generalization for LiDAR Semantic Segmentation
Problem
- 타겟으로 하는 2개의 domain에 대해서는 잘 되는 모습을 보이지만, 정작 unseen domain에 대해서는 좋지 못한 성능을 보인다.
- sparsity invariant feature를 만들지 못하고 있다.
- dataset 간의 semantic correlation을 잘 활용하지 못하고 있다.
Solution
- Spherical projection 기반으로 beam 단위의 drop을 수행 → multi-sparsity augmentation
- SIFC loss: Sparsity Invariant Feature Consistency. Voxel별 align. 비어있는 voxel은 knn해서 weighted sum하는 방식으로 가상의 feature 만들어서 align
- SCC loss: Semantic Correlation Consistency. classwise prototype 만들고 class correlation map을 외적을 통해 만든 후, 각 scene 마다 차이 줄도록 loss
- 다음은 전반적인 training protocol
Limitation
- Domain gap의 원인에 대해서는 LiDAR 센서간 차이에 의한 sparsity 외에는 명확하게 규정한 것이 없다.
- 이쪽 line의 연구들이 공통적으로 가지고 있는 문제이다.
- 서로 다른 domain이어도 같은 semantic에 대해서 correlation이 생겨야 할 이유는 없다. urban scene이라고 제한한다면 모를까, 비포장도로에 준하는 곳에서의 도로 주행이 일상인 곳 또한 있다. 그런 곳에서는 제안된 loss가 효과를 보이기는 어려울 것이다.
반응형