3D Semantic Segmentation in the Wild: Learning Generalized Models for Adverse-Condition Point Clouds
Dataset : The SemanticSTF Dataset
bounding box만 있던 LiDAR dataset이던 STF를 활용해서, SemanticSTF를 제안한다. 실제로 촬영해서 구한 dataset이고, 본 논문에서는 point annotation만 추가한 것이다.
Annotation 방법에 대해서 상세하게 기술하고 있으나, 기술적으로는 중요하지 않으므로 스킵한다. 자세한 것은 논문 참고
Method : Point Cloud Domain Randomization
PointDR의 경우 두가지의 주요 component가 있다. 1) 하나는 weak/strong augmentation을 가하는 Geometry style randomization, 2) 다른 하나는 memory bank를 통해서 contrastive learning을 하는 Embedding aggregation이다.
결과적으로 loss는 다음과 같이 계산된다.
Experiments
1. Domain Generalization
다른 augmentation only 방식이나, 2D에서 사용되던 augmentation보다 성능이 좋다고 한다.
prototype을 기용하는게 의미가 있는 모양. 그렇다면 reconstruction loss를 사용해서 embedding을 고정하거나 하는 것도 효과가 있을까?
2. Domain Adaptation
기존 방법들을 비교해본 결과, CosMix가 가장 성능이 좋았다고 한다.
3. Source only
현시점의 다양한 3D segmentation model들이 dataset discrepency에 잘 적응하는지 확인해본 결과, Cylinder3D나 SalsaNext는 취약하다는 것을 알아냈다.
