[ECCV 2024] Rethinking LiDAR Domain Generalization: Single Source as Multiple Density Domains
paper link: https://arxiv.org/abs/2312.12098
Rethinking LiDAR Domain Generalization: Single Source as Multiple Density Domains
In the realm of LiDAR-based perception, significant strides have been made, yet domain generalization remains a substantial challenge. The performance often deteriorates when models are applied to unfamiliar datasets with different LiDAR sensors or deploye
arxiv.org
Problem Statement
이 연구는 dataset간에 domain generalization이 잘 되지 않는 근본적인 이유를 density matching임을 지적한다.
Methods
이를 위해 각 dataset 간의 distance 별 density를 맞추기 위하여 각각의 LiDAR beam의 density를 예측하고, 이 density를 aware한 상태에서 voxel feature를 추출한다. 이외에도 point feature를 추가로 만들어서 활용하며, augmentation으로 Mix3D를 변형 활용해 density spectrum을 넓히고자 한다.
아래는 overall method.
Point-voxel feature encoding은 MLP와 PointNet을 기반으로 각각 추출한다.
이후에는 각 beam마다의 density를 예측한다. 일정한 영역에 beam이 있으면 1 아니면 0을 부여하고, 이들을 gaussian filtering한 이후에 외적해서 filter를 만든다. range image는 아닌 것 같다. 이후 이를 활용해서 각각의 beam마다의 density를 예측. 여기서 거리에 제곱 반비례하게 density를 예측한다.
아래는 beam density를 예측하는 모듈.
Density-aware embedding은 density에 상관없이 일정한 voxel feature를 내놓기 위한 모듈로 보인다. 앞서 구한 density를 각 point와 voxel에 hamadar multiply하는 방식으로 attention 연산을 수행한다.
아래는 Density-aware embedding 모듈이다.
Results
similarity matrix 실험 등을 통해 제안한 method로부터 얻은 결과가 domain generalization에 density가 큰 영향을 줌을 보였으며 동시에 density invariant한 모델을 만들 수 있음을 보였다.
