[Paper Review] Robust Test-Time Adaptation in Dynamic Scenarios

1. PTTA라는 challenge 제안했다. corruption은 continual하게 등장해야하고, 동시에 그 sampling간의 correlation이 반영되어야한다는 task이다. 이러한 task에 맞는 RoTTA(Robust Test Time Adaptation)을 제안했다.

2. 위 그림에서 볼 수 있듯이, 제안하는 방법론 자체가 구성요소가 많다. novelty가 넘쳐나는 정도. 그 구성요소를 나열해보겠다.

• Robust statistics estimation by Robust Batch Normalization(RBM)
  • 일반적인 batch norm과는 다르게 EMA를 통해서 test set의 feature statistics를 update하는 방식이다.

• Category balanced sampling with timeliness and uncertainty(CSTU)
  • Dirichlet distribution 따라서 메모리 뱅크에 저장할 test sample을 지정하는데, uncertainty가 최대한 낮도록, 그리고 각 class가 동등한 개수만큼 저장되도록 유도한다.

 

• time-aware robust training
  • loss function을 새로 지정하는데, 아래와 같이 reweighting term을 각 smaple의 age에 따라서 설정한다.

    

  • 그리고 얻은 test set sample의 strong/weak augmented sample에 대해서 cross entropy를 구한다.

    

  • reweighting을 cross entropy에 수행한다. 이를 최종적인 loss로 사용한다.

 

아직 완전히 이해한 논문은 아니라서, 활용하려면 몇 번 더 읽어보고 이해하는 시간이 필요할 것 같다.

---

참고 문헌

1. CVPR 2023 Open Access Repository (thecvf.com)

CVPR 2023 Open Access Repository