[Paper Review] Robust Mean Teacher for Continual and Gradual Test-Time Adaptation 리뷰

1. 이미 학습된 모델이 out-of-distribution data를 만났을때, domain gap을 줄이기 위해 test-time adaptation(TTA)을 한다. 특히 Mean Teacher를 자주 사용한다.

2. Symmetric Cross Entropy loss가 Cross Entropy loss보다 더 나은 graident를 만들어낸다.

다음은 CE의 수식과 그 gradient.

teacher- student model을 쓴다고 가정할 때, reversed cross entropy loss를 보면, student model prediction p에 상관없이 teacher model prediction q가 one-hot이면 최대, uniform이면 최소가 되는 모습을 보여준다. 이는 L_rce가 high confidence smaple에 대해서도 그 성능을 유지하는 것이라고 주장하고, 따라서 Symmetric CE loss가 high/low confidence에 상관없이 더 나은 gradient를 보이는 이유라고 설명한다.

다음은 SCE의 수식과 그 gradient.

이 부분은 잘 이해가 안가서, 후에 다시 읽어봐야 될 것 같다.

결과적으로, 다음과 같이 self training loss를 둔다.

3. Contrastive Learning

train set에서 구한 각 class에 대한 prototype과 test set, augmented test set을 활용해서 3N개의 sample을 만들고, 이에 대해서 contrastive loss를 준다.

4. Source Replay

source에 해당하는 train data 몇개를 다시 학습을 진행해서, 모델의 error accumulation을 방지한다.

종합하면 다음과 같은 loss를 보인다.

---

그 외 참고할만한 점

BatchNormalization을 test set에 맞추는 것만으로도 성능이 오른다고 한다. 이를 꽤 자주 강조한다.

---

참고 문헌

1. CVPR 2023 Open Access Repository (thecvf.com)

CVPR 2023 Open Access Repository