[Paper Review] Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles 리뷰

Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles

1. Proper scoring rule : uncertainty를 함내하는 적절한 loss function을 사용하라는 뜻이다.  log-likelihood, softmax cross entropy, mean square error loss 등의 기존 NN에 사용하던 loss가 이러한 항목에 들어간다고 reference를 통해 언급한다.

2. Adverarial training을 통한 predictive distribution을 smooth하게 하는 것. Goodfellow et al. 에서 제안한 adversarial example을 생성해서 model robustness를 증가시킨다. 이 논문에서는 VAT(Virtual Adversarial Training)를 사용했다.

3. Ensembles를 training과 prediction에 모두 사용 → Random initialization으로 bagging 등의 random ensemble을 대체할 수 있다고 reference를 통해 주장.

학습 과정을 설명하면 다음과 같다.

---

의견

기술적인 novelty는 적으나, 분석적으로 접근한 경향이 있는 논문이다. 기술적으로 특별한거는 adversarial example 생성 뿐인데, 그 마저도 다른 논문에서 기원한 것이다. 분석을 중요하게 여기는 NeurIPS의 성격이 드러나는 대표적인 논문일지도.

---

참고 문헌

1. Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles (neurips.cc)
2. [1412.6572] Explaining and Harnessing Adversarial Examples (arxiv.org)
3. [1507.00677] Distributional Smoothing with Virtual Adversarial Training (arxiv.org)