[Paper Review] GMMSeg: Gaussian Mixture based Generative Semantic Segmentation Models

GMMSeg: Gaussian Mixture based Generative Semantic Segmentation Models

Introduction

기존 discriminative model의 문제

1. dicision boundary 중심으로만 학습된다. underlying data distribution은 무시된다.
2. 한 class에 하나의 weight vector만 학습된다.
3. OOD 만나면 빠르게 acc가 떨어진다.

이를 해결하기 위해서 generative model을 통해 p(x,c)를 예측하고, bayes rule을 통해서 p(c|x)를 추론한다.

이 과정에서 다음과 같은 장점이 있다.

1. feature space에서 discriminative representation learning이 가능
2. multimodal data density에 더욱 근접
3. distribution이 abnormal input에 대해서 rejection이 강해져서 robust해짐

Related Works

Semantic Segmentation

대부분의 방법론이 pixelwise, discriminative classifer에만 치중되어있다.

Discriminvateive vs Generative Classifieres

대체로 Generative model이 더 robust하다고 함.

기존 방법과는 다르게 GMMSeg는 classifier는 EM으로 update하고, 나머지만 Gradient descent를 사용한다고 함.

Anomaly Segmentation

기존 방법들은 다음과 같다.

1. Uncertainty estimation : MCdropout or uncertrainty estimation algorithm
2. Outlier에 exposure : 추가 dataset, 성능 감소
3. Image resynthesis : reconstruct input image & discriminate anomaly instances w/ recon error

GMMSeg는 추가 데이터나 추가 모듈 없이 한 모델 에서 outlier를 알아낼 수 있다.

Method

다음과 같이 feature extractor만 두고, 거기서 바로 EM algorithm을 가한다. 그런데 이게 최신 EM algorithm이다. 나중에 찾아보기로 하고…

GMM은 GD로 update하지 않고 EM update만하고, 여기서 구한 probability를 이용해서 CE loss를 두어서 feature extractor를 학습한다.

참고로 여기서 GMM은 기본적으로 p(x|c)를 predict하기 때문에, 자연스럽게 anamaly detection을 할 수 있게 된다.

Experiments : Ablation Studies

GMM classifier를 softmax classifier 이후로 나온 feature space에 fit되게 학습하게 되면 효과가 없음을 보임

또한 GD로 discriminative하게만 학습해도 좋지 못한 성능을 보임

Confidence Calibration에서도 prob-confidence간 비례관계를 잘 보여줌