LiDARism

1. PTTA라는 challenge 제안했다. corruption은 continual하게 등장해야하고, 동시에 그 sampling간의 correlation이 반영되어야한다는 task이다. 이러한 task에 맞는 RoTTA(Robust Test Time Adaptation)을 제안했다. 2. 위 그림에서 볼 수 있듯이, 제안하는 방법론 자체가 구성요소가 많다. novelty가 넘쳐나는 정도. 그 구성요소를 나열해보겠다. Robust statistics estimation by Robust Batch Normalization(RBM) 일반적인 batch norm과는 다르게 EMA를 통해서 test set의 feature statistics를 update하는 방식이다. Category balanced samp..

Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles 1. Proper scoring rule : uncertainty를 함내하는 적절한 loss function을 사용하라는 뜻이다. log-likelihood, softmax cross entropy, mean square error loss 등의 기존 NN에 사용하던 loss가 이러한 항목에 들어간다고 reference를 통해 언급한다. 2. Adverarial training을 통한 predictive distribution을 smooth하게 하는 것. Goodfellow et al. 에서 제안한 adversarial example을 생성해서 model robustnes..

1. 이미 학습된 모델이 out-of-distribution data를 만났을때, domain gap을 줄이기 위해 test-time adaptation(TTA)을 한다. 특히 Mean Teacher를 자주 사용한다. 2. Symmetric Cross Entropy loss가 Cross Entropy loss보다 더 나은 graident를 만들어낸다. 다음은 CE의 수식과 그 gradient. teacher- student model을 쓴다고 가정할 때, reversed cross entropy loss를 보면, student model prediction p에 상관없이 teacher model prediction q가 one-hot이면 최대, uniform이면 최소가 되는 모습을 보여준다. 이는 L_r..

CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data [2303.12417] CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data (arxiv.org) CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud DataContrastive Language-Image Pre-training, benefiting from large-scale unlabeled text-image pairs, has demonstra..

Training data-efficient image transformers & distillation through attention 초록 및 서론 기존의 ViT 연구에서는 “do not generalize well when trained on insufficient amounts of data”라고 결론지었다. 실제로도 ViT는 inductive bias가 거의 없으므로, model capacity가 높을 것이다. 이 논문에서는 이 문제를 해결하기 위해서 (1) Distillation architecture를 정의하고 (2) token-based distillation을 활용해서 적은 epoch으로 더 좋은 성능의 Vision Transformer를 학습한다. 이를 Data-efficient imag..

Railroad is not a Train: Saliency as Pseudo-pixel Supervision for Weakly Supervised Semantic Segmentation Weakly Supervised Semantic Segmentation 분야에서 2021년 CVPR accpet 및 SotA를 달성한 논문이다. 우선 WSSS(Weakly Supervised Semantic Segmentation)의 Process에 대해서 간단히 설명하자면, image에 어떻나 object가 존재하는지만 알려주는 label(이를 image-level label이라고 한다.)을 이용해서, pixel마다 label 정보(이를 pixel-level label이라고 한다.)가 있던 Fully Supervis..

DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs 주요 업적 : atrous convolution atrous spatial pyramid pooling (ASPP) fully connected Conditional Random Field (CRF) 도입 DCNN의 translation invariance는 segmentation의 localization precision을 저하한다. 세가지 해결 과제가 있다. reduced feature resolution existence of objects at multiple scales reduced localiz..

SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS : DeepLab V1 주요 업적 Atrous Convolution을 제안하여 Signal reduction을 최소화 추후 Dilated Convolution이라는 이름으로 다시 사용 CRF 사용해서 boundary에서의 성능 향상 Introduction 기존 Segmentation은 Localization이 낮았다. fully-connected Conditioal Random Field를 이용하여 model 결과의 Fine-detail을 살린다. CRF의 경우 기존 Classifier의 class score와 Low-level pixel/edge inform..

U-Net: Convolutional Networks for Biomedical Image Segmentation 기존 연구의 문제점 이미지에서 하나의 patch를 추출하는데, 각 patch를 모두 다른 network에서 학습을 진행했다. 이는 overlapping하는 부분 때문에 연산이 낭비되는 문제가 있었다. 크기가 큰 patch의 경우 max-pooling을 더욱 많이 거치는데, 이 경우 localization accuracy(즉, 각 pixel 별 class 예측의 정확도)가 떨어진다. 크기가 작은 patch의 경우 context에 대한 인식률이 떨어지게 된다. U-net의 Architecture Fully Convolutional Network이 발전한 모델이다. end-to-end로 train..

Paper Link https://arxiv.org/abs/1512.02325 Abstract single deep neural network를 이용해서 object를 detecting하는 방법에 관한 논문이다. SSD는 bounding box의 output space를 default box의 집합으로 이산화한다. 이 때 그 bounding box의 aspect ratio와 scale을 feature map을 기준으로 여러 개로 만든다. prediction time에는, network가 object category에 관한 score와 object shape에 더 알맞은 bounding box adjustment를 출력한다. 또한, network는 object를 여러 개의 size로 다루기 위해서, 여러 ..