LiDARism

1. PTTA라는 challenge 제안했다. corruption은 continual하게 등장해야하고, 동시에 그 sampling간의 correlation이 반영되어야한다는 task이다. 이러한 task에 맞는 RoTTA(Robust Test Time Adaptation)을 제안했다. 2. 위 그림에서 볼 수 있듯이, 제안하는 방법론 자체가 구성요소가 많다. novelty가 넘쳐나는 정도. 그 구성요소를 나열해보겠다. Robust statistics estimation by Robust Batch Normalization(RBM) 일반적인 batch norm과는 다르게 EMA를 통해서 test set의 feature statistics를 update하는 방식이다. Category balanced samp..

Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles 1. Proper scoring rule : uncertainty를 함내하는 적절한 loss function을 사용하라는 뜻이다. log-likelihood, softmax cross entropy, mean square error loss 등의 기존 NN에 사용하던 loss가 이러한 항목에 들어간다고 reference를 통해 언급한다. 2. Adverarial training을 통한 predictive distribution을 smooth하게 하는 것. Goodfellow et al. 에서 제안한 adversarial example을 생성해서 model robustnes..

1. 이미 학습된 모델이 out-of-distribution data를 만났을때, domain gap을 줄이기 위해 test-time adaptation(TTA)을 한다. 특히 Mean Teacher를 자주 사용한다. 2. Symmetric Cross Entropy loss가 Cross Entropy loss보다 더 나은 graident를 만들어낸다. 다음은 CE의 수식과 그 gradient. teacher- student model을 쓴다고 가정할 때, reversed cross entropy loss를 보면, student model prediction p에 상관없이 teacher model prediction q가 one-hot이면 최대, uniform이면 최소가 되는 모습을 보여준다. 이는 L_r..

CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data [2303.12417] CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data (arxiv.org) CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud DataContrastive Language-Image Pre-training, benefiting from large-scale unlabeled text-image pairs, has demonstra..

Training data-efficient image transformers & distillation through attention 초록 및 서론 기존의 ViT 연구에서는 “do not generalize well when trained on insufficient amounts of data”라고 결론지었다. 실제로도 ViT는 inductive bias가 거의 없으므로, model capacity가 높을 것이다. 이 논문에서는 이 문제를 해결하기 위해서 (1) Distillation architecture를 정의하고 (2) token-based distillation을 활용해서 적은 epoch으로 더 좋은 성능의 Vision Transformer를 학습한다. 이를 Data-efficient imag..

아래 코드 스니펫은 인턴 생활을 하면서 새로 개발하거나 이전 논문에서 있었던 모듈을 재구현 한 것이다. CGN에의 training scheme 구현. 아래에 원본 github과 paper가 있습니다. 필자의 training scheme과 구조가 달라서 따로 함수로 적출한 형태입니다.. 원본에서는 Model Class 내에서 dataloading과 train을 하도록 구현되어있었습니다. https://github.com/KAIST-vilab/OC-CSE GitHub - KAIST-vilab/OC-CSE: Unlocking the Potential of Ordinary Classifier: Class-specific Adversarial Erasing Framework for We Unlocking the ..

Railroad is not a Train: Saliency as Pseudo-pixel Supervision for Weakly Supervised Semantic Segmentation Weakly Supervised Semantic Segmentation 분야에서 2021년 CVPR accpet 및 SotA를 달성한 논문이다. 우선 WSSS(Weakly Supervised Semantic Segmentation)의 Process에 대해서 간단히 설명하자면, image에 어떻나 object가 존재하는지만 알려주는 label(이를 image-level label이라고 한다.)을 이용해서, pixel마다 label 정보(이를 pixel-level label이라고 한다.)가 있던 Fully Supervis..

DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs 주요 업적 : atrous convolution atrous spatial pyramid pooling (ASPP) fully connected Conditional Random Field (CRF) 도입 DCNN의 translation invariance는 segmentation의 localization precision을 저하한다. 세가지 해결 과제가 있다. reduced feature resolution existence of objects at multiple scales reduced localiz..

SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS : DeepLab V1 주요 업적 Atrous Convolution을 제안하여 Signal reduction을 최소화 추후 Dilated Convolution이라는 이름으로 다시 사용 CRF 사용해서 boundary에서의 성능 향상 Introduction 기존 Segmentation은 Localization이 낮았다. fully-connected Conditioal Random Field를 이용하여 model 결과의 Fine-detail을 살린다. CRF의 경우 기존 Classifier의 class score와 Low-level pixel/edge inform..

[Pytorch Error] RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [21, 21, 4, 4]] is at version 2; expected version 1 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True). 위와같은 inplace operation이 gradient flow를 방해하는 이유는, computa..