LiDARism

1. 이미 학습된 모델이 out-of-distribution data를 만났을때, domain gap을 줄이기 위해 test-time adaptation(TTA)을 한다. 특히 Mean Teacher를 자주 사용한다. 2. Symmetric Cross Entropy loss가 Cross Entropy loss보다 더 나은 graident를 만들어낸다. 다음은 CE의 수식과 그 gradient. teacher- student model을 쓴다고 가정할 때, reversed cross entropy loss를 보면, student model prediction p에 상관없이 teacher model prediction q가 one-hot이면 최대, uniform이면 최소가 되는 모습을 보여준다. 이는 L_r..

CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data [2303.12417] CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data (arxiv.org) CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud DataContrastive Language-Image Pre-training, benefiting from large-scale unlabeled text-image pairs, has demonstra..

Training data-efficient image transformers & distillation through attention 초록 및 서론 기존의 ViT 연구에서는 “do not generalize well when trained on insufficient amounts of data”라고 결론지었다. 실제로도 ViT는 inductive bias가 거의 없으므로, model capacity가 높을 것이다. 이 논문에서는 이 문제를 해결하기 위해서 (1) Distillation architecture를 정의하고 (2) token-based distillation을 활용해서 적은 epoch으로 더 좋은 성능의 Vision Transformer를 학습한다. 이를 Data-efficient imag..

아래 코드 스니펫은 인턴 생활을 하면서 새로 개발하거나 이전 논문에서 있었던 모듈을 재구현 한 것이다. CGN에의 training scheme 구현. 아래에 원본 github과 paper가 있습니다. 필자의 training scheme과 구조가 달라서 따로 함수로 적출한 형태입니다.. 원본에서는 Model Class 내에서 dataloading과 train을 하도록 구현되어있었습니다. https://github.com/KAIST-vilab/OC-CSE GitHub - KAIST-vilab/OC-CSE: Unlocking the Potential of Ordinary Classifier: Class-specific Adversarial Erasing Framework for We Unlocking the ..

Railroad is not a Train: Saliency as Pseudo-pixel Supervision for Weakly Supervised Semantic Segmentation Weakly Supervised Semantic Segmentation 분야에서 2021년 CVPR accpet 및 SotA를 달성한 논문이다. 우선 WSSS(Weakly Supervised Semantic Segmentation)의 Process에 대해서 간단히 설명하자면, image에 어떻나 object가 존재하는지만 알려주는 label(이를 image-level label이라고 한다.)을 이용해서, pixel마다 label 정보(이를 pixel-level label이라고 한다.)가 있던 Fully Supervis..

DeepLab: Semantic Image Segmentation with Deep Convolutional Nets, Atrous Convolution, and Fully Connected CRFs 주요 업적 : atrous convolution atrous spatial pyramid pooling (ASPP) fully connected Conditional Random Field (CRF) 도입 DCNN의 translation invariance는 segmentation의 localization precision을 저하한다. 세가지 해결 과제가 있다. reduced feature resolution existence of objects at multiple scales reduced localiz..

SEMANTIC IMAGE SEGMENTATION WITH DEEP CONVOLUTIONAL NETS AND FULLY CONNECTED CRFS : DeepLab V1 주요 업적 Atrous Convolution을 제안하여 Signal reduction을 최소화 추후 Dilated Convolution이라는 이름으로 다시 사용 CRF 사용해서 boundary에서의 성능 향상 Introduction 기존 Segmentation은 Localization이 낮았다. fully-connected Conditioal Random Field를 이용하여 model 결과의 Fine-detail을 살린다. CRF의 경우 기존 Classifier의 class score와 Low-level pixel/edge inform..

[Pytorch Error] RuntimeError: one of the variables needed for gradient computation has been modified by an inplace operation: [torch.FloatTensor [21, 21, 4, 4]] is at version 2; expected version 1 instead. Hint: enable anomaly detection to find the operation that failed to compute its gradient, with torch.autograd.set_detect_anomaly(True). 위와같은 inplace operation이 gradient flow를 방해하는 이유는, computa..

U-Net: Convolutional Networks for Biomedical Image Segmentation 기존 연구의 문제점 이미지에서 하나의 patch를 추출하는데, 각 patch를 모두 다른 network에서 학습을 진행했다. 이는 overlapping하는 부분 때문에 연산이 낭비되는 문제가 있었다. 크기가 큰 patch의 경우 max-pooling을 더욱 많이 거치는데, 이 경우 localization accuracy(즉, 각 pixel 별 class 예측의 정확도)가 떨어진다. 크기가 작은 patch의 경우 context에 대한 인식률이 떨어지게 된다. U-net의 Architecture Fully Convolutional Network이 발전한 모델이다. end-to-end로 train..

Paper Link https://arxiv.org/abs/1512.02325 Abstract single deep neural network를 이용해서 object를 detecting하는 방법에 관한 논문이다. SSD는 bounding box의 output space를 default box의 집합으로 이산화한다. 이 때 그 bounding box의 aspect ratio와 scale을 feature map을 기준으로 여러 개로 만든다. prediction time에는, network가 object category에 관한 score와 object shape에 더 알맞은 bounding box adjustment를 출력한다. 또한, network는 object를 여러 개의 size로 다루기 위해서, 여러 ..