LiDARism

석사 한학기가 지나가면사 터득한 '좋은 논문' 찾는 방법에 대해서 생각해봤다. 순서는 다음과 같다. 1. CVPR/ICCV/ECCV 20XX accepted paper 2. paper with codes 3. arxiv sanity 4. yanic kilcher discord 1. CVPR/ICCV/ECCV 20XX accepted paper 무조건 이 세 군데부터 들어가봐야한다. 이유는 1) accept 됐다는 것은 퀄리티가 어느정도 보장된다는 의미이며 2) 당신의 논문도 어셉되려면 다른 사람 논문의 좋은 점을 닮아야하니까. 그리고 가장 좋은 것은 기존의 또 다른 좋은 논문이 accepted paper 속의 비교 대상으로 되어있을 것이기에, reference를 따라서 해당 task line의 일대기를 ..

[BUG] fatal error: cusolverDn.h: No such file or directory · Issue #2684 · microsoft/DeepSpeed (github.com) [BUG] fatal error: cusolverDn.h: No such file or directory · Issue #2684 · microsoft/DeepSpeed Describe the bug When I have installed deepspeed and dependencies gcc and g++ from the given links : https://lindevs.com/install-gcc-on-ubuntu https://lindevs.com/install-g-on-ubuntu I am trying ..

Introduction Temporal Action Detection은 특정한 Action의 시작과 끝을 찾는 task를 의미 Action이 종료되기 직전과 직후는 상당히 유사해서, end time을 선언하기 어려움 Action이 언제든 발생할 수 있어서, 영상 자체에서 action이 비중이 낮아서 예측이 어려움 아래 설명은 Fully Supervised Learning 기준으로 설명 Terminology Annotation = class label과 start time, end time Temporal Proposal = model에서 제안하는 class label과 start time, end time Temporal IoU = tIoU = predicted interval $I_p$와 Ground ..

1. PTTA라는 challenge 제안했다. corruption은 continual하게 등장해야하고, 동시에 그 sampling간의 correlation이 반영되어야한다는 task이다. 이러한 task에 맞는 RoTTA(Robust Test Time Adaptation)을 제안했다. 2. 위 그림에서 볼 수 있듯이, 제안하는 방법론 자체가 구성요소가 많다. novelty가 넘쳐나는 정도. 그 구성요소를 나열해보겠다. Robust statistics estimation by Robust Batch Normalization(RBM) 일반적인 batch norm과는 다르게 EMA를 통해서 test set의 feature statistics를 update하는 방식이다. Category balanced samp..

Simple and Scalable Predictive Uncertainty Estimation using Deep Ensembles 1. Proper scoring rule : uncertainty를 함내하는 적절한 loss function을 사용하라는 뜻이다. log-likelihood, softmax cross entropy, mean square error loss 등의 기존 NN에 사용하던 loss가 이러한 항목에 들어간다고 reference를 통해 언급한다. 2. Adverarial training을 통한 predictive distribution을 smooth하게 하는 것. Goodfellow et al. 에서 제안한 adversarial example을 생성해서 model robustnes..

1. 이미 학습된 모델이 out-of-distribution data를 만났을때, domain gap을 줄이기 위해 test-time adaptation(TTA)을 한다. 특히 Mean Teacher를 자주 사용한다. 2. Symmetric Cross Entropy loss가 Cross Entropy loss보다 더 나은 graident를 만들어낸다. 다음은 CE의 수식과 그 gradient. teacher- student model을 쓴다고 가정할 때, reversed cross entropy loss를 보면, student model prediction p에 상관없이 teacher model prediction q가 one-hot이면 최대, uniform이면 최소가 되는 모습을 보여준다. 이는 L_r..

CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data [2303.12417] CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud Data (arxiv.org) CLIP$^2$: Contrastive Language-Image-Point Pretraining from Real-World Point Cloud DataContrastive Language-Image Pre-training, benefiting from large-scale unlabeled text-image pairs, has demonstra..

이전 포스팅(https://knowledgeforengineers.tistory.com/m/224)에서도 언급했지만, 학부 3학년 1학기부턴가 자대에 있는 AI/컴퓨터비전 연구실에 컨택을 여러 번 시도했었습니다. 하지만 정말 하나도 남김없이 답장이 없으시거나, 에둘러 거절하시거나... 했었던 것 같습니다. 그래서 혼자서 스터디 꾸려가며 공부하고 논문 읽어보고, 프로젝트도 해보면서 쓸거리를 만들다가, KAIST에서 공식 인턴을 뽑는다고 공지가 올라온 것을 보았습니다. '자대 교수님들에게도 관심 못 받는데 될 리가 없다'라고 생각해서 인턴 컨택 이메일도 따로 안넣고 자기소개서와 CV만 써서 제출했는데... 그게 됐어요. 기대도 안했어서 면접 준비도 안했었는데, 서류 합격 메일을 받고서야 급하게 면접 준비를 ..

이전에 올렸었던 고려대 인공지능학과 면접 후기(https://knowledgeforengineers.tistory.com/225) 이후로 KAIST AI대학원 입시 후기도 남기려고합니다.알려졌던 정보와 사실(?)KAIST는 대체로 전공 면접을 크게 본다고 알려져 있었는데, 이건 정말 사람마다 다른 것 같습니다. 저같은 경우는 전공 내용을 물어보는 것이 하나도 없기도 했고, 다른 지인들도 전공 질문을 받은 경우 아닌 경우가 많이 갈렸습니다. 즉 준비 가능한 건 다 준비해야한다는 소리...서류 스펙수도권 상위 대학기계공학 + 인공지능 복전 : 학점 3.96 / 4.5KAIRI 2022 겨울 활동, 당시 ICCV Workshop 타겟 논문 작성 중 (현재는 투고 완료)로봇 동아리 활동교내 연구프로그램 참여VG..

Training data-efficient image transformers & distillation through attention 초록 및 서론 기존의 ViT 연구에서는 “do not generalize well when trained on insufficient amounts of data”라고 결론지었다. 실제로도 ViT는 inductive bias가 거의 없으므로, model capacity가 높을 것이다. 이 논문에서는 이 문제를 해결하기 위해서 (1) Distillation architecture를 정의하고 (2) token-based distillation을 활용해서 적은 epoch으로 더 좋은 성능의 Vision Transformer를 학습한다. 이를 Data-efficient imag..