개발 창고

Seeing Through Fog Without Seeing Fog: Deep Multimodal Sensor Fusion in Unseen Adverse Weather Introduction & Related Works The fusion of multimodal sensor streams, such as camera, lidar, and radar measurements, plays a critical role in object detection for autonomous vehicles, which base their decision making on these inputs. While existing methods exploit redundant information in good environm..

CycleGAN: Unpaired Image-to-Image Translationusing Cycle-Consistent Adversarial Networks Introduction & Related Works Image-to-image translation is a class of vision and graphics problems where the goal is to learn the mapping between an input image and an output image using a training set of aligned image pairs. Image-to-image translation은 말 그대로 pair image 간의 transformation function을 만드는 task이다..

PatchmatchNet: Learned Multi-View Patchmatch Stereo Introduction Multiview stereo 방법론 중 Patchmatch를 더 빠른 속도로 수행하기 위한 방법이다. occlusion, illumination changes, untextured areas, non-Lambertian surfaces등에 의해 난이도가 높은 문제이다. 현재의 방법들은 대체로 3D cost volume을 만들고, 이를 3D convolution으로 해결하려고 한다. 기존 방법 : R-MVSNet [43] decouples the memory requirements from the depth range and sequentially processes the cost volu..

UniSeg: A Unified Multi-Modal LiDAR Segmentation Networkand the OpenPCSeg Codebase Introduction 색이나 texture 표현이 부족한 point cloud data를 위해서 RGB 이미지를 기용하고자 함 Sensor fusion을 위해 Learnable cross-Modal Association (LMA) module, Learnable cross-View Association module (LVA)을 제안 Pointcloud processing은 크게 세가지 형식으로 나뉜다. Point-view : pointcloud를 그대로 사용. 하지만 느린 연산과 neighboring point의 data를 잘 활용하지는 못하게 된다. Vo..

Given two strings s and t, return true if s is a subsequence of t, or false otherwise. A subsequence of a string is a new string that is formed from the original string by deleting some (can be none) of the characters without disturbing the relative positions of the remaining characters. (i.e., "ace" is a subsequence of "abcde" while "aec" is not). Example 1: Input: s = "abc", t = "ahbgdc" Outpu..

GMMSeg: Gaussian Mixture based Generative Semantic Segmentation Models Introduction 기존 discriminative model의 문제 dicision boundary 중심으로만 학습된다. underlying data distribution은 무시된다. 한 class에 하나의 weight vector만 학습된다. OOD 만나면 빠르게 acc가 떨어진다. 이를 해결하기 위해서 generative model을 통해 p(x,c)를 예측하고, bayes rule을 통해서 p(c|x)를 추론한다. 이 과정에서 다음과 같은 장점이 있다. feature space에서 discriminative representation learning이 가능 multi..

Document를 처음부터 정독하는것은 오래 걸릴 거 같아서, 필요할 떄마다 찾아서 여기에 정리해두려고 한다. MMCV 의 Registry (tistory.com) MMCV 의 Registry https://mmcv.readthedocs.io/en/latest/understand_mmcv/registry.html Registry — mmcv 1.3.16 documentation Registry MMCV implements registry to manage different modules that share similar functionalities, e.g., backbones, head, and necks, in detectors. Mos better-tomorrow.tistory.com

예전에 동아리 후배들을 위해 기록했던 글이 오래되어서, 본 블로그에서 이어서 update하려고 합니다. Deep Learning Roadmap for Mechanical Engineering Students - KAsimov Wiki (korea.ac.kr) Deep Learning Roadmap for Mechanical Engineering Students - KAsimov Wiki 본 글의 목적은 KAsimov 회원 및 Machine Learning & Deep Learning을 학습하고자 하는 기계과 학생을 위한 학습 가이드라인입니다. 학습하는 데 있어서 추천되는 순서가 있겠지만, 반드시 따를 필요는 없으 kasimov.korea.ac.kr 본 글의 목적 이전과 달리, 본 글을 읽어야 하는 분들을..

'Understanding Imbalanced Semantic Segmentation Through Neural Collapse'의 code가 아직 공개되지 않아서, 구현을 시도하던 중, 다음 수식을 구현하는데에서 문제가 있었다. 다른 방정식을 통한 풀이가 있을까 싶어서 찾다가, 딱히 방법이 없다싶어서 다음과 같이 optimization problem으로 구성해서 해결을 시도했다. import torch import numpy as np def objective_function(W, num_classes=20): """ Define the objective function. The objective is to make the dot product of columns of W with themselves ..

Transformer Interpretability Beyond Attention Visualization openaccess.thecvf.com/content/CVPR2021/papers/Chefer_Transformer_Interpretability_Beyond_Attention_Visualization_CVPR_2021_paper.pdf Deep Taylor Decomposition Supposed Problem Transformer에 대한 explaining method가 많이 없다. Attention rollout이나 GradCAM 등이 있지만, Attention rollout은 class agnostic하다는 문제가 있고, GradCAM은 무관한 영역을 지정한다는 것을 지적한다. 그 외에 다른..