어쩌다 하게 되었나
여름방학에는 포트폴리오도 만들 겸, 로봇팔에서 사용할 CNN 모델을 구현할 생각이었다.
그런데 어느날 학과 사무실에서 문자가 왔었다.
사이트를 보니 자율주행에 사용되는 Radar 센서에 관한 해커톤을 진행하고 교육도 시켜준다길래 오... 하고 있다가,
대회에서 요구하는 Task가 무엇인지 살펴보기 위해서 신청서를 야금야금 쓰다보니
갑자기 신청되었다. 자기소개서 쓰거나 하는 것도 없이 그냥 메일과 전화번호만 쓰고선...
...
취소 처리를 해야겠다 싶기는 했는데, 시험기간이라 귀찮기도 하고, 정 할 거 없으면 해야지 싶어서 놔뒀다가...
정작 방학이 시작되니 바빠져서 관두려고 했었다. 그래서 문의드렸는데,
'이번에 관두면 다시 지원 불가하다.'라는 답변에 지레 겁먹고,
참여해버렸다.
온라인 강의 수강 : 7월
크게 여섯가지 주제로 강좌가 있었다.
- 품질 공학 및 신뢰성 공학
- 지도 학습
- 비지도 학습이라고 하지만 그저 Representation Learning
- Explainable AI
- 인과추론
- 자율주행 레이더 센서
강의는 대부분 국내 대학 교수님들이 진행하였다. 교육의 품질과 수준이 매우 우수한 편이고, 학부생 입장에서는 생소한 Representation Learning과 XAI와 같은 부분을 다뤄주는 것이 정말 만족스러웠다.
반대로 얘기하자면 절대 초심자를 위한 입문 강의가 아니었으며, 어느 정도 수준이 있는 사람들이 들을 법한 내용이었다. 이런 점에서 봤을 때 LG Aimers 참여로 가장 득을 볼 수 있는 시점은 아마 졸업 직후 ~ 석사 진입 초기 정도 아닐까 싶다.
그리고 이 교육에는 치명적인 문제가 하나 있었는데,
이후 Dacon에 도움이 되지는 않았다는 것이다.
Dacon이 이런 형식이었다면, 수리통계에 관해서 알려주고 Feature Reduction을 수행하는 방법을 알려주는 것이 더 나았을 것이다.
Dacon 대회참여 : 8월
대회는 그 전의 강의와는 전혀 상관없는 내용의 과제가 주어졌다. LG 측에서는 관련있다고 생각할 수도 있겠지만...
관련 있는 걸 열심히 찾자면 Linear Regression 문제다 정도...?
문제를 아무리 들여다봐도 강의 중에 나왔던 infoNCE나 Causal Inference를 적용하기는 어려워보였다. 뭐 vision task를 중심으로 다뤘던 XAI는 말할 것도 없다. 품질 및 신뢰성 공학에서 배운 내용들도, 이 문제에 적용해서 푸는 것은 어려워보였다. 물론 필자가 통계를 잘 모르기도 하고...
문제 해결 과정
팀원은 필자 포함 다섯이었으나, 일단 model 설계부터 data engineering까지 전반적인 작업을 혼자했다.(...) 다행히도 고등학교 동창이 한 명이 있어서, minmax scaling 클래스 설계에는 도움을 크게 받았다.
결국에는 가장 일반적인 방법으로 문제를 풀었다.
처음에는 torch를 이용해서 풀이를 시도했으나 (https://dacon.io/competitions/official/235927/codeshare/6013?page=1&dtype=recent&fType), 일반적인 머신러닝 프레임워크에 비해 개발이 느리고, 앙상블 방법을 빠르게 구현할 필요가 있다고 생각되서 scikit-learn으로 코드를 변경했다. 아래 코드는 아마 8월 27일이 지나면 공개될 것이다.
(https://github.com/engineerJPark/lg-aimers-dacon-2022)
그리고 data를 살펴본 결과 결측치는 없으나 outlier가 종종 있고, 유사한 feature와 상관계수가 과하게 높은 feature를 발견했다.
outlier는 이상치를 확인하는데 반드시 필요하다고 생각되어 유지하였고, 유사한 feature는 평균을 내어 묶고, 상관계수가 높은 feature는 하나를 삭제했다. 물론 PCA를 하는 방법도 있었지만 원리와 방법를 몰라서 시도하지 않았다. 또한 유사 feature는 분포가 서로 다른 경우가 종종 있어서 옳은 방법이라고 장담할 수는 없었다.
어찌되었든 이런 방법을 통해서 2.xx대에서 머물던 nrmse 기준 점수를 1.96 대까지 하락시켰고, 수료 기준을 통과하였다.
하지만 부족한 실력 내에서 목표는 수료였기도 하고, 다른 프로젝트도 마무리해야하는 상황이라서... 일단 baseline을 넘겨 수료 안전권에 들어오는 것까지가 나의 역할이라고 생각했고, 그 이후는 다른 팀원에게 맡겼다.
결론
일단 교육은 확실히 질이 좋고 인공지능 연구에 대한 지식에 도움이 된다고 할 수 있겠다. 하지만 난이도가 있는 편인 강의라서, 청정수 수준의 입문자라면 추천해주기 어렵다.
하지만 교육과 이후 dacon 해커톤과는 상관성이 많이 떨어지고, 실습과 같은 과정이 없어서, 딥러닝에 처음 입문하는 사람이라면 dacon 수료 기준을 넘기기가 매우 어려울 것이다. 일단 baseline이라고 주어지는 수료기준이 생각보다 높다. 필자도 일주일 정도 걸렸다.
즉, 어느 정도 data science competition에 경험이 있고, 공부를 조금이라도 해본 사람이 등록해보는 것이 좋을 것이다.