CVPR 2025 투고만... 한 후기

이번 CVPR에 논문을 하나 투고했다. 방금 supplementary까지 제출을 끝냈다. 올해 목표가 두편 투고였는데, 일단 목표는 달성하게 되었다.
 
이번 논문은 거의 10일만에 작성된 논문이다. 물론 의도한 것은 아니고... 이것저것하다가 뒤늦게 뭔가가 얻어걸려서 후다닥 method를 만들고 글을 쓴 경우였다. 총 소모한 시간으로 따지면 한 달 정도 되기는 할 것 같다. 그리고 짧은 시간 동안 집중적으로 무언가를 하려다보니 연구로서의 문제나, 자기 자신의 문제와 많이 직면했다.
 

첫 협업

이번 논문은 지금까지 해왔던 연구 중 첫 협업 연구였다. 저번 연구에도 2저자로 선배 한 분을 포함해서 작업했었지만, 연구를 처음부터 build up하는 경험은 하지 못했었다. 그런 의미에서 이번 연구는 '처음부터 끝까지' 함께 무언가를 만들어간다는 의미에서 진정한 의미의 협업이라고 생각한다.
 

갈팡질팡

연구하는 기간 내내 이리저리 갈팡질팡했었다.
문제는 발견했는데, 원인은 깔끔하게 못밝히고 갈팡질팡... 실질적인 문제를 파악하지 못하고 빙빙 도는 느낌이었다. 3명이서 다같이 핑글핑글 돔...
우리 연구실에서는 투고 3주전에 draft를 내야 논문 작업에 착수를 하는데, 그 3주전까지도 좋은 결과가 나오질 않았다. 그래서 교수님께도 '이번에 못낼 것 같습니다'라고 말씀드렸었다. 그리고 팀은 잠시 해체시켰다.

하지만 사람이 미련해서 그런지, '혹시 조금만 더 뭔가를 하면 잘 될 수 있는건데, 내가 빨리 포기하는 것 아닌가?' 생각이 자꾸 들었다. 그래서 혼자 이전에 냈던 코드에서 뭔가 만지작거리다...

 
꽤 괜찮은 결과가 나온 것을 봐버렸다.
 

10일전인데 논문을 쓰기 시작하는 사람이 있다?

그게 나에요...

솔직히 논문 작업을 착수할지 말지 고민을 많이 했었다. 이미 못낼 것 같다고 했는데... 번복해도 되나? 10일 정도 밖에 없으면 진짜 죽음인데 굳이 그래야하나? ECCV에서 오럴도 받았는데 이번엔 쉬어가도 되지 않나? ... 등등 자기합리화가 주말 내내 이어졌다.

해야겠다는 결심 자체는 그냥 단순하기 이루어졌다. '그래도 해야지...' 라는 생각도 있었고, 무엇보다 '안되더라도 시도는 했다는 핑계라도 대자'는 생각이었다. 살면서 꽤 많은 일들을 이런 생각으로 시도하고 방치해버렸는데, 의외로 좋은 결과가 되어돌아오는 경우가 많았어서, 그래서 그냥 이번에도 요행에 기대보자...는 생각이었다. 그래서 월요일 아침이 되자마자 교수님과의 면담 요청 연락을 넣고, 핸드폰을 최대한 뒤로 밀어버렸다. 결과와 말씀드릴 계획을 간단히 정리하고, 바로 집밖으로 나왔다.
 
하기 싫어하는 자신을 최대한 무시하고 싶었다.
 
면담을 하고, 방향을 대략적으로 정하고, 더 해볼만한 실험과 method를 구체화할 방향을 생각했다. 팀원들도 다시 모아서 도전 선언을 해버렸다. 성능이 잘 안나와서 밤새는 것이 일상이 되어버렸다. 그렇게 한참 해매다가 한 4일정도? 남긴 상황에서 결과가 괜찮게 나와서, 논문 작성을 시작했다. 그렇게 촉박하지만 동시에 무난하게 한 편 내겠구나 싶었다.
 

제출 10시간 전 타임어택

대략 글의 틀을 만들고, 내용도 채워넣었다. 제출하기 12시간 정도 전에는 experiment 부분도 다 채워넣어서 이젠 큰 걱정 안해도 되겠다고 생각했다. 이제 슬슬 마지막 단계겠다 싶어서 종이로 출력해서 보기 시작했다. 너무나도 늦게 전체 흐름을보기 시작했었고, 그래서 뒤늦게 이상함을 눈치챘다.
 
글이 중간에 끊기는 느낌이 많이 들었고, problem이라고 설정한 것을 실제로 problem이 맞다고 설득하는 부분이 무엇인가 들어맞지 않았다고 느껴졌다. 내가 리뷰어였으면 맞는 설명인지 의문이 들만한 내용들이 눈에 들어오기 시작했다. 잘못된 이해를 바탕으로 기재한 문장도 눈에 띄었다. 이 글 속의 구멍들을 없애보려고 두뇌를 풀가동해보았으나, 실험 결과로 보나 논리적으로 보나 논문의 주장과 흐름이 설득력을 갖추지 못한다는 결론밖에 나지 않았다. 정말 중요한 문제인데, 이걸 제출 당일에나 발견했다는게 한심하고 화가 났다. 
 
방향은 두 가지밖에 없어 보였다.
1. 논문을 처음부터 다시 쓴다.
2. 자기 자신을 더 완벽하게 설득해본다.
하지만 아무리 생각해도 2번이 불가능했다. 팀원들과 얘기해봐도 논리구조를 그대로 유지하면서 돌파할 방법이 나오지는 않았다. 결국 논문을 처음부터 다시 쓴다는 선택지를 택할 수 밖에 없었다.

태초마을이야!

 
결국 처음부터 다시 problem을 구체화하고, 문장을 다시 작성하기 시작했다. 당연한 것이지만 그 10시간 동안도 전혀 순탄치 않았다. 썼다가 뒤집었다가 썼다가 뒤집었다가... 거기다가 밤을 새서 썼으니 체력도 거의 고갈 상태였고 거의 졸면서 썼다. 글을 갑자기 뒤집었으므로 당연히 교수님께도 한소리 들어야했다(제가 죄송합니다...). 그래도 결국 다 쓰긴 썼고, 엉망인 글이지만 제출은 해냈다. 이후 supplementary에서는 main paper 내에서 공격받을만한 것들을 정리해서 미리 방어하는 방향으로 글을 써갔다. 어제까지 한 일이었다.
 

부족했던 것

이번 논문을 작성하면서 부족했던 것들이 스스로에게서 너무 많이 보였다.
 
우선 시간 안배가 잘 안되었다. 글을 다시 보고 다듬는 시간을 감안하면 1주일 정도는 더 일찍 작업에 착수했어야 했는데, 그지 못했다. 물론 이건 결과가 늦게나온 탓인 것도 있지만...
 
가장 큰 문제는 실험 결과를 다시 사용하기 쉽게 정리하지 못했다는 점이었다. 정확히는, 내가 아닌 다른 사람이 보더라도 바로 이해가 되도록, 내가 하던 실험을 이어서 더 할 수 있도록 했어야했다. 나와 완전히 반대되는 스타일로 연구를 진행하는 동료가 있었는데, 이번 논문 작업을 수행하면서 왜 그렇게까지 정리에 집착(?)했는지 이해했다. 
 
또한, 글의 타겟/구조/계획을 더 미리 준비해야 한다는 생각도 들었다. 이번에는 10일 정도밖에 없는 상황이라 큰 틀의 글 없이 바로 작성에 착수했는데, 마지막에 글을 뒤집게 된 가장 큰 원인 이었던 것 같다. 큰 흐름에서 글을 전체적으로 작성하고 논리적 모순을 살펴봤다면 진작에 발견했을 문제였다.
사실상 이 일의 시작부터 마지막까지, 결국 팀원들의 도움이 없었으면 끝을 보기에 불가능한 일들 뿐이었다.
 
연구를 책임지는 사람으로서도 부족하다는 생각이 들었었다.
 
이번 작업을 하면서 불안한 마음을 통제하는 것이 너무 힘들었다. 연구 내적으로는 실험 결과 하나에도 절망스러웠던 것이 사실이고, 글을 쓸 때에도 문장 하나하나 만들어내기 괴롭다는 생각이 자주 들었었고, 특히 10시간 전에 글을 뒤엎었을 때에는 정신과 심장이 따로 놀았다. 자신의 생각과 능력이 의심스러웠던 적이 많았고, 자주 힘들어하는 정신머리로 연구를 계속하는 것이 맞는 것일까 생각도 들었다. 게다가 연구 외적으로는 내 능력으로는 통제가 불가능한, 스트레스 받는 가정 내 일들이 계속 발생했었다. 그냥 단독으로 하는 일이라면 큰 문제가 없겠지만, 이건 팀단위의 작업이었고, 보통은 책임자가 불안해하면 같이 작업하는 사람들도 불안해진다. 나같은 경우는 오히려 팀원들이 훨씬 침착해서 그런 부분에 더 의지했던 것 같다.
예전에도 나의 이런 부분이 리드를 맡기에 부족한 부분이라고 생각했었는데, 아직도 멀었나보다. 그래도 아직 해야하는 일들이 더 있으니까, 조금 더 평온한 마음을 잡을 수 있게 노력하고, 더 나은 사람이 되어야겠다는 생각이 들었다.
 
큰 틀에서의 작업을 보는 시선이 부족하다는 생각도 들었다. 우리의 작업의 필요성을 어떻게 어필하고, 어떻게 잘 된 것인지 설득 가능하게 설명하는 것에 어려움을 많이 느꼈는데, 아무래도 계속 좁은 시야에서 연구를 보는 것에서 오는 문제인 것 같다. 조금 더 다양하고 많은 양의 연구를 살펴보고, 내용 그 자체보다는 어떻게 읽는 이를 설득하려고 하는가를 살펴보아야할 것 같다고 느꼈다. 또한 이런 부분들이 업무 안배를 하기에 어려웠던 원인이었던 것 같기도 하다. 설득을 위해 어떤 자료가 유효할지 알 수가 없어서 일을 맡기기에 곤란하다고 느낀적이 많았다.
 
또한 예전부터 느꼈던 것이지만, 실험 시도의 근거를 더 마련해서 접근해야겠다는 생각도 했었다. 이전부터 선배들과 얘기했던 얘기지만, 그런 방향으로 실험을 해야 조금 더 연구가 논리정연하게 흘러가는 것 같았다.
 

이번 작업으로 배운 점 그리고 고마운 점

팀원들의 그림 실력이 정말 엄청났다... 그리고 color picker를 잘 활용하고 파스텔 톤을 활용하면 좋다는 걸 배웠다. 그 외에는 디테일한 것은 잘 모르겠다. 그냥 순수 미적 감각이 다른 듯하다... 그냥 스타일 보고 따라하는 방식으로 해야할 것 같다.
그리고 훌륭한 그림을 두고 똥같은 글을 쓰는 나 자신이 굉장히... 실망스러웠다. 메시와 호날두가 팀원인데 감독인 나는 홍명보였다.
 
팀원들의 적극성이 엄청났다. 사실 2, 3저면 '내 논문 아닌데 대충 해야지~' 생각이 들 것이라고 생각하는데, 굉장히 열심히 도와주는 모습에 감동했다. 나도... 도와달라고하면 열심히 해줘야지...

가장 많이 배운 것은 평정심과 긍정적인 정신이었다. 나는 내가 어느 정도는 평온하다고 생각했는데, 평온한 게 아니라 그냥 우울한 것이었나보다. 팀원들은 실험이 거꾸러져도, 글을 처음부터 다시 써도, 문장이 잘 나오지 않아도 심적 압박이 나와 비교해서 크지는 않아보였다. 그리고 '더 나아질 수 있을 것이다'라는 긍정적인 정신이 연구를 끝까지 수행하는데 굉장히 도움이 되었다. 정말 '스트레스를 받는다고 해결 안된다'라고 생각하면 스트레스를 안받는 마술이라도 있는 것인지... 이 사람들이 타고나기를 그런 것인지 아니면 살다보니 그런 것인지는 모르겠다. 그래도 앞으로 연구를 지속하고, 또 다시 누군가와 팀을 맺고, 팀원이든 팀장이든 나의 역할을 제대로 수행하려면, 고난을 마주했을 때 침착하고 긍정적으로 생각을 하는 것이 필요하겠다고 느꼈다. 괜히 졸업한 선배가 '평정심이 중요하다'고 하신 것이 아니었다.
 
하여튼 같이 논문 작업 참여해주신 분들
감사합니다... 감사합니다... 감사합니다...

 

다음 연구 방향?

아직은 모르겠다. 이전에 했다가 포기한 연구를 계속할까 생각하기도 하고 있고, 혹은 최근에 incoming하는 동료가 작업 중인 end-to-end drving task를 해볼까 생각도 든다. 그 외에도 다른 연구들도 꽤 매력적인 것 같다.
다만 최근 ECCV를 다녀오고, 이번 논문을 내면서, 내가 연구를 너무 좁은 시야로 보고 있다는 생각이 들었다. ECCV에서 Bath University에서 오신 분과 얘기를 나눴었는데, 나에게 '너는 지금 Ph.D student의 tunnel에 갇혀있다'고 조언해주었다. 맞는 말인 것 같고, 더 나아지려면 이것을 먼저 해결해야할 것 같다.
 
그래서 아마 당장 몇주 동안은 이것저것 찾아보고, 못 읽고 있었던 논문들을 읽고, 새로운 분야의 글도 읽고 정리해보려고 한다. 그러면 뭘 해야할 지 잡히지 않을까.
 
마지막으로,
이번에 낸 논문은 아마 reject 될 것이라고 생각한다.
나였으면 아마 그럴 것 같아서