전반적인 연구 방향 (Validation and Verification)

이번 포스팅에서는 제가 박사 기간 동안 연구하는 연구 주제의 전반적인 개요를 소개해 드리고자 합니다. 앞으로 이런 분야를 공부하거나 이 분야에서 일하시는 분들 혹은 그냥 재미 삼아 보시는 분들에게도 도움이 될 수 있게끔 최대한 노력해 보려 합니다. 그럼 가차없이 바로 시작해 볼까요?

---

제 연구는 영어로는 Validation and Verification (한국어로는 검사와 타당성 검증) 인데 한국어 번역이나 뜻 풀이를 봐도 전혀 이해하기 힘든 말로 써있더군요. Valiation은 어떤 복잡한 문제의 풀이가 올바른 방향으로 가고 있는지, Verification은 그 문제가 제대로 풀렸는지 검사하는 거라는데 몇번씩 봐도 이해가 안되더라고요. 제가 저희 분야에서 사용되는 의미를 알려드리도록 할게요. Validation 혹은 Model validation은 컴퓨터가 계산한 값과 실제로 측정되는 값을 비교 분석하여 컴퓨터가 계산한 값 밖에 없을 때 이를 더 정확한 예측으로 만들 수 있는지 보는 거에요. 

 

 

저는 제 연구를 설명할 때 자동차 네비게이션(구글맵, 카카오네비 등)을 예로 드는 것을 매우 좋아하는데요. 이 카테고리의 포스팅에서는 비슷한 내용을 앞으로도 자주 보실 수 있을 겁니다. 예를 한 번 들어 볼게요. 어떤 사람이 지금 현재 위치에서 출발해서 부산까지 자동차로 가고 싶다고 해볼게요. 네비게이션은 2시간 30분이 걸린다고 이야기 하네요. 근데 우리는 알죠. 평소 내 습관대로 운전하면 보통 그보다 적게 걸린다는 걸요. (나만 그런가?!) 그래서 네비게이션이 이야기 해준 값에 보통 0.9를 곱합니다. 2시간 30분은 150분이니까 대략 135분, 그러니까 저 같으면 2시간 15분이 걸린다고 예상을 하겠네요. 막상 실제로 측정을 해보니 역시나 2시간 15분이 걸렸다면 저희 추측을 그대로 유지하고 만약 2시간 15분보다 더 걸리거나 덜 걸렸다면 저희 최초 추측을 수정해야겠죠. 이렇게 점점 더 많은 경험이 쌓인다면 원래 곱했던 0.9가 아닌 어느 적정한 값이 나올텐데 이렇게 과거의 시뮬레이션(네이게이션)과 실제 측정 데이터를 바탕으로 실제 측정 데이터가 없는 상황에서 적정 값을 예측하는 것이 Model validation입니다. 

 

 

이 연구의 성공을 위한 필수 요소는 적절한 과거 데이터 선별과 과거 데이터의 속성을 보고 적절하게 정보를 조합해야 합니다. 이러한 정보의 조합을 Consolidation, Fusion, Assimilation 등으로 부르는데 전 첫 번째 단어를 선호해서 보통 논문에는 그걸 사용해요. 교수가 이것 저것 짬뽕해서 바꿔놓으면 다시 Consolidation으로 바꾼답니다. 뭐 뚝심이랄까 고집이랄까. 연구자에게는 그런 것도 좀 있어야 하지 않을까 하는데 일단 박사과정을 하신다면 지도교수 말을 잘 들으세요 ㅎㅎ. 그렇게 데이터를 잘 조합해주는 모델을 만들었다고 해볼게요. 그래서 이제 만든 모델을 테스트 해봐야겠죠? 그래서 보통은 과거의 데이터를 다 모델을 만드는데 사용하지 않고 일정 부분을 테스트 하기 위해 빼놓아요. 그렇게 따로 빼놓은 데이터로 테스트를 하는 걸 Verification이라 하는데 저희 랩에서도 이 부분은 많이들 놓치고 있는 논문들이 많아요. 이 타당성 검증, Verification까지 무사히 다 마쳐야 Validation에 대한 연구가 제대로 되었다고 볼 수 있는거죠. 

 

 

이러한 연구를 위한 선행 조건에는 선형대수학부터 민감도 분석, 불확실성 측정 등의 기본적인 개념이 필요하고 복합한 모델을 위한 비선형 계산에는 정보이론, 기계학습 등 여타 다른 분야의 연구와 같이 많은 기술적인 요구 사항도 존재하죠. 그래도 저는 제가 연구하는 분야가 좋은게 핵심을 이해하면 다른 최신 알고리즘이라던가 그런 것들은 쉽게 이해가 되더라고요. 처음에는 왜 핵공학과에 와서 무슨 통계랑 선형대수를 하고 매일 벡터니 행렬이니 선형부분공간이 뭐니 매트랩으로 뭔가 돌리고 짜르고 늘리고 줄이고 하는데 이게 뭐하는 짓인가 했는데 이젠 좀 알거 같더라고요. 앞으로도 제가 지금까지 공부하며 깨달은 것들을 여러분께 최대한 쉽게 설명하도록 노력해 볼까 합니다. 

 

한 사람에게라도 도움이 되었길 바라면서 이 글을 작성했고 앞으로도 그럴겁니다. 그럼 다음 포스팅부터는 저의 처음 연구 주제였던 민감도 분석을 좀 다뤄볼까 해요. 그럼 다음에 또 만나요!