이어드림 24주차 - 노마십가(駑馬十駕)

노마십가(駑馬十駕) - 「둔(鈍)한 말도 열흘 동안 수레를 끌 수 있다.」는 뜻으로, 재주 없는 사람도 노력(努力)하고 태만(怠慢)하지 않으면 재주 있는 사람과 어깨를 나란히 할 수 있음을 비유

드디어 데이터 엔지니어링 프로젝트 끝이 다가왔다.

 

우리 팀의 목표는 API를 받아 대용량의 데이터를 받을 때 버퍼 역할을 해주는 RDMBS에 저장하고, csv파일 형태로 HDFS에 저장했다. Hive로 HDFS에 저장된 파일을 불러와 DL Model에 넣어 예측한 뒤, 예측한 아웃풋을 RDMBS에 저장했다.

마지막으로 tableau로 예측한 값들을 시각화하여 보여주는 것이다.

 

첫 포부와 달리 시간적, 실력적 상황에 맞춰 목표를 수정한 부분들이 있지만, 큰 그림으로 봤을 땐 팀에서 바랐던 핵심적인 요소들은 모두 완성했고 추가적인 목표들도 어느 정도 구현을 해냈다.

첫날 "이것들을 완성할 수 있을까?"라는 막막한 감정은 없고, 조금 더 완벽한 모습을 만들어 내고 싶은 욕심이 생기는 모습을 보니 짧은 시간에 성장을 했구나라는 기분을 받을 수 있었다. 프로젝트를 하면서 강의에서 배웠던 내용들이 머릿속에 지나가며 앞에 배웠던 내용들이 이렇게 사용이 되는구나 하는 신기함도 많이 느꼈고, 몸소 부딪히며 배우니 내용이 더 잘 이해가 됐다.

 

아쉬웠던 점은 프로젝트 시작할 때 오류, 에러 등 소위 말하는 삽질을 계속 기록하려고 했다.

처음에는 에러가 날 때마다 에러 문구와 어떻게 해결했는지 잘 정리하고 있었는데, 뒤로 갈수록 모자란 시간에 쫓기는 상황이 오면서 삽질들을 기록하기보단 얼른 해결해 버리고 다음 할 일들을 하다 보니 프로젝트 후반에 만난 어려움들을 기록하지 못했다.

기록을 못했더니 내가 어떤 어려움을 겪은 지, 정황만 어렴풋이 기억나고 구체적인 상황기억이 나지 않는다. 다음 프로젝트를 할 때는 진행도 좋지만 삽질에 대한 기록을 명확하게 해 둬야겠다.

 

다음 주에 발표와 함께 프로젝트가 마무리가 될 것이다.

프로젝트의 절대적인 기간이 길진 않았지만 여태 했던 프로젝트 중 가장 프로젝트다웠고, 나도 프로젝트답게 임한 것 같다.

 

모자란 저와 함께 고생한 팀원분들에게 감사하고, 함께할 수 있어서 즐거웠습니다.