본문 바로가기

이어드림

 (38)
이어드림 37주차 - 무괴아심(無愧我心) 무괴아심(無愧我心) - 내 마음에 부끄러움이 없도록 한다는 뜻. 프로젝트가 벌써 막바지에 다다랐다. 다음주면 최종 발표를 하고 프로젝트가 끝나게 된다. 시작 전에 많이 기대한 프로젝트 였는데 기대만큼 원하는 퍼포먼스를 보여주지 못해서 정말 아쉽다. 그래도 팀원분들이 다들 열심히, 잘 해주셔서 과제는 훌륭히 완수했다. 이번주는 크게 기록할 일이 없이 무난하게 흘러간 한 주 였다. 다음주 발표까지 마지막 스퍼트를 해보자!
이어드림 36주차 - 배중사영(杯中蛇影) 배중사영(杯中蛇影) - 「술잔 속의 뱀 그림자」라는 뜻으로, 자기 스스로 의혹된 마음이 생겨 고민하는 일. 저번주 금요일에 중간발표가 있었다. 발표는 기업 담당자와 프로젝트 멘토님들께서 피드백은 없다, 좋은 방향으로 진행하고 있다는 극찬을 들은 것으로 마무리가 되었다. 하지만 나에겐 좋은 소식인 것은 아니다. 스스로 프로젝트 진행에 기여한 부분이 크게 없다고 생각이 되니 팀원들에게 미안함, 이 기회를 살리지 못하는 나에게 아쉬운 감정이 많이 든다. 상황이 이렇게 흘러오게 된 원인을 생각해 보니 프로젝트의 중요한 시기에 예비군을 가게 되어 그만큼의 공백으로 인해 나에게 중요한 역할이 없는 점. 과제의 난도가 낮아 역할 분담이 제대로 되어있지 않은 점. 마지막으로 팀원들끼리 의사소통이 원활하지 않은 점. 세..
이어드림 35주차 - 오리무중(五里霧中) 오리무중(五里霧中) - 「짙은 안개가 5리나 끼어 있는 속에 있다.」는 뜻으로, 무슨 일에 대하여 방향이나 상황을 알 길이 없음을 이르는 말. 이번주는 월~수 예비군 훈련을 다녀왔더니 프로젝트의 기간 중 고작 3일인데 오프라인 팀원분들은 회사에도 방문하고, 현직자 멘토링에도 참여하니 나는 궤도에서 굉장히 멀어진 느낌을 받았다. 다행히도 팀원들의 기록들과 팀장님이 내가 없는 동안 진행된 사항에 대해서 잘 알려주셔서 어느 정도 따라가긴 했지만 심리적인 불안감 때문인가 제대로 따라갔는지 초조함이 있었다. 별일 없는 한 주라 기록할 내용이 없다. 다음 주는 중간발표인데 시간이 빠른 건지 기간이 짧은 건지 벌써 프로젝트가 중반에 다다르고 있다. 남은 기간도 열심히 해보자
이어드림 34주차 - 전화위복(轉禍爲福) 전화위복(轉禍爲福) - 「화가 바뀌어 오히려 복이 된다.」는 뜻으로, 어떤 불행한 일이라도 끊임없는 노력과 강인한 의지로 힘쓰면 불행을 행복으로 바꾸어 놓을 수 있다는 말. 수요일에 기업 과제에 관해 어떻게 풀어갈지 기획안을 발표했다. 내가 생각한 기획안은 정해진 과제를 수행하고 거기에 추가적으로 과제에 대한 개선 사항이라든지 더 나은 결과물을 만드는 것으로 생각했는데 기업 측에서 요구하는 과제가 구체적이라 우리의 의견이 들어갈 부분이 없었다. 너무 추상적인 과제도 힘들겠지만 이렇게 구체적인 것도 공부하는 입장에선 썩 좋지 않은 것 같다. 목요일에 돼서야 AWS 계정을 지급받았으나 처음에는 리소스 부족, 권한 부족 등으로 데이터를 원활하게 확인하지 못했다. 이 부분에 대해서 담당자께 말씀을 드렸고 다음 ..
이어드림 33주차 - 파부침주(破釜沈舟) 파부침주(破釜沈舟) - 「솥을 깨뜨리고 배를 가라앉힌다.」는 뜻으로, 싸움터로 나가면서 살아 돌아오기를 바라지 않고 결전을 각오함을 이르는 말. 월, 화 양일동안 스타트업 기업연계 프로젝트 담당자분들께서 과제의 대한 OT를 진행해 주셨다. OT를 듣고 수요 조사가 진행이 되는 게 올바른 순서라고 생각되는데 왜인지는 모르겠지만 1차 수요 조사를 진행하고 OT 후에 최종 수요 조사를 진행했다. 다행스럽게도 OT 들은 후에도 내 생각이 1차 수요 조사와 다름이 없어 변경 신청은 따로 하지 않았고 결과를 기다렸다. 수요일에 기업 과제 선정 발표와 동시에 팀도 함께 발표가 되었다. 1순위로 신청한 과제에 선정이 되었고, 같이 진행하게 될 팀원들 또한 다들 잘하시는 에이스들로 구성돼서 나만 열심히, 잘하면 좋은 ..
이어드림 32주차 - 각곡유아(刻鵠類鵝) 각곡유아(刻鵠類鵝) - 「고니를 새기려다 실패해도 거위와 비슷하게는 된다.」는 뜻으로, 학업에 정진하여 어느 정도 성과가 있다는 말. 이어드림 과정이 시작되고 가장 긴 프로젝트가 드디어 이번주에 마무리가 됐다. 프로젝트가 시작될 때는 5주라는 시간이 너무나 길게 느껴져 어떤 주제를 선정하고 어느 정도의 결과물을 내야 할까에 대한 고민이 깊었다. 팀원분들이 이런저런 아이디어를 제시하고 개중에 다들 괜찮다고 느끼는 시계열 데이터를 통해 프로젝트를 진행하기로 결정이 됐다. 기간이 길어서일까 프로젝트가 어려워서일까 처음엔 진행 속도가 되게 더디게 흘러갔다. 그러다 시간이 지남에 따라 서서히 전체적인 윤곽도 잡히고, 무엇이 부족한지 잘 보이기 시작했다. 그것들을 채우고 고치려다 보니 이미 프로젝트의 끝에 다다르고..
이어드림 31주차 - 궁도지곡(窮途之哭) 궁도지곡(窮途之哭) - 「수레가 통과하지 못하는 곳에 이르러 통곡한다.」는 뜻으로, 곤경에 처해 몹시 상심함을 이르는 말. 저번주 중간발표회에서 들은 강사님의 피드백을 토대로 문제를 겪고 있는 병목 현상의 원인을 파악하려 했다. HIVE 엔진이 기본적으로는 Mapreduce 엔진을 사용하게 되는데 원래 느린 엔진이라 엔진을 바꾸는 방법도 있고, 테이블을 어떠한 파티션을 기준으로 나누는 파티셔닝 테이블을 생성하여 데이터 조회 속도를 줄이는 방법이 있었다. 엔진을 변경하는 방법은 언뜻 생각해 보면 일이 복잡하고 어려울 것 같아 시간상 이 방법은 제외를 하고 파티셔닝을 했다. 파티셔닝을 하는 것도 쉽지가 않아 순조롭게 흘러가진 않았지만 결국 파티셔닝 테이블을 만들었고 조회 속도를 대폭 줄였다. 해결하는데 많은..
이어드림 30주차 - 적막강산(寂寞江山) 적막강산(寂寞江山) - 앞일을 내다볼 수 없게 캄캄하고 답답한 지경이나 심정을 비유적으로 이르는 말. 저번주에 목표로 잡았던 API를 받아와 HDFS에 자동으로 넣는 파이썬 코드와 쉘 스크립트를 작성했다. 사소한 에러들을 만났지만 나도 경험치가 쌓였는지 작은 에러는 당연하게 받아들이고 금방 해결을 해내고 있다. 진짜 문제는 HIVE에서 테이블을 조회하는데 너무나 오랜 시간이 걸린다는 것이다. 테이블의 row 수는 1300만 개밖에 되지 않는데 count함수로 row를 조회하면 1시간이나 걸린다. 결코 많은 수의 행이 아니기에 문제가 있다고 판단하고 이 부분을 해결하기 위해 이것저것 시도를 해봤지만 현재까진 문제를 해결하지 못했다. 중간발표에서 강사님께 이런 문제가 있다고 하니 병목 현상이 발생하는 위치를..

티스토리툴바