본문 바로가기

TIL

 (41)
23.09.06 - 데이터 엔지니어링 프로젝트의 중간 어딘가... 프로젝트의 기간 중 절반 가량 지나가는 시점 드디어 프로젝트의 전체적인 윤곽이 드러나고 있다. 저번주에 처음 시작할 땐 너무나 막연해서 어떤 걸 손을 대야 할지 전혀 감이 오지 않았는데, 팀원들과 함께 "일단 부딪혀보자"라는 생각과 함께 우리가 하고 싶은, 해야 할 것들을 이것저것 손대보며 소위말해 중구난방으로 일을 벌였다. 다른 사람끼리 같은 부분을 구현하기도 하고, 어떤 부분은 한 명만 알고 있고 이런 상황이 될 때쯤 "이게 알맞은 방법인 건가... 잘하고 있나..."라는 의구심과 불안함이 들었지만 오늘이 되니 이것저것 만든 여러 퍼즐들이 하나씩 맞춰져 가는 모습에 무언가 막혀있던 체증도 내려가고 기분도 좋아졌다. 전체적인 큰 그림이 그려지니 각자 해야 할 일이 명확하게 드러났다. 다음 주 월요일까지..
22.09.01 - Websocket으로 데이터를 받아 MySQL에 저장하기 https://justicefull.tistory.com/81 Websocket으로 데이터를 받아 MySQL에 저장하기 ※ 포스팅의 예시는 업비트 개발자 센터 홈페이지에서 Websocket을 연결하여 데이터를 저장하였습니다. ※ 주피터 노트북 환경에서 단계별 셀 단위로 실행하였습니다. 1. 업비트 모든 티커목록 조 justicefull.tistory.com 이번 프로젝트의 주제에서 받아오는 데이터가 API와 Websocket 형태로 온다. 어제는 API를 받아서 DB에 저장을 했고, 오늘은 Websocket으로 받아 저장하려 했다. 시작 전에는 AP 방식과 크게 다를까? 쉽지 않을까?라는 큰 착각을 했다. 역시나 쉬운 건 없다. 위키독스의 샘플 코드에서 DB와 연동하는 부분이 내 상황과 달라 나의 상황에..
23.08.30 - 파이썬으로 데이터 API를 MySQL에 저장하기 https://justicefull.tistory.com/79 파이썬으로 데이터 API를 MySQL에 저장하기 ※ 포스팅의 예시는 업비트 개발자 센터 홈페이지에서 API를 받아 데이터로 저장하였습니다. ※ 주피터 노트북 환경에서 단계별 셀 단위로 실행하였습니다. 1. API 받아오기 업비트 개발자 센터 : justicefull.tistory.com 최근 며칠 TIL을 쓰지 못했다. 어려운 수업 내용덕에 힘든 시간을 보냈더니 정리할 내용도 없고 마음이 아파 쉬었다. 어제부터 시작한 데이터 엔지니어링 프로젝트가 나를 다시 움직이게 만들었다. 프로젝트에 필요한 내용들을 부딪히며 배운 내용을 정리하려고 하니 정리할 내용도 있고, 내용을 정리하니 복잡한 머릿속도 함께 깔끔해지는 기분이다. 며칠 못 적은 만큼 앞으..
23.08.21 Java와 Scala의 문법을 빠르게 배웠다. 하지만 그 속도가 너무 빨라서 Python만 공부한 나에겐 너무나 힘든 강의였다. 진즉에 실시간 강의로 내용울 이해하는 건 포기했고 데일리 퀴즈로 오늘 배운 내용을 복습할 계획이었다. 퀴즈가 출제되고 출제된 문제들 알고리즘이 파이썬으로는 바로바로 떠오를 정도로 높은 난도의 문제는 아니었는데, 오늘 처음, 급하게 배운 언어로 알고리즘을 구현하려니 손도 떨어지지 않았다. Python이 정말 좋은 언어였구나 싶기도 했지만 전에도 이런 경험이 있었다 보니, 이번엔 Java를 빠른 시일 내에 익히는 게 맞다는 생각이 들었다. 오늘 강의가 너무나 어려워 나만 어려운 건지 동기분들은 어땠는지 여쭤보니, Java를 능숙하게 다룰 줄 아는 분들은 들어만 했고 나와 같이 Ja..
23.08.14 네트워크 파트에서 OSI 7 계층에 대해서 배웠다. 데이터 엔지니어는 네트워크에 대한 지식이 필수적으로 필요하다고 한다. OSI 7 계층은 정보처리기사 자격증을 취득할 때도 공부했고, 최근에 읽고 있는 CS 전공지식 책에서도 네트워크 부분을 배워 내용은 익숙했다. 그래도 실강으로 각 계층의 구성과 장비의 역할, 계층이 생겨난 배경 같은 부분을 짚어주시니 머릿속에 마구잡이로 넣었던 내용들이 정리되면서 이해가 잘됐다. 오늘, 내일에 거쳐 빠르게 도커에 대해서 공부해서 서버를 띄우고, 저번주에 따라가지 못한 하둡 환경 설치를 하려 한다. 설치도 힘들었지만 도커도 잘 모르기에 집중해서 배워야겠다.
23.08.09 코딩 테스트 백준 10단계 기하문제는 앞의 단계만 잘 풀었고, 기초적인 수학 지식만 있으면 되게 쉽게 풀 수 있는 문제들로 구성이 돼있다. 내일부터는 11단계로 들어서는데 주제가 "시간 복잡도"이다. 앞의 여러 문제들에서 시간 복잡도로 인해 틀린 문제들이 많았던 만큼 11단계는 쉽지 않은 여정이 될 것 같다. 하지만 좋게 생각하면 여기 문제들만 제대로 공부하면 시간 복잡도에 대한 감을 잡지 않을 수 있을까 하는 기대감도 생긴다. Hadoop 강의 어제 오전, 오후동안 설치한 환경들을 무사히 따라 했다고 생각을 했다. 크나큰 착각이었다. 실행하는 부분이 되니까 계속되는 Falied... 빠른 강의 속도에 따라만하다보니 어디서부터 만져야 할지 감조차 안 오고, 그걸 고치려 하면 강의는 이미 저 멀리 떠나버릴..
23.08.08 - 백준 11653번 문제 with Python 이 문제를 풀려고 소인수분해에 대해서 자세하게 다시 공부했다. 소인수분해란? 1보다 큰 자연수를 소인수(소수인 인수)들만의 곱으로 나타내는 것 정수 N을 2부터 시작하여 나눠서 0이 되면 다시 2부터, 나눠지지 않으면 1씩 증가시켜 N이 1이 될 때까지 반복을 하여 문제를 해결했다. N = int(input()) for i in range(2, N+1): if N == 1: break while N > 1: if N % i == 0: print(i) N = N/i else: break 코딩 테스트 여러 문제를 풀어감에 어떤 알고리즘을 구상해야하는가에 대한 실력이 늘고 있음이 느껴진다. 하지만 시간 복잡도까지 고려한 알고리즘을 구상하는 실력은 여전히 부족하다. 알고리즘을 못 찾아서 문제를 틀리는 경우보다 ..
23.08.07 DE 스러운 대규모 데이터 처리 시스템인 Hadoop에 대해서 배운다. 데이터 엔제니어는 처리해야 할 데이터가 정말 많을 때부터 채용되기 시작하는 직책으로 Hadoop, Spark 같은 도구의 사용은 필수이다. 오전에는 가볍게 Hadoop의 유래, 탄생 배경 같은 알면 자랑하기 좋은 내용들을 배우고, 오후부터 Hadoop의 동작 원리를 배웠다. 분산 파일 시스템은 구글 GFS 논문을 살아있는 전설, 슈퍼 개발자 제프 딘님께서 하둡으로 구현을 한 것이다. 하둡은 파일을 여러 개의 큰 블록으로 분산하여 저장하는데, 전체 블록 정보에 대한 메타 정보 크기가 작아지고 탐색 비용을 최소화 할 수 있기 때문이다. 그리고 네임 노드라는 Master 노드와 데이터 노드라는 Slave 노드로 구성이 되어 동작한다. 네임..

티스토리툴바