차원의 저주
데이터가 늘어날수록 데이터의 차원이 증가하게 된다. 차원이 증가하면 데이터가 공간에서 작은 부분을 차지하기 때문에 분포를 추정하기가 어려워진다.
예를 들어, 2D 공간에서는 변수 간의 관계를 쉽게 파악할 수 있다. 하지만 4차원, 100차원은 직관적으로 보이지 않기에 사람이 이해하기가 쉽지 않다. 이러한 고차원 공간에서 데이터를 시각화하고 해석하는 것은 차원 수가 증가함에 따라 시각화하고 이해하는 능력이 감소되어 어려워진다.
PCA
고차원 데이터에서 가장 중요한 패턴 또는 변동 방향을 포착하는 것을 목표로 하는 널리 사용되는 선형 차원 감소 기법이다.
특징
- 데이터에서 가장 중요한 패턴이나 변형을 유지하면서 차원 수를 줄인다.
- 각 주성분이 설명하는 분산을 최대화하여 가장 중요한 정보가 유지되도록 합니다.
- 기능 간의 비선형 관계를 캡처하지 못할 수 있다.
- 데이터의 이상치에 민감하다.
t-SNE
저차원 공간에서 고차원 데이터를 시각화하는 비선형 차원 감소 기술이다.
특징
- PCA와 달리 복잡한 비선형 관계를 캡처할 수 있다.
- 고차원 데이터를 저차원으로 시각화하는데 효과적이다.
- 대규모 데이터 셋의 경우 비용이 많이 든다.
- 파라미터에 민감하게 작용하여 적절한 파라미터 값을 찾는데 어려움이 있다.
- t-SNE로 얻은 저차원 표현을 해석하는 것의 어려움이 있다.
이번 코칭스터디는 미션이 단순 문제를 푸는 것이 아닌 자료를 찾아보고 토의를 하는 것이 주가 되게끔 미션이 주어져 자료 조사를 하며 어렴풋이 들어봤던 단어에 대해 깊게 공부해 보게 되었다. 하지만 개념적인 측면에서의 접근이다 보니 이해하는데 어려움이 있었다. 이런 건 실제로 사용해 보며 배우는 게 쉽게 배울 수 있는 것 같다.
오후까지 늦잠을 자고 일어나서 빈둥빈둥 대다가 저녁 먹고 공부를 시작했다. 주말이라 공부량을 많이 안 잡았다고 생각했는데 시작해 보니 은근 시간이 길어졌다. 그나마 스터디를 신청 안했다면 공부도 안 했을 것 같다.
나란 놈은 반드시 할 수 밖에 없는 상황을 만들어야 하는 수동적인 면이 많은 것 같다.
계속 공부를 할 수 밖에 없는 환경을 꾸준히 만들어야겠다.