23.07.04 - Activation Function, Optimizer

Activation Function (활성화 함수)

딥러닝에서 노드에 입력된 값들을 비선형 함수에 통과시킨 후 다음 레이어로 전달하는데, 이때 사용하는 함수를 활성화 함수(Activation Function)라고 한다.

이때, 활성화 함수의 조건이 있다.

1. Non-linear(비선형) 해야 한다. (선형 모양의 함수는 여러 층을 쌓아도 계속 선형 표현만 가능하기 때문에 층을 쌓는 의미가 없다)
2. 미분값을 구할 수 있어야 한다. (Back-propagation에서 계산을 하여 training 하기 위해서)

Sigmoid function

• 로지스틱 회귀 모델에서 이진 분류에 사용된다.
• 확률의 합이 1이 아닐 수도 있다.

Softmax function

• 로지스틱 회귀 모델에서 다중 분류에 사용된다
• 확률의 합이 1이다

---

Optimizer

데이터의 가중치와 편향을 반복적으로 조정하여 손실 함수를 최소화하도록 만드는 학습 알고리즘이다.

즉, 최적화 방법을 결정해 주는 방식이다.

Optimizer 종류

최근까지 Adam 알고리즘이 가장 많이 쓰였으나, 블로그를 쓰는 현시점에서는 AdamW 알고리즘이 대세다.

legacy 한 알고리즘을 사용해야 할 이유가 없다면 AdamW를 쓰면 된다.

---

본격적인 딥러닝 파트가 시작됐다. 스터디나 독학으로 여러 번 공부했던 파트라 수업 내용이 이해가 잘되었고 머신러닝 파트 땐 거의 질문도 못했었는데, 수업 내용이 이해가 잘되니 궁금한 것들이 이것저것 많아서 질문도 곧잘 하였다. 머신러닝 때처럼 놓치지 않고 잘 따라가야겠다.

 

자습시간 학습률이 떨어진다는 말이 있었는데, 그 때문인지 2시간 자습시간이 있었는데 사라지고 18시까지 수업을 꽉 채운 스케줄이 되었다. 피곤한 것도 피곤한 거지만 복습할 시간이 부족해지니 저녁에 해야 하고, 그러다 보니 다른 공부할 시간이 줄어들어 아쉬울 따름이다. 그만큼 수업 내용이 늘었으니 수업 내용 이해에 힘을 써야겠다.

 

2차 코딩테스트 풀이 특강을 보며 틀린 문제에 대한 복기를 했다. 항상 그렇지만 정답을 보게 되면 왜 틀렸을까, 풀 수 있었는데 라는 생각이 들기는 하다만, 그 생각은 착각이고 그 문제를 해결하기 위한 아이디어를 생각하는 것이 쉽지 않을 것 같다. 코딩테스트를 접한 지 얼마 안 됐지만 이어 드림을 수료할 때면 코딩테스트가 나의 길을 발목 잡는 일은 없을 것이다.