분류하는 뉴런 만들기 (로지스틱 손실 함수) - Do it! 딥러닝 입문

로지스틱 손실 함수를 경사 하강법에 적용

• 분류의 정확도 → 분류가 정확하게 된 횟수
  • 이는 미분할 수 있는 함수가 아니다, 따라서 다른 손실 함수를 사용한다
  • 이를 logistic loss function이라고 한다 (이진 크로스 엔트로피라고도 함)
• y가 1인 경우 1 - y = 0이 되므로 log(1-a) 항이 삭제된다.
• 반대로 0인 경우 log(a) 항이 삭제된다.
  • a가 1에 가까워야 손실된 값이 작아진다
  • 1-a가 1에 가까워야 손실된 값이 작아진다

 

로지스틱 손실 함수 미분하기

• 제곱 오차의 미분과 거의 유사하다

 

미분의 연쇄 법칙(Chain Rule)

• 합성 함수의 도함수를 구하는 방법

 

연쇄 법칙을 뉴런 그림에 나타내보자

• 손실 함수를 a에 대해 미분
• a를 z에 대해 미분
• z를 w에 대해 미분

 

로지스틱 손실 함수를 a에 대해 미분하기

 

 

 

a를 z에 대해 미분하기

 

 

z를 w에 대해 미분하기

 

 

전체 미분 과정을 정리해보자

 

 

절편에 대한 도함수를 구해보자

 

결론

 분류 문제에서는 단순히 맞췄는지 틀렸는지를 가지고는 가중치를 어떻게 조정할지 알 수 없기 때문에, 로지스틱 손실 함수(log loss)처럼 미분 가능한 손실 함수를 사용하는 게 핵심이라는 걸 알게 됐다.

 특히 y 값이 1일 때와 0일 때 각각의 손실 함수 항이 어떻게 사라지는지, 그리고 a가 정답에 가까울수록 손실이 작아지는 구조를
이해하면서 왜 시그모이드 + 로지스틱 손실 함수 조합이 잘 어울리는지도 감이 잡혔다.

또한 미분의 연쇄 법칙(Chain Rule)을 통해
손실 함수 → 활성화 함수 → 선형 방정식 → 가중치로 이어지는 전체 역전파 흐름도 하나하나 따라가 보니까, 이제는 경사 하강법이 단순한 암기 개념이 아니라 수학적으로 계산되는 과정이라는 걸 몸으로 체감할 수 있었다.