분류하는 뉴런 만들기 (로지스틱 회귀 & 시그모이드 함수) - Do it! 딥러닝 입문

 

분류는 회귀랑 달리 임의의 숫자를 예측하는 것이 아닌, 정해진 종류 중 하나를 고르는 문제다.

종류를 class or label이라고 한다.

 

초기 인공지능 알고리즘과 로지스틱 회귀

• 이진 분류란?
  • 두 개중에 하나를 분류하는 문제 (찾고자 하는 클래스를 양성 클래스라고 한다)
    • True(1) ← 양성 클래스
    • False(0) ← 음성 클래
• 퍼셉트론(Perceptron) → y_hat 값을 가지고 역방향 계산을 한다
  • 신경망 알고리즘 → Multi-layer Perceptron

입력이 두 개다(x1, x2)

z = w1x1 + w2x2 + b

• z > 0 → y = 1
• z < 0 → y = -1
  • y가 양수라면, positive class, y가 음수라면, negative class 이다.

 

여러 개의 특성을 표현하는 방법

 

 

아달린(Adaline)에 대해 알아보자

• 퍼셉트론과 차이점은 z에서 역방향 계산이 일어난다.

 

로지스틱 회귀에 대해 알아보자

• 아달린과 같이 중간에 역방향 계산이 일어남
• 다만, activation function을 거쳐 z 값이 a로 바뀐 뒤에 역방향 계산이 일어난다.
• 왜 비선형 함수를 사용하는 것일까?

 

시그모이드 함수로 확률을 만든다

• z값은 w와 x를 곱하고 b를 더하는 선형 방정식의 결과

 

시그모이드 함수

• 오즈 비(odds ratio) → 로짓 함수(logit fuction) → 시그모이드 함수
  • odds ratio는 p 값이 0 ~ 1 바뀔 때
    • 0 ~ 무한대까지 바뀌는 식
  • logit function은 p 값이 0 ~ 1 바뀔 때
    • • 무한대 ~ +무한대 까지 바뀌는 식

 

로지스틱 함수

• 로짓 함수를 p에 대해 정리한 것 (시그모이드 함수라고도 부른다)
• z값이 - 무한대 ~ +무한대 바뀔 때
  • 0 ~ 1 까지 바뀌는 함수

 

로지스틱 회귀 정리

 

• a의 오차값을 가지고 역방향 계산을 진행한다.

 

결론

 시그모이드 함수는 선형 방정식의 결과값을 0~1 사이 확률처럼 해석 가능한 형태로 바꿔준다는 것 이해하면서, 딥러닝 분류 모델의 구조가 조금씩 이해되기 시작했다.

 특히 오즈 비 → 로짓 함수 → 시그모이드 함수로 이어지는 흐름을 따라가다 보니z값이 어떻게 확률로 바뀌고,

이렇게 얻어진 확률 값을 바탕으로 오차를 계산하고, 그 오차를 다시 역전파해 가중치를 조정한다는 흐름까지 자연스럽게 이해할 수 있었당