활성화함수

 

기본이 선형함수라 

따로 설정안해도

선형함수를 

활성화함수를 쓴다

 

--> 회귀 에 사용

 

 

 

 

 

 

 

 

 

 

0.5를 기준으로 크면 1

작으면 0

 

--> 이진분류 에 사용

 

 

 

 

 

 

 

 

선형함수만 쓰면 결국 값이 똑같아져서

다층 퍼셉트론의 의미가 없기때문에

 

 

중간층에는 선형함수는 쓰지않는다

-> 회귀문제 풀때 마지막인 출력층에

선형함수를 쓴다

 

 

 

 

 

 

어제 과음을 한 학생이 등원 할 확률을 구하는 모델

step function       ->  최종 예측: 안나간다

뉴런당 예측값

>나간다

>나간다

>안나간다

>안나간다

>안나간다

 

Sigmoid(확률 정보로 출력가능)         ->   최종 예측 : 나간다

뉴런당 예측값                             (나갈확률:안나갈확률)

> 술이랑 상관없이 나간다                    (0.9: 0.1)

> 어제 술마셔서 힘들지만 나간다         (0.7:0.3)

> 코로나도 있는데 위험하니 안나간다  (0.4:0.6)

> 집에서 원격 들어야지                         (0.3:0.7)

> 공부보다 건강이 우선이다                  (0.3:0.7)

                                                    합        2.6   2.4

-> 안나간다고 예측한 횟수가 더 많지만 확률이 나갈 확률이 더 높다

 

다중분류

 

머신러닝에서는 문자형을 숫자형으로 바꿔주기 위해 원 핫 인코딩을 했었다

 

다중분류는 정답도 여러개이다

-> 최종 출력층을 정답 수에 맞게

 

 

 

 

 

 

 

오차를 낮추기 위해 계속되는 학습을 하는데,

 

이 오차를 구하기 위해 실제 정답도 예측활률의 범위인  0~1사이의 값의 범위를 가져야  비교가 가능하기때문에

 

원핫 인코딩이 필요하다

 

 

 

 

 

데이터가 많아지면 오차값이 많아져

오차를 줄이기 위해 더 많은 학습이 필요한데, 

 

 

예측확률의 합을 1로 설정해

예측 오차의 평균을 줄여주는

소프트맥스 함수를

다중분류에 사용

 

 

 

 

예측 확률값을 모두 같은비율 (1/2)로

줄여 정답과의 오차가

0.55   0.35   0.2로 변하고

 

바꾸기전 오차의 합: 1.2

바꾸고 난 후 오차합: 1.1로

 

총 오차의 합이 줄어든다

 

-> 데이터의 수가 많아질 수록

더 줄어든다