Part 4. Linear Classification(선형 분류)

Module 2. 지도학습(분류/회귀)은 이화여자대학교 강제원 교수님이 강의를 하셨고 Module 2에 관한 모든 내용은 LG Aimers 및 이화여자대학교 강제원 교수님으로부터 나왔다.

 

 

 

이번 포스팅에선 Linear Classification에 대해 설명하겠다.

 

 

Linear Classification

Linear Classification은 선형 분류를 얘기한다.

그래서 모델의 출력이 이산적이다.

Linear Classification의 장점으론

매우 단순하고 해석하기 쉽다.

그래서 h(x)가 0보다 크면 +로 분류를

h(x)가 0보다 작으면 -로 분류를 하는 식이다.

 

 

 

Linear Classification은 판별하는 동안 Score 값을 통해서 판별을 한다.

 

Score이외에 Margin이 존재한다.

 

 

Score : 모델은 Score 값을 이용해 판별하며 model이 얼마나 confident 한지 측정이 가능하다

 

Margin : Score에 y의 값을 곱하여 계산한다.

 

 

 

 

 

 

이제 score값과 y값의 관계가 Margin 을 어떻게 변화시키는지 확인해보도록 하자

 

y	+1	-1	+1	-1
Score	+	-	-	+
Margin	↑	↑	↓	↓

 

즉 y * Score 값이 양수이면 Margin이 증가하고, 음수이면 Margin이 감소하게 된다.

 

 

 

Error

 

1. Zero - one Loss

 - 내부의 로직을 판단하여 0,1로 출력하는 함수

 - Score 값을 이용하여 판단

 - Zero-one loss는 미분을 하게 되면 gradient가 모두 0이 되어버려 학습을 하지 못하게 된다

Zero-one loss

 

 

이러한 문제를 해결하기 위해

2. Hinge loss

함수를 사용하는데

이 두 값중 더 큰 값을 고르는 역할을 한다.

그 후 hinge loss를 미분하여 gradient를 구하면 된다.

그래프가 이렇게 변하게 된다.

 

 

3. Cross-entroy loss

  - p와 q의 유사도에 따라 Error의 값이 바뀜

  - 비슷하면 값이 줄고, 다르면 값이 올라감

 

 

 

또한 Score는 실수 값으로 계산이 되는데

이 실수값을 mapping에 사용하기 위해 sigmoid 함수를 이용한다.

그렇게 sigmoid 함수는 score 값을 0~1 사이로 맞춰주게 된다.

이러한 형태를 Logistic Model이라고 부른다.

 

 

 

 

이런 방식들로 얻은 train loss의 미분 term으로 gradient값을 계산해서 weight를 업데이트하는 방식으로 수렴할 때까지

Linear Classifier는 학습은 진행한다.

 

 

 

 

그럼 지금까지는 A, B와 같은 이산적인 분류만 설명했지만 A, B, C, D와 같은 다양한 분류는 할 수 없나 궁금증이 생겨날 것이다.

 

 

Multiclass Classification

One-VS-All : Multiclass 문제를 이산적인 문제를 풀듯이 풀 수 있게 해주는 방식

   how? : 각각의 hyperplane을 생각하여 Score를 구하고 sigmoid 함수를 이용한 후 One-hot-encoding 을 통해 학습하면 된다.

 

 

 

 

Quiz Time

1 : In a linear classification model, a hyperplane is used for a decision boundary to classify training samples, assuming samples are linearly separable.

 

 

Answer : O

 

 

2 : Cross-entropy loss represents an error or a dissimilarity between two real values, and therefore it can be directly used to compute an error of a score value

 

 

Answer : X

 -> Cross-entroy는 dissimilarity를 측정하기 때문이다.

 

3 : A binary linear classifier can be extended to a multiclass linear classifier

 

 

Answer : O

 

 

 

 

Summary

1. Liner Classification model - 단순하며 해석가능하다 - 학습을 하기위해서는 loss 함수를 사용(대표적으로 Cross-entropy loss) - Multi-Classification 문제는 one-vs-all같은 형태로 binary classification 문제를 확장하여 해결