Trade-Off

# https://untitledtblog.tistory.com/143

# https://ebbnflow.tistory.com/134

# https://bywords.tistory.com/entry/%EB%B2%88%EC%97%AD-%EC%9C%A0%EC%B9%98%EC%9B%90%EC%83%9D%EB%8F%84-%EC%9D%B4%ED%95%B4%ED%95%A0-%EC%88%98-%EC%9E%88%EB%8A%94-biasvariance-tradeoff

 

 

Bias-Variance Tradeoff

Learning Error = Bias + Variance + Noise

* Noise : 데이터가 가지는 본질적인 한계치. irreducible error라고도 불린다. (bias/variance는 모델에 따라 변하므로 reducible error라고 불린다)

 

Bias : 학습된 분류기와 실제 값 사이의 제곱 error. training data를 바꿈에 따라 알고리즘의 평균 정확도가 얼마나 많이 변하는지를 보여주는 척도. 데이터 내의 모든 정보를 고려하지 않음으로 인해 지속적으로 잘못된 것들을 학습하는 경향을 말한다. underfitting과 관계되어 있다. 

 

 

Variance : 학습된 분류기들이 각기 다른 입력 데이터셋에 대해 알고리즘이 얼마나 민감한지, 성능 변화 정도가 급격한지 안정적으로 변하는지를 나타내는 척도. 데이터 내의 에러나 노이즈까지 잘 잡아내는 high flexible models에 데이터를 fitting시킴으로써, 실제현상과 관계없는 random한 것들까지 학습하는 알고리즘의 경향을 의미한다. overfitting과 관계있다. 

 

bias와 variance를 비유하자면, bias가 크다는 것은 고집이 쎈 것이고, variance가 크다는 것은 귀가 얇다는 것.

 

 

 

 

 

a) bias가 크고, variance가 작으면

underfit이 일어나므로 모델이 정상적으로 학습을 마친 후의 정확도가 기대치보다 떨어진다. 

모델이 매우 안정적인 결과를 내놓으며 데이터가 달라도 비슷한 구역으로 예측값을 매핑하나 틀린 곳까지 매핑하는 문제가 있다. 데이터 변화에는 안정적이지만 학습을 너무 rough하게 하여 모델 성능이 좋지 못하다. 

선형모델

선형모델 -> 데이터 내의 모든 정보를 고려하지 못함(high bias) / 새로운 데이터가 들어와서 모델 형태는 크게 변하지 않을 것(low variance)

 

b) bias가 작고 variance도 작으면

이상적인 모델.

트레이닝 데이터에서 반복되는 규칙성을 정확하게 잡아내면서도 학습되지않은(unseen) 데이터를 잘 일반화할 수 있는 모델이다. 

 

 

c) bias는 작고 variance는 크면

overfit이 일어나므로 정상적으로 학습을 마친 후 새로운 데이터 셋에 대해서는 그 예측 성능이 좋지 못하다. 

피처가 너무 많거나 지엽적인 데이터를 학습하여 일부는 정확하게 매핑되지만 많은 데이터를 정확하게 예측하지 못한다. 모델을 너무 tight하게 학습하여 데이터가 조금만 변해도(ex. 노이즈) 모델이 매우 다른 예측 결과를 내놓는다. 

고차 다항함수 모델

고차 다항함수 모델 -> 주어진 데이터를 잘 설명하고 있음(low bias) / 새로운 데이터가 들어왔을 때 완전히 다른 형태로 변하게 되고, generality를 잃게 될 것(high variance)

 

 

---

모델 학습할 때, 목표는 bias와 variance가 모두 최소화되도록 하는 것이다. 그러나 일반적으로 bias와 variance는 동시에 최소화될 수 없는데, 이러한 현상을 bias-variance tradeoff라고 한다.

 

딥러닝 이전 머신러닝에서는 bias와 variance를 동시에 줄이기가 쉽지 않았다. 때문에 둘의 trade off를 고려하여 둘을 합하였을 때 최저점을 찾는 것을 목표로 한다. 딥러닝은 비교적 쉽게 bias와 variance를 동시에 줄일 수 있다.

 

위 그림에서 x축은 모델 complexity이고, 즉 오른쪽으로 갈수록 모델은 복잡해지고, 오버피팅의 가능성이 높아지며 bias는 낮아지지만 새로운 데이터에 대해 취약해진다(variation이 높아진다). 왼쪽으로 갈수록 모델은 단순해지지만 기본데이터조차 제대로 맞추지 못하게 된다(bias가 높아진다).