Day 12-1. 최적화

1. 최적화의 중요한 컨셉들

• Generalization
• Under-fitting vs Over-fitting
• Cross validation
• Bias-variance tradeoff
• Bootstrapping
• Bagging and boosting

 

 

 

1-1) Generalization

• Training error와 Test error의 차이를 줄이는 것
• 일반적으로 iteration이 커질수록 test error는 다시 커짐

 

 

 

1-3) Cross-validation

• validation set 없이 test set으로 모델의 성능을 확인하고 파라미터를 수정하면, test set에만 잘 작동함. 즉, test set에 과적합(over-fitting)하게 됨
• 위 문제의 원인은 test set이 전체 데이터의 일부분으로 '고정'되어 있기 때문
• 따라서, validation set에 모델 성능을 확인하고 파라미터(특히 하이퍼파라미터)를 수정하는 것을 k번 한 뒤 각 검증 정확도의 평균을 내는 것이 cross-validation

• training set, validation set, test set

출처: https://bjy2.tistory.com/95

• [참고]
• m.blog.naver.com/ckdgus1433/221599517834
• scikit-learn.org/stable/modules/cross_validation.html

3.1. Cross-validation: evaluating estimator performance — scikit-learn 0.24.1 documentation

교차 검증(cross validation)

 

 

 

 

1-4) Bias-variance tradeoff

• Error = Variance + Bias + Noise
• Bias: 결과 뭉치가 목표와 얼마나 떨어져 있는지
• Variance: 결과 뭉치가 얼마나 흩어져 있는지

• f_hat = 예측값
• f = true function
• t = target value
• t = f(x) + e

출처: https://untitledtblog.tistory.com/143

• bias를 줄이면 variance가 커지는 등 tradeoff 관계임

 

 

 

1-5) Bootstrapping

• 원래의 데이터 셋으로부터 관측치를 반복적으로 추출(복원 반복 추출)하여 데이터 셋을 얻는 방법
• 데이터 양을 임의적으로 늘리고, 데이터 셋의 분포가 고르지 않을 때 고르게 만드는 효과가 있음
• [참고] bkshin.tistory.com/entry/DATA-12

DATA - 12. 부트스트랩(Bootstrap)

 

 

 

1-6) Bagging and boosting

• [참고] joyfuls.tistory.com/61

[Python 머신러닝] 7장. 앙상블 (Ensemble) - (1) 앙상블의 개념

 

 

 

2. Gradient Descent Methods

• Stochastic gradient descent: Update with the gradient computed from a single sample
• Mini-batch gradient descent: from a subset of date
• Batch gradient descent: from the whole data
• [참고] nonmeyet.tistory.com/entry/Batch-MiniBatch-Stochastic-%EC%A0%95%EC%9D%98%EC%99%80-%EC%84%A4%EB%AA%85-%EB%B0%8F-%EC%98%88%EC%8B%9C

Batch, Mini-Batch, SGD 정의와 설명 및 예시

 

 

 

3. Gradient descent algorithms

• Stochastic gradient descent
• Momentum
• Nesterov accelerated gradient
• Adagrad
• Adadelta
• RMSprop
• Adam

yjjo.tistory.com/6 

Gradient Descent Algorithms

 

 

 

4. Regularization

• Early stopping
• Parameter norm penalty
• Data augmentation
• Noise robustness
• Label smooting
• Dropout
• Batch normalization