hojeomi blog

1. 최적화의 중요한 컨셉들 Generalization Under-fitting vs Over-fitting Cross validation Bias-variance tradeoff Bootstrapping Bagging and boosting 1-1) Generalization Training error와 Test error의 차이를 줄이는 것 일반적으로 iteration이 커질수록 test error는 다시 커짐 1-3) Cross-validation validation set 없이 test set으로 모델의 성능을 확인하고 파라미터를 수정하면, test set에만 잘 작동함. 즉, test set에 과적합(over-fitting)하게 됨 위 문제의 원인은 test set이 전체 데이터의 일부분으로 '..

1. 조건부 확률이란? 조건부확률 P(A|B)는 사건 B가 일어났을 때, 사건 A가 발생할 확률 A 교집합 B = P(B)*P(A|B) = P(A)*P(B|A) 베이즈 통계학을 이해하기 위해 조건부확률의 개념을 이해해야 함 베이즈 정리는 조건부확률을 이용하여 정보를 갱신하는 방법을 알려줌 2. 베이즈 정리 베이즈 정리를 통한 정보의 갱신 베이즈 정리를 통해 새로운 데이터가 들어왔을 때 앞서 계산한 사후확률을 사전확률로 사용하여 갱신된 사후확률을 계산할 수 있음 예제정리 '베이즈 정리 예제' 참고 3. Confusion Matrix P(D|ㄱtheta) 예) 코로나에 걸리지 않았을 때, 걸렸다고 검진결과가 나왔을 때(측정한 데이터 D) 이를 오탐, 즉 False alarm이라고 함 P(ㄱtheta)*P(D..

flush tableau plotly

0. Intro 통계적 모델링은 적절한 가정 위에서 확률분포를 추정(inference)하는 것이 목표 하지만, 유한한 개수의 데이터만 관찰해서 모집단의 분포를 정확하게 알아낸다는 것은 불가능하므로, 근사적으로 확률분포를 추정할 수 밖에 없음 1. 모수란? parameter 데이터가 특정 확률분포를 따른다고 선험적으로(apriori) 가정한 후 그 분포를 결정하는 모수(parameter)를 추정하는 방법을 모수적(parametric) 방법론이라 함 특정 확률분포를 가정하지 않고 데이텅에 따라 모델의 구조 및 모수의 개수가 유연하게 바뀌면 비모수(nonparameteric) 방법론이라 함 비모수 방법론은 모수가 없는 것이 아닌 특정하지 않는 것 2. 확률분포 가정하기 기계적으로 확률분포를 가정해서는 안되며,..