2. Linear Regression의 cost 최소화 알고리즘의 원리 설명

* Sung Kim 교수님의 유튜브 강의 공부내용입니다.

 

 

 

 

 

 

- cost가 가장 작은 W 찾는 것

- 가장 대표적인 Gradient descent algorithm(경사하강법)

- Formal definition에서 2로 나누는 이유: 미분 시, 지수 2가 곱하기 2로 내려오는데, 이때 계산을 더 쉽게 하기 위해 2로 한번 더 나눠준다.

- 최종 식의 의미(W := W - a/m~): 필기 참고

 

 

 

 

 

 

- 좋지 않은 cost function 예시: 어떤 점에서 시작하는냐에 따라 결과값이 달라짐

 

 

 

 

 

 

- 그래서 꼭 convex한지 확인해야함. 오목해야 한 곳으로 모임.