3-2. Linear Regression 의 cost 최소화에서 Gradient 조절

 

 

 

- TensorFlow의 이전버전이어서 최신버전에서는 어떤 식으로 구현하는지 모른다. 하지만 gradient를 직접 조절하고 싶을 때 참고하고자 정리한다.

 

- Manual gradient

• 대략적으로 train - cost - hypothesis - W*b로 연결된다.
• 위 식에서 gradient 변수는 gradient 값들을 손수 계산한 것이다. 

-  Gradient 조절

• optimizer에서 바로 minimize 하지 말고, compute_gradient(cost)를 통해 cost에 맞는 gradient를 계산 -> 그 후 계산된 값들(gvs)을 마음대로 수정할 수 있다.
• 그 수정된 값을 apply_gradients(gvs)를 통해 적용할 수 있다.

- 본 예제에서는 gvs를 수정하지 않고 바로 apply_gradients(gvs)에 넣었으므로, 위의 식과 같은 결과를 보인다.

 

 

 

 

 

 

 

 

 

 

 

출처

www.youtube.com/watch?v=Y0EF9VqRuEA&list=PLlMkM4tgfjnLSOjrEJN31gZATbcj_MpUm&index=7