목록분류 전체보기 (50)
hojeomi blog
3-2. Linear Regression 의 cost 최소화에서 Gradient 조절
- TensorFlow의 이전버전이어서 최신버전에서는 어떤 식으로 구현하는지 모른다. 하지만 gradient를 직접 조절하고 싶을 때 참고하고자 정리한다. - Manual gradient 대략적으로 train - cost - hypothesis - W*b로 연결된다. 위 식에서 gradient 변수는 gradient 값들을 손수 계산한 것이다. - Gradient 조절 optimizer에서 바로 minimize 하지 말고, compute_gradient(cost)를 통해 cost에 맞는 gradient를 계산 -> 그 후 계산된 값들(gvs)을 마음대로 수정할 수 있다. 그 수정된 값을 apply_gradients(gvs)를 통해 적용할 수 있다. - 본 예제에서는 gvs를 수정하지 않고 바로 apply..
1. 쥬피터에 아래 코드를 추가한다. 이 코드를 추가하면 별도의 html 수정 없이 티스토리에 예쁘게 코드가 옮겨와진다. from IPython.core.display import display, HTML display(HTML("")) 2. 쥬피터에서 File - Print Preview - Ctrl+U - Ctrl+C 3. 티스토리에서 HTML모드 선택 - Ctrl+V 참고 antananarivo.tistory.com/29 티스토리에 소스코드 올리기. 티스토리를 운영하면서 소스코드를 올려야겠다 라는 필요성이나 절박함? 은 없었는데 점점 그래야할 필요성을 많이 느끼게 되었다. 그냥 복사해서 올리면 기존에 내가 올려둔 느낌이 나게 되고 antananarivo.tistory.com
In [1]: from IPython.core.display import display, HTML display(HTML("")) 1. Build graph using TF operations¶ In [2]: # Lab 3 Minimizing Cost import numpy as np import tensorflow as tf import matplotlib.pyplot as plt x_train = [1, 2, 3, 4] y_train = [0, -1, -2, -3] # Sequential 모델은 레이어를 선형으로 연결하여 구성합니다. 레이어 인스턴스를 생성자에게 넘겨줌으로써 Sequential 모델을 구성할 수 있습니다. # units: 출력값의 크기(갯수) # inpun_dim: 2D, input_..
2. Linear Regression의 cost 최소화 알고리즘의 원리 설명
* Sung Kim 교수님의 유튜브 강의 공부내용입니다. - cost가 가장 작은 W 찾는 것 - 가장 대표적인 Gradient descent algorithm(경사하강법) - Formal definition에서 2로 나누는 이유: 미분 시, 지수 2가 곱하기 2로 내려오는데, 이때 계산을 더 쉽게 하기 위해 2로 한번 더 나눠준다. - 최종 식의 의미(W := W - a/m~): 필기 참고 - 좋지 않은 cost function 예시: 어떤 점에서 시작하는냐에 따라 결과값이 달라짐 - 그래서 꼭 convex한지 확인해야함. 오목해야 한 곳으로 모임.