목록분류 전체보기 (50)
hojeomi blog
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/bclE4S/btqVh733P3o/uGGDPAMtSIKEKo6t9XWw2k/img.png)
1. 신경망 비선형모델 수식을 분해해보면 선형모델이 숨겨져 있음 → 선형모델과 비선형모델의 결합으로 이루어져 있음 W는 행렬X를 다른 차원으로 보내주는 행렬 d개의 변수들을 p개의 선형모델을 만듦으로써 p개의 잠재변수를 설명하는 모델 만들기 즉, 신경망은 선형모델과 활성함수(activation function)를 합성한 함수 2. 활성함수(activation function) R 위에 정의된 비선형함수 활성함수를 쓰지 않으면 딥러닝은 선형모형과 차이가 없음 시그모이드(sigmoid) 함수나 tanh 함수는 전통적으로 많이 쓰이던 활성함수지만 딥러닝에서는 ReLU 함수를 많이 씀 3. 소프트맥스(softmax) 연산 딥러닝에서 분류문제를 풀 때 사용 소프트맥스 함수는 모델의 출력을 확률로 해설할 수 있게 ..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/dQUi2l/btqUTne0jcA/V27lWnPe28k2FUrEUhApn0/img.png)
1. 미분 변수의 움직임에 따른 함수값의 변화를 측정하기 위한 도구 → 최적화에서 많이 사용 한 점에서 접선의 기울기를 알면 어느 방향으로 점을 움직여야 함수값이 증가/감소하는지 알 수 있음 미분값을 더하면 '경사상승', 때면 '경사하강' 2. 변수가 벡터일 때의 미분 → 편미분 d차원 벡터라면 편미분 d개 → 그레디언트(gradient) 벡터 3. 선형회귀분석의 방법 방법 1. 유사역행렬 이용 방법 2. 경사하강법 이용
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/mu6MI/btqUM8CnJ4y/bL2vQw1uAkzDylASJOcIy0/img.png)
1. 행렬 내적 np.inner 2. 행렬곱 행렬곱을 통해 벡터를 다른 차원의 공간으로 보낼 수 있음 행렬곱을 통해 패턴추출 또는 데이터 압축이 가능함 3. 역행렬 역행렬의 조건 행과 열 숫자가 같아야 함(mxm 행렬) 행렬식(determinanat)가 0이 아니어야 함 위 두가지 조건을 만족하지 않는 행렬이지만, 역행렬이 필요할 때가 있음 → 유사역행렬(또는 의사역행렬)을 사용함 참고자료 1. 선형연립방정식 풀이 darkpgmr.tistory.com/108 [선형대수학 #5] 선형연립방정식 풀이 다양한 형태의 선형 연립 방정식을 최소자승법(least square method)과 SVD(singular value decomposition), pseudo inverse 등을 이용해서 푸는 방법을 정리해 봅..
![](http://i1.daumcdn.net/thumb/C150x150/?fname=https://blog.kakaocdn.net/dn/beXzr1/btqUwxjTyVn/EZfKYVjKGZCx5Ue1WPCO1k/img.png)
1. 벡터란 숫자를 원소로 가지는 리스트 또는 배열(array) 공간에서 한 점을 나타냄 원점으로부터 상대적 위치 숫자를 곱하면 길이만 변화 더하거나 빼면 위치이동 2. 벡터의 노름(norm) 원점에서부터의 거리 L1 노름: 절댓값을 모두 더한 것 예) 2차원 좌표평면계에서 x축을 따라서 이동하는 x값 절댓값을 더한 값 L2 노름: 유클리드 거리 np.linalg.norm으로 구현 가능 노름의 종류에 따라 기하학적 성질이 달라짐 두 벡터 사이의 거리 구하기 → 벡터의 뺄셈 이용, L1, L2노름 이용 두 벡터 사이의 각도 구하기 → L2 노름 이용(제2코사인 법칙 이용) 분자를 쉽게 계산하는 방법: 내적 내적은 정사영(orthgonal projection)된 벡터의 길이와 관련있음 proj(x) = ||..