네이버 부스트캠프 AI Tech/고민 기록2 무어-펜로즈 역행렬 학습 중 의문점 무어-펜로즈 역행렬 or 유사 역행렬 [np.linalg.pinv] A의 역행렬을 계산할 수 없다면 유사 역행렬을 사용. n * m matrix A에 대해 transpose(A) * A, A * transpose(A)의 역행렬이 존재한다면 아래가 성립. 무어-펜로즈 유사역행렬의 일반화된 정의는 위와 다르다.(아래 Reference 참조) 신기한 점은 무어-펜로즈 유사 역행렬은 항상 존재하고 유일하다. (!!) 식의 개수가 변수 개수보다 적은 연립방정식의 해를 '하나' 구할 수 있음. (n < m인 경우) 연립방정식을 행렬의 곱셈 Ax = b로 표현하면, 처음에는 왼쪽에서 오른쪽 결과를 유도하기 위해 좌측역행렬을 곱해야 한다고 생각했다. 하지만, 좌측역행렬을 곱해서 나온 x는 Ax = b이기 위한 필요조건.. 2022. 2. 4. RNN 역전파 구현 과제 중 의문점 RNN backpropagation을 구현하는 과정에서 편미분을 하는데 (핵심식)이 이해가 안됐다. y는 Sn에 대한 함수이니까 Sn을 Wx로 미분한 것에서 끝내도 될 것 같은데, (Sn, Sn-1, Sn-2, ..., S0)을 Wx로 편미분한 것들의 합으로 표현되는게 납득되지 않았다. 며칠 동안 고민하다가 아래와 같이 나름의 결론을 내봤다. 핵심 아이디어는 Sn을 어떤 변수에 대한 함수로 보느냐이다. 아래의 그림에서 함수 D와 F는 Sn으로 표기될 수 있는데 D는 (S0, Wrec, Wx)에 대한 함수[S0->Sn]이고 F는 (S2, Wrec, Wx)에 대한 함수[Sn-1->Sn]다. 문제에서 얘기한 Sn/Wrec은 D/Wx를 구하라는 의도였는데 나는 F/Wx로 착각했던 것. 신경망 모델에 대한 이해가.. 2022. 1. 25. 이전 1 다음