본문 바로가기

딥러닝관련/기초 이론43

고유값 분해 (eigen decomposition) 수학적 대상 중에는 그것을 구성요소들로 분해해서, 표현 방식과는 무관하게 보편적인 어떤 성질을 찾아내면 더 잘 이해 할 수 있는 것이 많다. 예시) 어떤 경우이든 십진수 12는 2 X 2 X 3이라는 사실은 참이다. 이러한 소인수분해 표현에서 여러 유용한 성질을 이끌어낼 수 있다. 이를테면, 12는 5로 나누어지지 않으며, 12의 임의의 정수배는 3으로 나누어짐 같은 것.. 정수를 소인수들로 분해하면 정수의 진정한 본성에 관한 뭔가를 알아낼 수 있는 것과 비슷하게, 행렬을 다양한 방식으로 분해해 보면 성분들의 배열 형태로 표현된 행렬에서는 미처 발견하지 못한 여러 기능적인 속성이 드러난다. 가장 널리 쓰이는 행렬 분해 방법의 하나는 고윳값 분해(eigen decomposition)라는 것이다. 고윳값 분.. 2021. 3. 10.
Orthogonal (직교) vector 벡터 \(x\) 와 \(y\)가 \(x^{T} y = 0\) 을 만족할 때 이 두 벡터를 가리켜 서로 직교(orthogonal) 라고 말한다. 두 벡터 모두 norm이 0이 아니라면, 두 벡터의 각도는 90도이다. Orthogonal vector 예시 (3D space) Geometry 관점에서, 두 개의 orthogonal vector는 Euclidean space에서 서로 perpendicular(수직) 입니다 \(L_2norm\)이 1인 경우(\(||L||_2 = 1\))를 단위 norm(unit norm) 이라고 합니다. 정규직교(orthonormal) = orthogonal + 단위 norm 직교행렬(orthonogal matrix)은 행들과 열들이 서로 정규직교(orthonormal)인 정방행.. 2021. 2. 7.
Norm 종종 vector의 크기를 측정해야 할 때가 있습니다. 일반적으로 기계 학습에서는 벡터의 크기를 norm(노름) 이라고 부르는 함수를 이용해서 측정 합니다. \(L^p\) 로 표기하는 norm의 정의는 다음과 같습니다. 직관적으로 벡터 \(x\)의 norm은 원점에서 점 \(x\)까지의 거리를 의미합니다. \begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix} 만약 위와 같은 벡터가 있다고 가정을 해보겠습니다. 그렇다면 이 벡터의 차원은 3 입니다. 차원이 3이라는 것은 3차원 공간에 이 벡터를 그릴 수 있다는 말입니다. L1 norm (\(L_1 norm\) 은 Manhattan norm 또는 Taxicab norm 이라고도 불려집니다. ) \(L_1 norm\)은 벡터의 모든 성분.. 2021. 2. 6.
Representation 간단한 기계 학습 알고리즘들과의 성과는 주어진 자료의 표현(representation)에 크게 의존한다. 예를 들어 로지스틱 회귀를 제왕절개 추천에 사용할 때, AI 시스템이 환자를 직접 진찰하지는 않는다. 대신 의사가 시스템에 여러 가지 관련 정보를 제공한다. 환자 자료의 표현에 있는 그러한 각각의 정보 조각을 특징(feature)라고 부른다. 책 심층학습(http://www.yes24.com/Product/Goods/65576412) 참고 2020. 7. 7.

티스토리툴바