Norm

종종 vector의 크기를 측정해야 할 때가 있습니다.

일반적으로 기계 학습에서는 벡터의 크기를 norm(노름) 이라고 부르는 함수를 이용해서 측정 합니다.

\(L^p\) 로 표기하는 norm의 정의는 다음과 같습니다.

직관적으로 벡터 \(x\)의 norm은 원점에서 점 \(x\)까지의 거리를 의미합니다.

\begin{bmatrix} 1 \\ 1 \\ 1 \end{bmatrix}

만약 위와 같은 벡터가 있다고 가정을 해보겠습니다.

그렇다면 이 벡터의 차원은 3 입니다. 차원이 3이라는 것은 3차원 공간에 이 벡터를 그릴 수 있다는 말입니다.

L1 norm

(\(L_1 norm\) 은 Manhattan norm 또는 Taxicab norm 이라고도 불려집니다. )

\(L_1 norm\)은 벡터의 모든 성분의 절대값을 더하는 것으로 계산합니다.

\begin{bmatrix} 3 \\ 4 \end{bmatrix}

예를 들어 위와 같은 벡터가 있다면

\(L_1 norm\)은 7이 됩니다.

\(||x||_1 = |3| + |4| = 7\)

위 distance를 아래 그림과 같이 표현할 수 있습니다.

\(p=2\)인 \(L^2\) norm은 유클리드 norm(Euclidean norm)이라고 불리며, 유클리드 norm은 원점에서 \(x\)에 해당하는 점까지의 유클리드 거리 입니다.

\(||x||_2 = \sqrt{3^2 + 4^2} = \sqrt{25} = 5\)

위 distance를 아래 그림과 같이 표현할 수 있습니다.

출처