본문 바로가기

딥러닝관련/기초 이론43

ROC curve and AUC 머신 러닝에서 performance measurement는 필수다. 특히, Classification task에 대해서, AUC-ROC curve를 통해 성능을 측정할 수 있다. 우리가 multi-class classification problem의 performance를 측정하거나 시각화할 때 AUC(Area Under the Curve) ROC(Receiver Operating Characteristics) 곡선을 사용한다. 이는 모든 classification model의 성능을 확인하기 위한 가장 중요한 evaluation metrics 중 하나. AUROC(Area Under the Receiver Operating Characteristics) 라고도 한다. What is the AUC - R.. 2022. 8. 6.
Cross entropy loss 정리 한 번쯤 정리할 필요가 있다고 느꼈는데 이제 정리해본다. 보통 언급하는 cross entropy loss는 아래의 식들처럼 표현한다. 어렵게 생각할 필요 없고 위 식은 한개의 샘플에 대해서 아래의 식은 전체 샘플의(m)의 평균(1/m)을 계산하여 식을 만든 것으로 보면될 것이다. log안에 들어가는 값은(y or p) 모델의 output probability, log 앞에 붙는 값(t or y)은 true label로 생각하면 된다. 보통 true label은 one-hot으로 해당되는 라벨 인덱스만 1이고 나머지는 0이다. 단일 샘플에 대하여 cross entropy loss를 적용해보자 ex) true label = [0, 1, 0] output probability = [0.1, 0.6, 0.3] .. 2022. 3. 6.
소프트맥스 회귀(softmax regression) Logistic Regression model은 여러 개의 binary classifier를 이용하여 multiple 클래스를 구현할 수 있다. 이를 Softmax Regression 혹은 multinomial logistic regression이라 표현 가능 개념 샘플 x가 주어지면 softmax regression model이 각 클래스 k에 대한 점수를 계산하고,그 점수에 softmax function을 적용하여 각 클래스의 확률을 추정. 위 s는 x가 주어졌을 때 각 클래스 k에 대한 점수다. -- $$\textcolor{red}{\text{각 클래스는 자신만의 파라미터 벡터} θ^{(k)} \text{가 존재}} $$ -- 이 벡터들은 파라미터 행렬(parameter matrix) Θ에 저장된다.. 2022. 3. 6.
로지스틱 회귀(logistic regression) Logistic regression (or logit regression) 분류에서 사용할 수 있는 회귀 알고리즘 샘플이 특정 클래스에 속할 확률 추정하는데 널리 사용.(ex, 스팸일 확률? -> 50% 넘으면 스팸으로 분류) 추정 확률이 일정 기준치를 넘어가면 양성 클래스 (positive class)추정 확률이 일정 기준치를 넘지 못하면 음성 클래스 (negative class) -> 이진 분류 (binary classification) 확률 추정 우선, linear regression 모델과 같이 logistic regression model은 입력 특성의 weight의 합을 계산(+ bias) 대신, linear regression처럼 결과를 바로 출력하지 않고, 결과의 값의 logistic을 출.. 2022. 3. 2.

티스토리툴바