Ahn9807: 새 문서: 분류: 지도 학습 == 개요 == Discriminative model을 사용한 분류기중 가장 널리 사용되는 방식이다. Logistic Regression은 각각의 샘플들이 특정한 class에 분류될 확율을 Regression시킨다. Logistic Regression 은 Logistic fuction을 이용하여 class들을 분류한다. Logistic Regression 은 선형분류의 한예라고도 할 수있다. == Logistic Function == 가운데 여기서 L...

2023-02-24T09:26:27Z

새 문서: 분류: 지도 학습 == 개요 == Discriminative model을 사용한 분류기중 가장 널리 사용되는 방식이다. Logistic Regression은 각각의 샘플들이 특정한 class에 분류될 확율을 Regression시킨다. Logistic Regression 은 Logistic fuction을 이용하여 class들을 분류한다. Logistic Regression 은 선형분류의 한예라고도 할 수있다. == Logistic Function == 섬네일|가운데 여기서 L...

새 문서

[[분류: 지도 학습]]

== 개요 ==
[[Discriminative model]]을 사용한 분류기중 가장 널리 사용되는 방식이다. Logistic Regression은 각각의 샘플들이 특정한 class에 분류될 확율을 Regression시킨다. Logistic Regression 은 Logistic fuction을 이용하여 class들을 분류한다. Logistic Regression 은 선형분류의 한예라고도 할 수있다.
== Logistic Function ==
[[파일:Logistic function.png|섬네일|가운데]]
여기서 L은 커브의 높이(대부분 1로 주어짐), x_0는 중간값 (여기서는 0으로 주어짐), K는 함수의 기울기를 의미한다.
:<math>f(x)=\frac{L}{1 + e^{-k(x-x_0)}}</math>
현대의 [[Deep Neural Networks]]들은 cross entropy를 loss function으로 사용한다.
:<math>J(w)=-\frac{1}{N} \sum[y_nlog\hat{y}_n + (1-y_n)log(1-\hat{y}_n)]</math>
이경우 Logistic Regression loss function은 다음과 같다.
[[파일:Logistic Regression loss function.png|가운데]]

=== 특징 ===
# 결과 값이 확률값처럼 0과 1사이에서 정의된다.
# 미분값이 전 구간에서 정의되어서 전 구간에서 연속이다.
# Mirror symmetric성질을 가진다. 이는 중심점에대해서 점대칭인 특징을 가지는 것을 의미한다.
# 미분을 계산하기 매우 편리하다. 이는 미분할 필요도 없이 다음과 같은 공식으로 주어진다. <math>S'(x)=S(x)(1-S(x))</math>

== Logistic Regression ==
로지스틱 함수는 0과 1 사이의 값을 가진다. 이는 Logistic함수를 확률을 나타내기 위해서 사용할 수 있다는 말과 같다. 즉 Logistic Regression은 조건부 확률 P(X|Y)를 Logistic function으로 나타내어서 classfication을 한다.
=== Binary Classification ===
바이너리 케이스인경우 경우가 두가지만 나옴으로 치환을 통해서 p(x)로 나타낼수 있다. 이런 경우 식은 다음과 같이 정리된다.
:<math>p\left( x \right) >1-p\left( x \right) \\ \frac { p\left( x \right) }{ 1-p\left( x \right) } >1\\ \log { \frac { p\left( x \right) }{ 1-p\left( x \right) } } >0 \\ \\ { \overrightarrow { \beta } }^{ T }\overrightarrow { x } >0</math>
=== 파라미터의 학습 ===
<math>w_o</math>는 특별히 bias로 불리운다. 만약 feature가 d개의 dimension을 가지면, <math>w_o, w_1, ... , w_{d-1}</math> 로 파라미터를 나타낼 수 있다.

Logistic regression - 편집 역사