문서 편집 권한이 없습니다. 다음 이유를 확인해주세요: 요청한 명령은 다음 권한을 가진 사용자에게 제한됩니다: 사용자. 문서의 원본을 보거나 복사할 수 있습니다. [[분류: 지도 학습]] == 개요 == [[Discriminative model]]을 사용한 분류기중 가장 널리 사용되는 방식이다. Logistic Regression은 각각의 샘플들이 특정한 class에 분류될 확율을 Regression시킨다. Logistic Regression 은 Logistic fuction을 이용하여 class들을 분류한다. Logistic Regression 은 선형분류의 한예라고도 할 수있다. == Logistic Function == [[파일:Logistic function.png|섬네일|가운데]] 여기서 L은 커브의 높이(대부분 1로 주어짐), x_0는 중간값 (여기서는 0으로 주어짐), K는 함수의 기울기를 의미한다. :<math>f(x)=\frac{L}{1 + e^{-k(x-x_0)}}</math> 현대의 [[Deep Neural Networks]]들은 cross entropy를 loss function으로 사용한다. :<math>J(w)=-\frac{1}{N} \sum[y_nlog\hat{y}_n + (1-y_n)log(1-\hat{y}_n)]</math> 이경우 Logistic Regression loss function은 다음과 같다. [[파일:Logistic Regression loss function.png|가운데]] === 특징 === # 결과 값이 확률값처럼 0과 1사이에서 정의된다. # 미분값이 전 구간에서 정의되어서 전 구간에서 연속이다. # Mirror symmetric성질을 가진다. 이는 중심점에대해서 점대칭인 특징을 가지는 것을 의미한다. # 미분을 계산하기 매우 편리하다. 이는 미분할 필요도 없이 다음과 같은 공식으로 주어진다. <math>S'(x)=S(x)(1-S(x))</math> == Logistic Regression == 로지스틱 함수는 0과 1 사이의 값을 가진다. 이는 Logistic함수를 확률을 나타내기 위해서 사용할 수 있다는 말과 같다. 즉 Logistic Regression은 조건부 확률 P(X|Y)를 Logistic function으로 나타내어서 classfication을 한다. === Binary Classification === 바이너리 케이스인경우 경우가 두가지만 나옴으로 치환을 통해서 p(x)로 나타낼수 있다. 이런 경우 식은 다음과 같이 정리된다. :<math>p\left( x \right) >1-p\left( x \right) \\ \frac { p\left( x \right) }{ 1-p\left( x \right) } >1\\ \log { \frac { p\left( x \right) }{ 1-p\left( x \right) } } >0 \\ \\ { \overrightarrow { \beta } }^{ T }\overrightarrow { x } >0</math> === 파라미터의 학습 === <math>w_o</math>는 특별히 bias로 불리운다. 만약 feature가 d개의 dimension을 가지면, <math>w_o, w_1, ... , w_{d-1}</math> 로 파라미터를 나타낼 수 있다. Logistic regression 문서로 돌아갑니다.