ロジスティック回帰

ロジスティック回帰とは

今、観測されたデータ x が２つのクラス{C₁,C₂}のいずれかに属するとします。 データ x がクラスC₁に属する確率（事後確率）は、ベイズの定理を用いて、次のように書くことができます。

(3)

ここで、次式はシグモイド関数と呼ばれます。

(4)

(3)式の回帰式の係数は次式で与えられます。

(5) (6)

図１は、尤度p(x|C₁) (青）、p(x|C₂) (緑）に相当するヒスとグラムと、これに対応する事後確率p(C_1|x) (青）、p(C_2|x) (緑）の例です。実際の応用では、学習サンプルから尤度のパラメタ（μ_1, μ_2, Σ）を学習し、回帰係数(5)、(6)を求めておきます。クラスが未知のデータ x が入ってきたら、事後確率p(C_1|x) (青）、p(C_2|x) を計算して、x がどちらのクラスに属するかの確率値を求めます。

参考文献

[1] C. M. Bishop, "Pattern recognition and machine learning," Springer, 2006

サンプルプログラム

logisticRegression2D.py

このサンプルでは、sklearnライブラリのlinear_model.LogisticRegression()を用いて、２次元のデータについて、上述のロジスティック回帰の学習と予測を行う例題を示します。

# -*- coding: utf-8 -*-

"""

Created on Sat Oct 8 18:43:56 2016

@author: asano

"""

import numpy as np

import matplotlib.pyplot as plt

from matplotlib import cm

from sklearn import linear_model

from mpl_toolkits.mplot3d import Axes3D

FigSize = (8,6)

(gxmin,gxmax) = (-4,10)

(gymin,gymax) = (-4,10)

# データの生成

mu1 = np.array([1.0, 1.0])

cov1 = np.array([[1.0,0.0],[0.0, 1.0]])

n1 = 1000

x1 = np.random.multivariate_normal(mu1, cov1, n1)

mu2 = np.array([4.0, 3.0])

cov2 = np.array([[1.5,0.0],[0.0, 2.0]])

n2 = 1000

x2= np.random.multivariate_normal(mu2, cov2, n2)

# 散布図

plt.figure(figsize=FigSize)

plt.scatter(x1[:,0], x1[:,1],c='r')

plt.scatter(x2[:,0], x2[:,1],c='b')

plt.xlabel('x1')

plt.ylabel('x2')

plt.xlim(gxmin,gxmax)

plt.ylim(gymin,gymax)

# 学習

X = np.concatenate((x1,x2),axis=0)

y = np.ones(n1+n2)

y[n1:n1+n2] = -1

clf = linear_model.LogisticRegression(C=1e5)

clf.fit(X, y)

score = clf.score(X, y)

yHat = clf.predict(X)

# 識別結果の表示

plt.figure(figsize=FigSize)

plt.plot(range(n1+n2),y,'b')

plt.plot(range(n1+n2),yHat,'ro')

plt.ylim(-1.2,1.2)

plt.title('Accuracy: ' + str(score) )

# 確率密度関数

def sigmoid(x):

return 1 / (1 + np.exp(-x))

(ngx,ngy)=(100,100)

gx = np.linspace(gxmin,gxmax,ngx)

gy = np.linspace(gymin,gymax,ngy)

p1 = np.zeros((ngx,ngy))

for m in range(ngx):

for n in range(ngy):

x = np.array([gx[m], gy[n]])

p1[m,n] = sigmoid( np.dot(x, clf.coef_[0]) + clf.intercept_)

plt.figure(figsize=FigSize)

(gxm,gym) = np.meshgrid(gx,gy)

plt.pcolor(gxm, gym, p1)

plt.xlabel('x1')

plt.ylabel('x2')

fig = plt.figure(figsize=FigSize)

ax = fig.add_subplot(111, projection='3d')

surf = ax.plot_surface(gxm, gym, p1, rstride=1, cstride=1, cmap=cm.coolwarm,

linewidth=0, antialiased=False)

ax.view_init(30, 20)

plt.xlabel('x1')

plt.ylabel('x2')

fig.colorbar(surf, shrink=0.5, aspect=5)