読者です 読者をやめる 読者になる 読者になる

xiangze's sparse blog

機械学習、ベイズ統計、コンピュータビジョンと関連する数学について

表現定理の使いどころとkernel SVM

カーネル法に関してずっと勘違いしていたというかちゃんと理解していなかったことを書きます。

問題設定

非負値をとるkernel関数k(x,y)を定めそれを内積とするような無限次元の空間(ヒルベルト空間)H_kを決めることが出来る。これを表現定理(リプレゼンター定理)という。
ベクトルx,yをk(x,y)を内積とするような無限次元の空間に移して非線形な識別平面を線形にして分類、回帰を行う。

疑問

  • 有限個しかないデータ{x_i} (i=1...N)を使ってどのように無限次元の空間が構築できるのか
  • 未知のデータが来た場合既存の識別平面でどのように分類されるのか
  • またデータの個数によって学習結果はどう変化するのか

答え

(SVMの)目的関数
 R(f(x_0,y_0), .\dots ,(x_n,y_n) )+\lambda\Omega(||f||^2_H)
(x_iはデータ、y_iはラベル、fはヒルベルト空間Hの元、λ*Ωは正規化項)を考える。
 f(x)=\sum_{i=0}^{n} \alpha_i k(x_i,x)+v(x)
と書け,v(x)はどのk(x_i,x)にも直交する。学習データ内のどのx_jに対しても
 f(x_j) = \langle f,k(x_j,\cdot) \rangle_H = \sum_{i=1}^n \alpha_i k(x_i,x_j)
となるのでRはv(x)にはよらない。一方正規化項の ||f||_H
 ||f||_H={\bf \alpha^T K \alpha }+||v||_H
(Kは正定値行列)という形に書ける。目的関数を最小にするような{αi}をとればいいので
 ||v ||^2_Hの部分は考えなくてよくなる。

Reference

スパース性に基づく機械学習のp.98

スパース性に基づく機械学習 (機械学習プロフェッショナルシリーズ)

スパース性に基づく機械学習 (機械学習プロフェッショナルシリーズ)

カーネル多変量解析2.1(23)、7.2(169)にも書いてあった。

カーネル多変量解析―非線形データ解析の新しい展開 (シリーズ確率と情報の科学)

カーネル多変量解析―非線形データ解析の新しい展開 (シリーズ確率と情報の科学)

mathetake.hatenablog.com