表現定理の使いどころとkernel SVM
カーネル法に関してずっと勘違いしていたというかちゃんと理解していなかったことを書きます。
問題設定
非負値をとるkernel関数k(x,y)を定めそれを内積とするような無限次元の空間(ヒルベルト空間)H_kを決めることが出来る。これを表現定理(リプレゼンター定理)という。
ベクトルx,yをk(x,y)を内積とするような無限次元の空間に移して非線形な識別平面を線形にして分類、回帰を行う。
疑問
- 有限個しかないデータ{x_i} (i=1...N)を使ってどのように無限次元の空間が構築できるのか
- 未知のデータが来た場合既存の識別平面でどのように分類されるのか
- またデータの個数によって学習結果はどう変化するのか
答え
(SVMの)目的関数
(x_iはデータ、y_iはラベル、fはヒルベルト空間Hの元、λ*Ωは正規化項)を考える。
と書け,v(x)はどのk(x_i,x)にも直交する。学習データ内のどのx_jに対しても
となるのでRはv(x)にはよらない。一方正規化項のも
(Kは正定値行列)という形に書ける。目的関数を最小にするような{αi}をとればいいので
の部分は考えなくてよくなる。
Reference
スパース性に基づく機械学習のp.98
スパース性に基づく機械学習 (機械学習プロフェッショナルシリーズ)
- 作者: 冨岡亮太
- 出版社/メーカー: 講談社
- 発売日: 2015/12/19
- メディア: 単行本(ソフトカバー)
- この商品を含むブログ (2件) を見る
カーネル多変量解析2.1(23)、7.2(169)にも書いてあった。
カーネル多変量解析―非線形データ解析の新しい展開 (シリーズ確率と情報の科学)
- 作者: 赤穂昭太郎
- 出版社/メーカー: 岩波書店
- 発売日: 2008/11/27
- メディア: 単行本
- 購入: 7人 クリック: 180回
- この商品を含むブログ (32件) を見る