表現定理の使いどころとkernel SVM

カーネル法に関してずっと勘違いしていたというかちゃんと理解していなかったことを書きます。

問題設定

非負値をとるkernel関数k(x,y)を定めそれを内積とするような無限次元の空間(ヒルベルト空間)H_kを決めることが出来る。これを表現定理（リプレゼンター定理）という。
ベクトルx,yをk(x,y)を内積とするような無限次元の空間に移して非線形な識別平面を線形にして分類、回帰を行う。

疑問

有限個しかないデータ{x_i} (i=1...N)を使ってどのように無限次元の空間が構築できるのか
未知のデータが来た場合既存の識別平面でどのように分類されるのか
またデータの個数によって学習結果はどう変化するのか

答え

(SVMの)目的関数
$R(f(x_0,y_0), .\dots ,(x_n,y_n) )+\lambda\Omega(||f||^2_H)$
(x_iはデータ、y_iはラベル、fはヒルベルト空間Hの元、λ*Ωは正規化項)を考える。
$f(x)=\sum_{i=0}^{n} \alpha_i k(x_i,x)+v(x)$
と書け,v(x)はどのk(x_i,x)にも直交する。学習データ内のどのx_jに対しても
$f(x_j) = \langle f,k(x_j,\cdot) \rangle_H = \sum_{i=1}^n \alpha_i k(x_i,x_j)$
となるのでRはv(x)にはよらない。一方正規化項の $||f||_H$ も
$||f||_H={\bf \alpha^T K \alpha }+||v||_H$
(Kは正定値行列)という形に書ける。目的関数を最小にするような{αi}をとればいいので
$||v ||^2_H$ の部分は考えなくてよくなる。