ハミモン、ゲットだぜ！

Hamilton Monte-Carlo法(Hybrid Monte-Carlo法)はMCMCによる分布関数のサンプリングを高速化させる手法の一つであり、近年StanやTheanoなど統計的解析を行うためのプログラミング言語に実装させており、注目を集めています。
今回は混合ガウス分布に対するその分布の軌跡をplotしました。

pythonでGPUとMCMC(とR)

GPUでモンテカルロ法の計算をしたくなったりした場合には普通CUDA,OpenCLを使うことになります。
C++でプログラミングする必要があるのですが、変数の確保、解放などで記述が長くなりがちです。pythonを用いると記述を簡潔にできるところが多いらしいので関連するライブラリを紹介します。

IPython Notebookとnbviewerを使ってみた

IPython Notebookが評判になっているので使ってみました。書いたコードをgithub,gistに上げるとnbviewerできれいに表示してくれるそうなので試してみました。

Fisher行列とKL Divergenceの関係とEMアルゴリズム、変分ベイズ推定について少し

Relations between Kullback-Leibler distance and Fisher information
に書いてあることそのものです。行列といいながら１次元のときのことしか書いていないのが良くないです(上記ドキュメントではmatrixとは言っていない)。

1行でディープラーニングできなかった(theanoとH2O)。

pip install theano

import urllib2
exec(urllib2.urlopen("https://gist.githubusercontent.com/xiangze/90c2a215b46dad907329/raw/onelineardA.py").read())

data(MNIST)のダウンロードではまったら頑張りましょう。

元ネタ(H2O)

• BOD Rで一行でディープラーニング
• http://0xdata.com/blog/2014/03/h2o-architecture/

theanoがGPGPUを用いた計算の高速化を標榜しているのに対して、
H2Oでは並列化、分散Key-Valueストア,GCの最適化など巨大なデータの扱いを高速で行えるようにしたところに特色があるようです。
本体はJavaで書かれていてh2o.init()で専用のVMが起動します。

h2o.importHDFS()とかできるらしいです。

コンピュータビジョン最先端ガイド6 第4章ディープラーニングの予習

第4章ディープラーニングの内容に関する個人的ノートです。
詳しくは

コンピュータビジョン最先端ガイド6 (CVIMチュートリアルシリーズ)

を読んでください。

5/25(日)に勉強会が開催されます。
第23回 コンピュータビジョン勉強会＠関東

以下が内容です。後半はしょってしまってるところが多いです。

Forecasting synchronizability of complex networks from dataを読んだ

Forecasting synchronizability of complex networks from data(PHYSICAL REVIEW E 85, 056220 (2012),PDF)という論文を読んだのでその概略をまとめます。

日本語キーワード

圧縮センシング 力学系 結合振動子 複雑ネットワーク

概略

本論文では同じような方程式に従う力学系(常微分方程式)が離散グラフ状に配置され、相互作用するような場合を想定しています。そして通常離散グラフをあらわす隣接行列は疎であることから圧縮センシングの手法でその結合の仕方(トポロジー)が推測できるということを主張しています。またそこから時系列を推測し、さらに推測できたネットワークの情報からその制御(同期化)が出来ることにも触れています。

この論文は以前本ブログで紹介した"Predicting Catastrophes in Nonlinear Dynamical Systems by Compressive Sensing"(arxiv)の著者の1人Wen-Xu Wangさんが名を連ねているものです。以前の論文では少数自由度の力学系の数式を圧縮センシングで推測することでその挙動を再現していましたが、本論文ではそのような力学系が結合したものの結合度合い(トポロジー)が対象となります。