Fisher行列とKL Divergenceの関係とEMアルゴリズム、変分ベイズ推定について少し
Relations between Kullback-Leibler distance and Fisher information
に書いてあることそのものです。行列といいながら１次元のときのことしか書いていないのが良くないです(上記ドキュメントではmatrixとは言っていない)。
1行でディープラーニングできなかった(theanoとH2O)。
pip install theano
import urllib2
exec(urllib2.urlopen("https://gist.githubusercontent.com/xiangze/90c2a215b46dad907329/raw/onelineardA.py").read())
data(MNIST)のダウンロードではまったら頑張りましょう。
元ネタ(H2O)
theanoがGPGPUを用いた計算の高速化を標榜しているのに対して、
H2Oでは並列化、分散Key-Valueストア,GCの最適化など巨大なデータの扱いを高速で行えるようにしたところに特色があるようです。
本体はJavaで書かれていてh2o.init()で専用のVMが起動します。
h2o.importHDFS()とかできるらしいです。
コンピュータビジョン最先端ガイド6 第4章ディープラーニングの予習
第4章ディープラーニングの内容に関する個人的ノートです。
詳しくは
5/25(日)に勉強会が開催されます。
第23回 コンピュータビジョン勉強会＠関東
以下が内容です。後半はしょってしまってるところが多いです。
続きを読むForecasting synchronizability of complex networks from dataを読んだ
Forecasting synchronizability of complex networks from data(PHYSICAL REVIEW E 85, 056220 (2012),PDF)という論文を読んだのでその概略をまとめます。
日本語キーワード
圧縮センシング 力学系 結合振動子 複雑ネットワーク
概略
本論文では同じような方程式に従う力学系(常微分方程式)が離散グラフ状に配置され、相互作用するような場合を想定しています。そして通常離散グラフをあらわす隣接行列は疎であることから圧縮センシングの手法でその結合の仕方(トポロジー)が推測できるということを主張しています。またそこから時系列を推測し、さらに推測できたネットワークの情報からその制御(同期化)が出来ることにも触れています。
この論文は以前本ブログで紹介した"Predicting Catastrophes in Nonlinear Dynamical Systems by Compressive Sensing"(arxiv)の著者の1人Wen-Xu Wangさんが名を連ねているものです。以前の論文では少数自由度の力学系の数式を圧縮センシングで推測することでその挙動を再現していましたが、本論文ではそのような力学系が結合したものの結合度合い(トポロジー)が対象となります。
n番煎じマンが文法圧縮による完備辞書を写経しました(Python)。
id:echizen_tmさんによる文法圧縮を使った完備辞書(簡潔ビットベクトル)を作ったに感銘を受けたので写経しその理解を試みました。
アルゴリズムは同じくRe-pairでほとんど流れは同じです。Pythonのほうが良いという人は読んでください。
続きを読むPersistent Homology とRのphom package, その他libraryの紹介
高次元データの大域的な性質に着目した分類、解析の手法にPersistent Homologyという方法があります。
またその手法を実装したRのパッケージ(CRAN phom package)があったので簡単に紹介いたします。その他の色々な言語で使えるライブラリについても最後に紹介いたします。
続きを読むPython,OpenCVでの駄コラ生成
Pythonで駄コラを作ってみよう（としています）が面白そうだったので書いてしまいました。顔の部分を別の画像に入れ替えるだけです。検出は完全ではないです。実写を使う場合は学習データを入れ替えましょう。
Next step
サーバー、botにする
Reference
【OpenCV】Pythonで駄コラを作ってみよう（としています） - 歩いたら休め
http://anime.udp.jp/data/lbpcascade_animeface.xml
