xiangze's sparse blog

機械学習、ベイズ統計、コンピュータビジョンと関連する数学について

Edwardを試してみた(1)

今更ながら確率的プログラミングのライブラリEdwardを試してみました。 http://edwardlib.org/tutorials/ 確率的プログラミング 統計的なモデルの(ベイズ)推定が出来るという点でstanやpymcと似ていますが、Edwardはより広く確率的プログラミング(Probabilis…

Group Equivariant CNNとM理論について

画像内の物体が回転したり変形したりしていても認識できるような方法に関する研究の論文を読みました。 CNNでは学習データを大量に用意しなければならず、そのために既存の画像に並行や回転などの操作を施して学習を行うと精度が向上することが知られていま…

表現定理の使いどころとkernel SVM

カーネル法に関してずっと勘違いしていたというかちゃんと理解していなかったことを書きます。

FPGAの原理と構成を読んだ

FPGAブームが来ています*1 。最近年を追うごとにFPGAに関する書籍やネット上の情報が多くなり、またC言語ベースでの高位合成技術の進展やLinuxベースのシステムが作られ、FPGAはソフトウェア開発者にとっての敷居が低く使いやすくなってきています。しかし入…

Exhaustive Hamilton Monte Carloの紹介

Stan Advent Calendar12/20の記事です。 Stan version2.10.0で実装されたExhaustive HMC(xHMC)というアルゴリズムについて 論文Identifying the Optimal Integration Time in Hamiltonian Monte Carlo の内容に基づいて説明します。

Recurrent Switching Linear Dynamical Systemsのstanでの再現

Stan Advent Calendar12/11の記事です。時系列の統計モデルに関する論文「Recurrent Switching Linear Dynamical Systems」の紹介とそのstanでの再現です、が現状うまくいっていません。。

stanとRでベイズ統計モデリングをいただきました。

ありがとうございます。 この本は著者の経験に基づくstanを用いた統計モデル構築と分析の方法について解説した他に類を見ない本になっています。StanとRでベイズ統計モデリング (Wonderful R 2)作者: 松浦健太郎,石田基広,市川太祐,高橋康介,高柳慎一,福島真…

stanによるニューケインジアン・フィリップス曲線の推定

経済学においては失業率とインフレ率をプロットすると負の相関関係が見られるというのが知られていてフィリップス曲線と呼ばれるそうです。 https://gist.github.com/xiangze/b2a29f5f4ffb2be835b2#file-data_for_phillips-ipynb その関係は10年程度の長期間…

論文コーパスの次元圧縮とLDAによるトピックの関係の可視化

機械学習の方法として教師なし学習で得られた量を特徴量として教師あり学習で使うという方法があります。 OnlineNewsPopularityの列の中にもLDAで推定されたトピックがあるようです。文書データもOnlineNewsPopularityと同じようにLDAで得られた量を使って機…

KerasとskoptでのBayesian Optimization

使ったアルゴリズム(random forest, neural net, Bayesian Optimization)とデータ(OnlineNewsPopularity)はTJOさんのブログ記事 と全く同じでPythonのライブラリscikit-learnのrandom forestとKeras, bayesianを使っているところが異なります。

stanでODEパラメーター推定を試す(その1)

基本的には http://statmodeling.hatenablog.com/entry/sir-model-ode-1 と同じ内容なのですが、 時間の間隔を指定しなくてもよいのか transformed dataとして指定するx_i,x_tは必要か(stanを呼び出したコードからは見えない) という(個人的な)疑問点に関す…

CVPR2016のひとり論文読み会

CVPR2016の論文読み会が大盛況で参加出来そうになかったので個人的に読んだ複数の論文を紹介します。

Tokyo.stanの感想

stan開発者の一員であるBetancourtさんを招いたTokyo.stanを聴きにいきました。 Michael Betancourt's Stan Lectureを開催しました - StatModeling Memorandum 自分はstanを余り使いこなせていないのですが、主にアルゴリズムと実装に関する感想を書きます。

最近のpymcの進展(ノンパラベイズ)

pymcはpythonの文法の枠内で統計モデルが書けてMCMCを実行することで推定が出来るライブラリです。 最近開発に色々な進展があったので勉強しています。 https://pymc-devs.github.io/pymc3/

「R言語徹底解説」をいただきました

R

「R言語徹底解説」(原題 Adbanced R)を訳者の方からいただきました。ありがとうございます。 最初15章 DSLまで読もうとしましたが挫折したので3章 データ抽出について書きます。

C89であった統計関係の薄い本

コミックマーケット89で見つけた統計関係の同人誌を紹介します。

簡潔データ構造のFPGA実装について

HDLアドベントカレンダー2015の記事です。 FPGAにwavelet treeを用いた簡潔データ構造を実装したという論文を紹介します。PDPTA'15(International Conference on Parallel and Distributed Processing Techniques and Applications)という学会で発表されたよ…

局所的な近似によるMCMCの高速化論文を読んだ

局所的な近似によるMCMCの高速化論文が話題になりました。 http://japan.zdnet.com/article/35073667/論文Accelerating Asymptotically Exact MCMC for Computationally Intensive Models via Local Approximations を読んで理解した範囲の内容を書きます。

RBMのtheanoコード解説

deeplearning.netのRBM(Restricted Boltzmann Machine)のTheanoでの実装面からの説明です。RBMのアルゴリズムについてはsinhrksさんが Theano で Deep Learning <6>: 制約付きボルツマンマシン <前編> - StatsFragments に書かれています。説明の流れはdeepl…

CVPR論文のトピックモデルによる分類と傾向

コンピュータビジョンの国際学会CVPRの最近の論文全文をトピックモデルに基づいて分類、単語分布を可視化できたのでその結果を手短にまとめます。図を見てもらったほうが早いかもしれません。

Theanoのshared変数についてメモ

shared変数(共有変数)の使いどころとscanのloop型構文との使いわけが分からなかったのでメモ

Torch7のCNNのFPGA実装は可能か(絵に描いた餅編)

waifu2xの登場で注目されるTorchですが、様々なアーキテクチャでの実装を標榜しているようです。 http://torch.ch/ ではFPGA backendsと書かれていますが、誰かが実装したという話は聞いたことがありません。ので検討してみました。

emceeを試してみた

pythonのMCMCライブラリとしてemceeというのがあるらしいので試してみました。 Paralell tempering(レプリカ交換モンテカルロ法)が使えるの他のライブラリとの大きな違いになります。http://dan.iel.fm/emcee/current/

theanoでwhileなど

sinhrksさんがtheanoでのloopについてまとめていたので その落ち穂拾いです。Python Theano function / scan の挙動まとめ - StatsFragmentssinhrks.hatenablog.com

Python for Financeという本

ipython notebookを使って出版されたらしいPython for Financeという本を読みました。 numpy, scipy, pandas, PyMC3をはじめとしたPythonの数値計算、解析系のパッケージを使った金融工学の計算事例と自作ライブラリについての紹介になっています。

ニコニコ動画 『スナップショット検索API』によるキャラクター共起性の可視化(東方&艦これ)

ニコニコ動画 『スナップショット検索API』 に触ってみた - 唯物是真 @Scaled_Wurm ニコニコ動画 『スナップショット検索API』 に触ってみた - 唯物是真 @Scaled_Wurmこちらの記事を参考にニコニコ動画における東方プロジェクト(東方)、艦隊これくしょん(艦…

「情報幾何の新展開」のやばさ

「情報幾何の新展開」という本が話題になっています。 http://www.saiensu.co.jp/?page=book_details&ISBN=ISBN4910054700848&YEAR=2014別冊数理科学 情報幾何学の新展開 2014年 08月号 [雑誌]出版社/メーカー: サイエンス社発売日: 2014/08/22メディア: 雑…

RNN-RBMによる旋律の予測と生成と音楽情報処理に関する紹介

かなり以前(2012年)のものになりますが、deeplearning.netでRecurrent Neural Network(の一種)のTheanoによる実装とMIDIデータからの旋律予測に関する論文の実装が公開されていたの紹介します。またその他機械学習による音楽情報の解析に関して少し紹介しま…

Particle Markov chain Monte Carlo methods (PMCMC)について

Particle Markov chain Monte Carlo methods (PMCMC)時系列の推定とモデル(のパラメータ)の推定においてParticle filter(SMC)とMCMCを組み合わせた手法があり、その分かりやすい解説としてParticle Markov chain Monte Carlo methods(pdf)というドキュメント…

Stick breaking process in stan

The BUGS bookの293 pageに書かれていたStick breaking processをstanで実装、コンパイルができましたが、Errorの発生により評価が阻まれています。 82個の銀河の銀河系からの相対速度の分布がテストデータとして使われていますが、入手が難しそうなので手で…