xiangze's sparse blog

機械学習、ベイズ統計、コンピュータビジョンと関連する数学について

Edwardで一部の変数だけ確率変数にして変分推測する仕組み

VAEやGANなどに組み込まれたニューラルネットでは重み行列やバイアスは確率変数としては定義されていません*1が、 Edwardでは使って確率変数とそうでない変数を同時に推測(学習)させることが可能です。 それはどのようにして実装されているのでしょうか。 *1…

Veriflowについて

github.comネタです。 一応動きます。Input,Reg,Wireと演算でグラフを作り、Session内のrunメソッドのfeed_dictでInputに(tensorflowのplaceholderにするよう)に値を渡します。 Sessionを抜けると回路モジュール(modtest.sv)とテストモジュール(test.sv)が作…

BayesFlowについて

kerasのようにTensorflowの中にEdwardを取り込むという話もありましたが、BayesFlowという名前でtf.contribの中に取り込まれています。 https://www.tensorflow.org/api_docs/python/tf/contrib/bayesflow今の所klpq(csiszar_divergence内のkl_forward), hmc…

Edwardを試してみた(3)敵対的生成ネットワーク(GAN)

Edward2.0が発表され、criticismが廃止されたり、インターフェースが変わったりと大きな変化があるようですが、ここでは引き続きEdwardの例を実行してみます。

Ubuntu でtensorflow-gpuを使えるようにするのにはまった→解決

表題のようにUbuntu16.04 でtensorflow-gpuを使おうとしてハマったのでその解決に至るまでの記録です。 個々の問題はググって出てきた情報を実施することで解決できるものです。 ここではそれをどんな順序で試行錯誤し実行していったかの流れを記します。

Edwardを試してみた(2)変分オートエンコーダー(VAE)

だいぶ間が空いてしまいましたがEdwardのサンプルコードを動かしてみました。

ホクソエムとその周辺分布

HOXO-M Advent Calendar 2017 - Qiitaの10日目です。qiitaにpoemタグがあるのを知りました。今や著名なデータサイエンティスト界隈の中核として知られる組織ホクソエムですが、その実態は明らかではない。と去年くらいまでは思っていたのですが、執筆やtidyv…

Edwardを試してみた(1) MCMCでベイズ線形回帰

今更ながら確率的プログラミングのライブラリEdwardを試してみました。 http://edwardlib.org/tutorials/ 確率的プログラミング 統計的なモデルの(ベイズ)推定が出来るという点でstanやpymcと似ていますが、Edwardはより広く確率的プログラミング(Probabilis…

Group Equivariant CNNとM理論について

画像内の物体が回転したり変形したりしていても認識できるような方法に関する研究の論文を読みました。 CNNでは学習データを大量に用意しなければならず、そのために既存の画像に並行や回転などの操作を施して学習を行うと精度が向上することが知られていま…

表現定理の使いどころとkernel SVM

カーネル法に関してずっと勘違いしていたというかちゃんと理解していなかったことを書きます。

FPGAの原理と構成を読んだ

FPGAブームが来ています*1 。最近年を追うごとにFPGAに関する書籍やネット上の情報が多くなり、またC言語ベースでの高位合成技術の進展やLinuxベースのシステムが作られ、FPGAはソフトウェア開発者にとっての敷居が低く使いやすくなってきています。しかし入…

Exhaustive Hamilton Monte Carloの紹介

Stan Advent Calendar12/20の記事です。 Stan version2.10.0で実装されたExhaustive HMC(xHMC)というアルゴリズムについて 論文Identifying the Optimal Integration Time in Hamiltonian Monte Carlo の内容に基づいて説明します。

Recurrent Switching Linear Dynamical Systemsのstanでの再現

Stan Advent Calendar12/11の記事です。時系列の統計モデルに関する論文「Recurrent Switching Linear Dynamical Systems」の紹介とそのstanでの再現です、が現状うまくいっていません。。

stanとRでベイズ統計モデリングをいただきました。

ありがとうございます。 この本は著者の経験に基づくstanを用いた統計モデル構築と分析の方法について解説した他に類を見ない本になっています。StanとRでベイズ統計モデリング (Wonderful R 2)作者: 松浦健太郎,石田基広,市川太祐,高橋康介,高柳慎一,福島真…

stanによるニューケインジアン・フィリップス曲線の推定

経済学においては失業率とインフレ率をプロットすると負の相関関係が見られるというのが知られていてフィリップス曲線と呼ばれるそうです。 https://gist.github.com/xiangze/b2a29f5f4ffb2be835b2#file-data_for_phillips-ipynb その関係は10年程度の長期間…

論文コーパスの次元圧縮とLDAによるトピックの関係の可視化

機械学習の方法として教師なし学習で得られた量を特徴量として教師あり学習で使うという方法があります。 OnlineNewsPopularityの列の中にもLDAで推定されたトピックがあるようです。文書データもOnlineNewsPopularityと同じようにLDAで得られた量を使って機…

KerasとskoptでのBayesian Optimization

使ったアルゴリズム(random forest, neural net, Bayesian Optimization)とデータ(OnlineNewsPopularity)はTJOさんのブログ記事 と全く同じでPythonのライブラリscikit-learnのrandom forestとKeras, bayesianを使っているところが異なります。

stanでODEパラメーター推定を試す(その1)

基本的には http://statmodeling.hatenablog.com/entry/sir-model-ode-1 と同じ内容なのですが、 時間の間隔を指定しなくてもよいのか transformed dataとして指定するx_i,x_tは必要か(stanを呼び出したコードからは見えない) という(個人的な)疑問点に関す…

CVPR2016のひとり論文読み会

CVPR2016の論文読み会が大盛況で参加出来そうになかったので個人的に読んだ複数の論文を紹介します。

Tokyo.stanの感想

stan開発者の一員であるBetancourtさんを招いたTokyo.stanを聴きにいきました。 Michael Betancourt's Stan Lectureを開催しました - StatModeling Memorandum 自分はstanを余り使いこなせていないのですが、主にアルゴリズムと実装に関する感想を書きます。

最近のpymcの進展(ノンパラベイズ)

pymcはpythonの文法の枠内で統計モデルが書けてMCMCを実行することで推定が出来るライブラリです。 最近開発に色々な進展があったので勉強しています。 https://pymc-devs.github.io/pymc3/

「R言語徹底解説」をいただきました

R

「R言語徹底解説」(原題 Adbanced R)を訳者の方からいただきました。ありがとうございます。 最初15章 DSLまで読もうとしましたが挫折したので3章 データ抽出について書きます。

C89であった統計関係の薄い本

コミックマーケット89で見つけた統計関係の同人誌を紹介します。

簡潔データ構造のFPGA実装について

HDLアドベントカレンダー2015の記事です。 FPGAにwavelet treeを用いた簡潔データ構造を実装したという論文を紹介します。PDPTA'15(International Conference on Parallel and Distributed Processing Techniques and Applications)という学会で発表されたよ…

局所的な近似によるMCMCの高速化論文を読んだ

局所的な近似によるMCMCの高速化論文が話題になりました。 http://japan.zdnet.com/article/35073667/論文Accelerating Asymptotically Exact MCMC for Computationally Intensive Models via Local Approximations を読んで理解した範囲の内容を書きます。

RBMのtheanoコード解説

deeplearning.netのRBM(Restricted Boltzmann Machine)のTheanoでの実装面からの説明です。RBMのアルゴリズムについてはsinhrksさんが Theano で Deep Learning <6>: 制約付きボルツマンマシン <前編> - StatsFragments に書かれています。説明の流れはdeepl…

CVPR論文のトピックモデルによる分類と傾向

コンピュータビジョンの国際学会CVPRの最近の論文全文をトピックモデルに基づいて分類、単語分布を可視化できたのでその結果を手短にまとめます。図を見てもらったほうが早いかもしれません。

Theanoのshared変数についてメモ

shared変数(共有変数)の使いどころとscanのloop型構文との使いわけが分からなかったのでメモ

Torch7のCNNのFPGA実装は可能か(絵に描いた餅編)

waifu2xの登場で注目されるTorchですが、様々なアーキテクチャでの実装を標榜しているようです。 http://torch.ch/ ではFPGA backendsと書かれていますが、誰かが実装したという話は聞いたことがありません。ので検討してみました。

emceeを試してみた

pythonのMCMCライブラリとしてemceeというのがあるらしいので試してみました。 Paralell tempering(レプリカ交換モンテカルロ法)が使えるの他のライブラリとの大きな違いになります。http://dan.iel.fm/emcee/current/