xiangze's sparse blog

機械学習、ベイズ統計、コンピュータビジョンと関連する数学について

機械学習の生成モデルと統計モデリングの類似点と相違点

連投です。拡散モデルを初めてとしたディープラーニングの生成モデルとベイズ統計モデリングでは使う計算方法に共通するものが多いのに対し、その目的は異なります。 2つがどのように関係しているのかいまいちよくわかってないので思いついた類似点,相違点について考えを整理します.ご意見ください!

続きを読む

拡散モデルについて思ったこと、統計モデリング等との関係

久しぶりの投稿になります

その間世の中では様々なことが起こりましたがStable diffusion,novelAI, DALL-e, midjourneyなど画像生成AIの流行もその一つです。
画像生成AIの性能の中核とも言える拡散モデルに関して他の機械学習手法との関連、そして多くのアイデアの源泉となった非平衡統計物理学,統計モデリング、進化生物学などとの関係に関して思ったことを書きます。
ためになる論文、本のリンクも貼ります。

続きを読む

TFPの変分ベイズの書き方2つ

tensorflow probability(TFP)では変分ベイズによる推定ができますが書き方に幅があります。
またBayesian DNNを書くのに使用できる関数があります。変分ロジスティック回帰のコードでそれを比較します。

続きを読む

Edwardで一部の変数だけ確率変数にして変分推測する仕組み

VAEやGANなどに組み込まれたニューラルネットでは重み行列やバイアスは確率変数としては定義されていません*1が、
Edwardでは使って確率変数とそうでない変数を同時に推測(学習)させることが可能です。
それはどのようにして実装されているのでしょうか。

続きを読む

Veriflowについて

github.com

ネタです。
一応動きます。

Input,Reg,Wireと演算でグラフを作り、Session内のrunメソッドのfeed_dictでInputに(tensorflowのplaceholderにするよう)に値を渡します。
Sessionを抜けると回路モジュール(modtest.sv)とテストモジュール(test.sv)が作成されます。test.svにはrunで書いたInputへの値の設定が反映されます。
そしてverilatorかiverilogがインストールされている場合には実行され、Outputの値が出力されます。

現状1モジュールにのみ対応。計算グラフは木である必要があります。また名前に反してvector,行列の四則演算には対応していません。。。

本家の本気

XLA (Accelerated Linear Algebra) is a domain-specific compiler for linear algebra that optimizes TensorFlow computations.