xiangze's sparse blog

機械学習、ベイズ統計、コンピュータビジョンと関連する数学について

VTAの実装三者三様(Xilinx,Intel,Scala)

VTAのFPGAによる回路実装を比べてみます。 どれもあまり触ったことがないのでこれを機に細かいところを学んでいきます。 概観 VTAの回路モジュール図 instruction fetch module load module store module input/output/weight buffer load/compute store com…

CVPR論文全文のトピックモデリングによる可視化(2016~2023)

可視化 Perplexity,Coherence DTM(Dynamic Topic Model)の結果 Link

「水はどうして透明なの?」と生物学における4つのなぜ(水と光と目)

バズりに食いついてPVを稼ぎたい今日この頃です。 「水はどうして透明なの?」 水分子の吸収スペクトルと太陽光のスペクトルの関係 生物学における4つの「なぜ」とは 眼の機能と環境 眼の系統発生と生息環境 眼のメカニズムと光学 眼の個体発生と行動 まとま…

東方プロジェクト人気投票の統計解析 ベイズ統計モデリング編と本

時間が空いてしまいましたが以前ブログに書いた 東方プロジェクト人気投票の統計解析 記述統計編 - xiangze's sparse blog東方人気投票の統計モデルの事後分布が計算できたので記します。 また同人誌を作りました。 キャラクターのモデルと事後分布 和モデル…

TVMのレファレンスハードウェアVTAについて(概観、インストール編)

概要 TVM/VTAの階層構造 VTA(Versatile Tensor Accelerator) 実行環境 Dockerの使用 実行 チュートリアル 発展的内容 リンク 概要 TVMはニューラルネットアクセラレーターのコンパイル環境、デプロイ環境としてデファクトのようなものであり、pytorch,tensor…

「拡散モデル データ生成技術の数理」を読みました(すごい)

www.iwanami.co.jp 内容 1章 生成モデルの一つとしての拡散モデル、拡散モデルとスコアマッチング法との関係について 2章 SBMとDDPMについて、学習対象の導出、統一的理解 3章 時間連続極限の場合と拡散モデルの高性能について 4章 条件付き生成、高解像度化…

チャーン類(特性類)と曲率の関係

長年気になっていたけどはっきりとは理解していなかったことを書きます。 あっさりした導入 曲率を使った説明 接続、接続形式 曲率形式 不変多項式 不変多項式の具体例と一意性 不変性の計算 応用 感想 参考書 広告

モデルとアルゴリズム、圏と関手と自然変換

お正月気分が抜けないのでほわっとした記事を書きます。prompton.io モデルとアルゴリズムの素朴な理解 圏論による理解 構造を保ったデータの学習 Haskell(とscala)プログラミング情報 圏論やHaskell得意な人から見た機械学習、統計モデリング 微分可能な計…

去年書いたブログのまとめ

去年の後半に時間ができてしまったためお絵描きAIで遊び、そのアルゴリズムを学び、ブログ、アドベントカレンダーを書いてしまいました。 拡散モデルについて思ったことが微妙にバズったので調子に乗っていくつか書きましたが宿題を形成してしまったものがい…

東方プロジェクト人気投票の統計解析 中休み

年が明けてしまいましたが、いまだ東方プロジェクト人気投票の統計解析 記述統計編 - xiangze's sparse blogの統計モデルコードのデバッグ中です。 書き忘れていた前提やモチベーションを記します。

東方プロジェクト人気投票の統計解析 記述統計編

EDM神社(nijijournrey) 創作+機械学習 Advent Calendar 2022 - Adventarの記事です。

diffusersにSGHMC(Stochastic Gradient Hamiltonian Monte Carlo)を入れる話

ブラックホールの衝突(midjourney) 画像生成AI Advent Calendar 2022 - Adventar12/17日分の記事です。

機械学習の生成モデルと統計モデリングの類似点と相違点

連投です。拡散モデルを初めてとしたディープラーニングの生成モデルとベイズ統計モデリングでは使う計算方法に共通するものが多いのに対し、その目的は異なります。 2つがどのように関係しているのかいまいちよくわかってないので思いついた類似点,相違点…

拡散モデルについて思ったこと、統計モデリング等との関係

久しぶりの投稿になりますその間世の中では様々なことが起こりましたがStable diffusion,novelAI, DALL-e, midjourneyなど画像生成AIの流行もその一つです。 画像生成AIの性能の中核とも言える拡散モデルに関して他の機械学習手法との関連、そして多くのアイ…

2018年12月のまとめ

年が明けてしまいましたが2018年12月のまとめです。

Bayesian Layerとは

Gaussian ProcessやBayesian CNNなどのニューラルネットを含むような複数の確率的プログラミングモデルで使うためのBaysian Layerに関する情報が公開された。

TFPの変分ベイズの書き方2つ

tensorflow probability(TFP)では変分ベイズによる推定ができますが書き方に幅があります。 またBayesian DNNを書くのに使用できる関数があります。変分ロジスティック回帰のコードでそれを比較します。

Edwardで一部の変数だけ確率変数にして変分推測する仕組み

VAEやGANなどに組み込まれたニューラルネットでは重み行列やバイアスは確率変数としては定義されていません*1が、 Edwardでは使って確率変数とそうでない変数を同時に推測(学習)させることが可能です。 それはどのようにして実装されているのでしょうか。 *1…

Veriflowについて

github.comネタです。 一応動きます。Input,Reg,Wireと演算でグラフを作り、Session内のrunメソッドのfeed_dictでInputに(tensorflowのplaceholderにするよう)に値を渡します。 Sessionを抜けると回路モジュール(modtest.sv)とテストモジュール(test.sv)が作…

BayesFlowについて

kerasのようにTensorflowの中にEdwardを取り込むという話もありましたが、BayesFlowという名前でtf.contribの中に取り込まれています。 https://www.tensorflow.org/api_docs/python/tf/contrib/bayesflow今の所klpq(csiszar_divergence内のkl_forward), hmc…

Edwardを試してみた(3)敵対的生成ネットワーク(GAN)

Edward2.0が発表され、criticismが廃止されたり、インターフェースが変わったりと大きな変化があるようですが、ここでは引き続きEdwardの例を実行してみます。

Ubuntu でtensorflow-gpuを使えるようにするのにはまった→解決

表題のようにUbuntu16.04 でtensorflow-gpuを使おうとしてハマったのでその解決に至るまでの記録です。 個々の問題はググって出てきた情報を実施することで解決できるものです。 ここではそれをどんな順序で試行錯誤し実行していったかの流れを記します。

Edwardを試してみた(2)変分オートエンコーダー(VAE)

だいぶ間が空いてしまいましたがEdwardのサンプルコードを動かしてみました。

ホクソエムとその周辺分布

HOXO-M Advent Calendar 2017 - Qiitaの10日目です。qiitaにpoemタグがあるのを知りました。今や著名なデータサイエンティスト界隈の中核として知られる組織ホクソエムですが、その実態は明らかではない。と去年くらいまでは思っていたのですが、執筆やtidyv…

Edwardを試してみた(1) MCMCでベイズ線形回帰

今更ながら確率的プログラミングのライブラリEdwardを試してみました。 http://edwardlib.org/tutorials/ 確率的プログラミング 統計的なモデルの(ベイズ)推定が出来るという点でstanやpymcと似ていますが、Edwardはより広く確率的プログラミング(Probabilis…

Group Equivariant CNNとM理論について

画像内の物体が回転したり変形したりしていても認識できるような方法に関する研究の論文を読みました。 CNNでは学習データを大量に用意しなければならず、そのために既存の画像に並行や回転などの操作を施して学習を行うと精度が向上することが知られていま…

表現定理の使いどころとkernel SVM

カーネル法に関してずっと勘違いしていたというかちゃんと理解していなかったことを書きます。

FPGAの原理と構成を読んだ

FPGAブームが来ています*1 。最近年を追うごとにFPGAに関する書籍やネット上の情報が多くなり、またC言語ベースでの高位合成技術の進展やLinuxベースのシステムが作られ、FPGAはソフトウェア開発者にとっての敷居が低く使いやすくなってきています。しかし入…

Exhaustive Hamilton Monte Carloの紹介

Stan Advent Calendar12/20の記事です。 Stan version2.10.0で実装されたExhaustive HMC(xHMC)というアルゴリズムについて 論文Identifying the Optimal Integration Time in Hamiltonian Monte Carlo の内容に基づいて説明します。

Recurrent Switching Linear Dynamical Systemsのstanでの再現

Stan Advent Calendar12/11の記事です。時系列の統計モデルに関する論文「Recurrent Switching Linear Dynamical Systems」の紹介とそのstanでの再現です、が現状うまくいっていません。。