VTAのFPGAによる回路実装を比べてみます。 どれもあまり触ったことがないのでこれを機に細かいところを学んでいきます。 概観 VTAの回路モジュール図 instruction fetch module load module store module input/output/weight buffer load/compute store com…
可視化 Perplexity,Coherence DTM(Dynamic Topic Model)の結果 Link
バズりに食いついてPVを稼ぎたい今日この頃です。 「水はどうして透明なの?」 水分子の吸収スペクトルと太陽光のスペクトルの関係 生物学における4つの「なぜ」とは 眼の機能と環境 眼の系統発生と生息環境 眼のメカニズムと光学 眼の個体発生と行動 まとま…
時間が空いてしまいましたが以前ブログに書いた 東方プロジェクト人気投票の統計解析 記述統計編 - xiangze's sparse blog東方人気投票の統計モデルの事後分布が計算できたので記します。 また同人誌を作りました。 キャラクターのモデルと事後分布 和モデル…
概要 TVM/VTAの階層構造 VTA(Versatile Tensor Accelerator) 実行環境 Dockerの使用 実行 チュートリアル 発展的内容 リンク 概要 TVMはニューラルネットアクセラレーターのコンパイル環境、デプロイ環境としてデファクトのようなものであり、pytorch,tensor…
www.iwanami.co.jp 内容 1章 生成モデルの一つとしての拡散モデル、拡散モデルとスコアマッチング法との関係について 2章 SBMとDDPMについて、学習対象の導出、統一的理解 3章 時間連続極限の場合と拡散モデルの高性能について 4章 条件付き生成、高解像度化…
長年気になっていたけどはっきりとは理解していなかったことを書きます。 あっさりした導入 曲率を使った説明 接続、接続形式 曲率形式 不変多項式 不変多項式の具体例と一意性 不変性の計算 応用 感想 参考書 広告
お正月気分が抜けないのでほわっとした記事を書きます。prompton.io モデルとアルゴリズムの素朴な理解 圏論による理解 構造を保ったデータの学習 Haskell(とscala)プログラミング情報 圏論やHaskell得意な人から見た機械学習、統計モデリング 微分可能な計…
去年の後半に時間ができてしまったためお絵描きAIで遊び、そのアルゴリズムを学び、ブログ、アドベントカレンダーを書いてしまいました。 拡散モデルについて思ったことが微妙にバズったので調子に乗っていくつか書きましたが宿題を形成してしまったものがい…
年が明けてしまいましたが、いまだ東方プロジェクト人気投票の統計解析 記述統計編 - xiangze's sparse blogの統計モデルコードのデバッグ中です。 書き忘れていた前提やモチベーションを記します。
EDM神社(nijijournrey) 創作+機械学習 Advent Calendar 2022 - Adventarの記事です。
ブラックホールの衝突(midjourney) 画像生成AI Advent Calendar 2022 - Adventar12/17日分の記事です。
連投です。拡散モデルを初めてとしたディープラーニングの生成モデルとベイズ統計モデリングでは使う計算方法に共通するものが多いのに対し、その目的は異なります。 2つがどのように関係しているのかいまいちよくわかってないので思いついた類似点,相違点…
久しぶりの投稿になりますその間世の中では様々なことが起こりましたがStable diffusion,novelAI, DALL-e, midjourneyなど画像生成AIの流行もその一つです。 画像生成AIの性能の中核とも言える拡散モデルに関して他の機械学習手法との関連、そして多くのアイ…
年が明けてしまいましたが2018年12月のまとめです。
Gaussian ProcessやBayesian CNNなどのニューラルネットを含むような複数の確率的プログラミングモデルで使うためのBaysian Layerに関する情報が公開された。
tensorflow probability(TFP)では変分ベイズによる推定ができますが書き方に幅があります。 またBayesian DNNを書くのに使用できる関数があります。変分ロジスティック回帰のコードでそれを比較します。
VAEやGANなどに組み込まれたニューラルネットでは重み行列やバイアスは確率変数としては定義されていません*1が、 Edwardでは使って確率変数とそうでない変数を同時に推測(学習)させることが可能です。 それはどのようにして実装されているのでしょうか。 *1…
github.comネタです。 一応動きます。Input,Reg,Wireと演算でグラフを作り、Session内のrunメソッドのfeed_dictでInputに(tensorflowのplaceholderにするよう)に値を渡します。 Sessionを抜けると回路モジュール(modtest.sv)とテストモジュール(test.sv)が作…
kerasのようにTensorflowの中にEdwardを取り込むという話もありましたが、BayesFlowという名前でtf.contribの中に取り込まれています。 https://www.tensorflow.org/api_docs/python/tf/contrib/bayesflow今の所klpq(csiszar_divergence内のkl_forward), hmc…
Edward2.0が発表され、criticismが廃止されたり、インターフェースが変わったりと大きな変化があるようですが、ここでは引き続きEdwardの例を実行してみます。
表題のようにUbuntu16.04 でtensorflow-gpuを使おうとしてハマったのでその解決に至るまでの記録です。 個々の問題はググって出てきた情報を実施することで解決できるものです。 ここではそれをどんな順序で試行錯誤し実行していったかの流れを記します。
だいぶ間が空いてしまいましたがEdwardのサンプルコードを動かしてみました。
HOXO-M Advent Calendar 2017 - Qiitaの10日目です。qiitaにpoemタグがあるのを知りました。今や著名なデータサイエンティスト界隈の中核として知られる組織ホクソエムですが、その実態は明らかではない。と去年くらいまでは思っていたのですが、執筆やtidyv…
今更ながら確率的プログラミングのライブラリEdwardを試してみました。 http://edwardlib.org/tutorials/ 確率的プログラミング 統計的なモデルの(ベイズ)推定が出来るという点でstanやpymcと似ていますが、Edwardはより広く確率的プログラミング(Probabilis…
画像内の物体が回転したり変形したりしていても認識できるような方法に関する研究の論文を読みました。 CNNでは学習データを大量に用意しなければならず、そのために既存の画像に並行や回転などの操作を施して学習を行うと精度が向上することが知られていま…
カーネル法に関してずっと勘違いしていたというかちゃんと理解していなかったことを書きます。
FPGAブームが来ています*1 。最近年を追うごとにFPGAに関する書籍やネット上の情報が多くなり、またC言語ベースでの高位合成技術の進展やLinuxベースのシステムが作られ、FPGAはソフトウェア開発者にとっての敷居が低く使いやすくなってきています。しかし入…
Stan Advent Calendar12/20の記事です。 Stan version2.10.0で実装されたExhaustive HMC(xHMC)というアルゴリズムについて 論文Identifying the Optimal Integration Time in Hamiltonian Monte Carlo の内容に基づいて説明します。
Stan Advent Calendar12/11の記事です。時系列の統計モデルに関する論文「Recurrent Switching Linear Dynamical Systems」の紹介とそのstanでの再現です、が現状うまくいっていません。。