xiangze's sparse blog

機械学習、ベイズ統計、コンピュータビジョンと関連する数学について

CVPR論文全文のトピックモデリングによる可視化(2016~2023)


xiangze.hatenablog.com

から8年、python3化を対応をしてDTM(Dynamic Topic) による全文トピック分類と頻出単語の抽出を行いました。

コードは
github.com

論文全文は
CVPapers - Computer Vision Resource
からたどれます。

可視化

トピック=7
https://xiangze.github.io/CSpaperTopicViewer/result/cvpr_topic7.html
トピック=10
https://xiangze.github.io/CSpaperTopicViewer/result/cvpr_topic10.html

トピックごとの近さや相対的な大きさをLDAvisを用いてインタラクティブに可視化しました。

Perplexity,Coherence

Preplexity
コヒーレンス

分類のわかりやすさを示すPerplexityは値が低いほどわかりやすいのですがトピック数に対して一貫して減っていてあまりに細かくなると逆に見づらいのではないかと思います。
コヒーレンスも同様に減っています。

DTM(Dynamic Topic Model)の結果

10個のトピックとその中でのキーワードの時間的変遷です。データは
CSpaperTopicViewer/cvpr_papers_10.model at master · xiangze/CSpaperTopicViewer · GitHub
です。詳しくはgithub.comを見てみてください。

Topic ID 0
生成モデル (敵対的)は徐々に減っています。2023年に突然拡散モデル(diffusion)が現れます。

Topic ID 1 顔
顔認識、識別は根強い需要があります。2019年頃からはグラフを用いた手法が流行しています。

Topic ID 2 ポーズ推定
全体的に減ってきていますがdepthからpoint(点群)へと大勢が変化しています。

Topic ID 3 動画、時空間
静止画が一段落ついたからか増加気味です。actionを推定するタスクが多いようです。

Topic ID 4 オプティカルフロー、3次元推定
flow,camera,colorが減り退潮気味optical,pixelが相対的に増えている。

Topic ID 5 最適化アルゴリズム
全体的に減少気味で、time,errorが相対的に増えていることから性能競争の局面に入っている?

Topic ID 6 分類?
classification,label, domain,sampleなど抽象的な語が多く特徴が掴みづらい。unsupervised, semantic,embeddingなどが特徴的

Topic ID 7 セマンティックセグメンテーション
比較的安定している。point(点群)使う手法が増えつつある。

Topic ID 8 ニューラルネット、CNN
convolutionが世の中を席巻していた。手法として定着したもののpooling,layerなどコンピュータービジョンではなくニューラルネットワークの部品に注目している。

Topic ID 9 Vision&Language NLPとの連携
CNNに続いてattensionが流行したのが2019年、text,languageが増えているのでNLPの人や手法が流れ込んでいるのかもしれない。

今年のCVPRは自動運転が盛り上がってるらしいです。過去を振り返るだけでは現在、未来はわかりません。

2023年のアブストを詳しく分類、可視化している結果です。
manpreetsinghminhas.medium.com

LLMの時代になりopenAI APIで読ませて概要を作るサービスを作っている方がいます。
zenn.dev

やられてしまったので活用しつつ他の学会や分野ごとの特徴の抽出などをやっていきたいです。mendeleyには既にありますが、自分の関心のある分野の論文のレコメンドも需要があります。究極的には論文やその原稿、枠組みを自動生成したいです。
またarxivにはレファレンスグラフを可視化するサービスがあります。

chrome-extension://dcilkiljhjdndnedgmpmfcjadddbkkad/options.html

arXiv GPT summarizer - Chrome ウェブストア
arxivxplorer.com

note.com
zenn.dev

arXiv新着論文のChatGPTによる日本語要約をメール送信するGoogle App Script · GitHub

OpenAIのGPT-3.5系APIを使って論文を自動で要約する - Qiita

xiangze.hatenablog.com