リーディングDAT無料講座
令和4年度からスタートする中期計画に合わせて、リーディングDATも新たな姿に進化することになりました.これまでのリーディングDATとの最大の違いは、従来の有料コンテンツのみの編成を改め、無料のコンテンツを取り入れる点です.
リーディングDAT無料講座では、たとえば以下のような内容を扱います.
1.必ずしも実務に直結しない基礎的な解説
2.教員の研究テーマやその周辺事項の紹介
3.先端的話題の紹介
すべてオンラインでの開催(事前登録あり)となります.
2024年度第3回 リーディングDAT無料講座
10月15日 (火) 15:00 - 17:00 (予定)
矢野恵佑(統計数理研究所・統計基盤数理研究系)
「高次元・無限次元から眺めるベイズの中心極限定理」
登録は以下のリンクからお願いします。
https://us06web.zoom.us/webinar/register/WN_TAADXV3GRBK4fjhgLjvHEw
アブスト:
Bernstein–von Misesの定理 (BvM)は,ベイズの事後分布が正規分布に収束する現象を示す定理であり,ベイズ統計と頻度主義的な推定・推論を結びつける重要な橋渡しとなっています.この定理は,有限次元の統計モデルにおいて非常によく整備されています(例えば,Le Cam, 1986).
しかし,現代のデータ解析で扱われる,多くのパラメータや関数の自由度を持つモデルにおいては,事情が一層複雑です.有限次元の場合と同様に成立するだろうと期待されるかもしれませんが,Cox (1993) や Freedman (1999) によって,シンプルな無限次元モデルで「この定理が成立しない」ことが示されました.これにより,強固な理論的基盤が揺らいだかのように思われましたが,近年,Castillo と Nickl が,視点を変え,「推論に必要な程度に弱いノルム」を用いることで,BvMが再び成立することを明らかにしました (Castillo and Nickl 2013, 2014).
本講演では,事前知識なしにBvMの定理の発展を辿れるよう,有限次元の場合のBvMの定理から出発し,Castillo and Nickl (2013, 2014)に至るまでの高次元・無限次元ならではの難しさを紹介します. そしてCastillo and Nickl (2013, 2014)のアイデアや彼らの結果からわかることを解説し,講演者自身の研究結果(Yano and Kato, 2020)や関連する最新の動向 (Kasprzak et al., arXiv)について紹介します.
参考文献:
D. Cox (1993). An analysis of Bayesian inference for nonparametric regression. Ann. Statist., 21(2):903–923.
D. Freedman (1999). On the Bernstein-von Mises theorem with infinite-dimensional parameters. Ann. Statist., 27(4):1119–1140.
I. Castillo and R. Nickl. (2013). Nonparametric Bernstein–von Mises theorems in Gaussian white
noise. The Annals of Statistics, 41(4):1999–2028.
I. Castillo and R. Nickl (2014). On the Bernstein–von Mises phenomenon for nonparametric Bayes
procedures. Ann. Statist., 42(5):1941–1969.
M. Kasprzak, R. Giordano, and T. Broderick, How good is your Laplace approximation of the Bayesian posterior? Finite-sample computable error bounds for a variety of useful divergences, arXiv.
L. Le Cam (1986). Asymptotic Methods in Statistical Decision Theory. Springer, New York.
K. Yano and K. Kato (2020). On frequentist coverage errors of Bayesian credible sets in moderately high dimensions , Bernoulli, 26: 616–641.
2024年度第4回のリーディングDAT無料講座の予定は下記の通りです
タイトル・内容は仮です
実施する月は都合により前後に変わることがあります
2025年1月
中野慎也(統計数理研究所・学際統計数理研究系)
大規模状態空間モデルと関連アルゴリズムに関する話題
2024年度 2回目「モンテカルロ法をめぐる話題(2)」(終了,録画公開中)
講師:伊庭幸人(統計数理研究所,統計基盤数理研究系)
日時:2024年7月22日(月)16:30- 18:30 開始時間,曜日がいつもと違います
登録:https://us06web.zoom.us/webinar/register/WN_QJzTZZMcR5ClofM3N_NEtw
今回は,講演者のこれまでの研究に即して「マルコフ連鎖モンテカルロ法(MCMC)のベイズ統計・統計物理以外への応用」について話します.「与えられた確率モデルのもとで滅多に起きない事象(レアイベント)の生成と確率の推定」「ある条件を満たす離散構造の数の推定」などが主なテーマになります.具体的には「魔方陣の個数の推定」「カオス力学系の珍しい軌道のサンプリング」「ラマヌジャングラフのサンプリング」「サロゲートデータの生成」など,多様な話題を解説します(*).
リーディングDAT講座に参加される方の多くはデータ解析に興味があり,MCMCといえばベイズ統計への応用が念頭にあると思いますので,それとは関係のない話は意外に思われるかもしれませんが,無料講座ならではの企画としてお楽しみください.1回目の講義とは異なり,本講義を聴講されても,ベイズ統計によるデータ解析に有用な知識やスキルが得られるわけではありません.またソースコード等の配布もしませんので,それらの点はご理解の上ご参加ください.
(*)魔方陣の個数の推定は著者の研究ではありません.
文献
*上記の目的に有用な手法のひとつであるマルチカノニカルMCMCについてのまとめ
(サロゲートデータの話もここに含まれる)
https://arxiv.org/abs/1305.3039
*カオス力学系
https://arxiv.org/abs/1003.2013
https://arxiv.org/abs/0811.2944
*ラマヌジャングラフ
https://arxiv.org/abs/1003.1023
*魔方陣(北島・菊池の両氏による)
https://journals.plos.org/plosone/article?id=10.1371/journal.pone.0125062
スライド:講演で使用したものに図の不具合などの訂正を行ったものです.実際の講演では時間の関係でジュリア集合のサンプリングの部分の説明を省略しました.
2024年度 1回目「モンテカルロ法をめぐる話題(1)」(終了,録画公開中)
講師:伊庭幸人(統計数理研究所,統計基盤数理研究系)
日時:2024年6月27日(木)15:00- 17:00
第1部ではマルコフ連鎖モンテカルロ法(MCMC)以前の「普通のモンテカルロ法」について「期待値が存在しない確率変数」「分散が存在しない確率変数」の話からはじめて、初歩的なことを改めて考えてみることにします.第1部はベイズ統計やデータ解析に限らない一般的な話です.
続く第 2部では「1回のMCMCの結果からできるだけ情報を引き出す」ことについて,ベイズ統計の文脈で議論します.MCMCで得られたベイズ推定値について,観測値をいくつか取り除いたときの感度を調べたり,ブートストラップ法,交差検証法などの頻度論的な解析を行いたい場合に,何回もMCMCを走らせるのは大変なので,1回で済ませたい,という話です.実はこれは第1部の話と密接に関係していますが,第1部で議論した方法よりも安定な方法として,事後共分散・事後キュムラントを利用した近似法が最近発展しています.
MCMCの話は既に昨年度の無料講座で取り上げていますが,今回は「MCMCそのもの」ではなくて,第 1部はMCMC以前,第2部はMCMC後の話ということになります.
1回目のスライド(修正済)および修正点のみを下で提供します.#2024/7/29 2枚再修正
修正ずみのスライド全体(2024/07/29再修正)
修正のあるスライドのみはこちら(2024/07/29再修正)
講義終了後に気づきましたが,数値実験のうち「41歳以上・・」の図が間違っていました(ミスでshape paramterの図と同じになっているのに気づかず説明してました・・) チェビシェフ不等式は修正したのもまた間違っていたので7/29に再修正しました.講義中に別な図で気にしてたところは間違っていませんでした
(お願いと免責事項)
終了時間については,当日の都合で延長になる場合があります.
アンケートは特に設けていませんが,ツイッターを使われている方は 講義中・講義後に「リーディングDAT無料講座」という文字列を入れてご感想,ご希望等を呟いていただけると励みになります.
有料講座で現在行っているような内容をそのまま無料で配信するという企画ではありません.ただし、リーディングDAT無料講座で扱った内容の完成度を高めたものを、次年度以降の有料の公開講座の一部として組み入れる場合があります.
リーディングDAT無料講座は教員を中心とする少人数での運営となりますので、通常の公開講座と異なり、配信の不調や中断、途中での終了、急な変更など各種のトラブルに対して万全の体制をとることができません.このため、万一の場合はご容赦頂くことになります。また、テキストの配布は原則として行いません(講師の裁量で例外的に行う場合もあります).
メールによる登録者へのお知らせは行いませんので、開催に関する情報が必要な方は,このページを定期的にチェックしていただくか、統計数理研究所のツイッター(@tousuuken)をフォローしていただくようにお願いします.
2023年度の無料講座(既に終了した分)
2023年度 3回目 マルコフ連鎖モンテカルロ法:基礎事項の確認と最近の動向
講師 鎌谷研吾 (統計数理研究所) 2024年 2月29日 15時~17時(終了時刻は目安)
本発表では,マルコフ連鎖モンテカルロ法(MCMC)の基本原則と手法について概観し,最近の進展と応用の動向に焦点を当てる.MCMC法は統計物理学やベイズ統計学など幅広い分野での複雑な確率モデルの推定に不可欠なツールである.この発表ではまず,MCMC法の基本的なアルゴリズムと理論的背景について説明し,特にメトロポリス・ヘイスティングスアルゴリズムとギブスサンプリングの原理について詳述する.その後,最新の研究で提案されているMCMC法の改良手法についてレビューする.
資料・録画の一般公開はありません
2023年度 2回目 方向データの統計解析入門
講師 加藤 昇吾(統計数理研究所) 2023年 10月19日 15時~17時(終了時刻は目安)
風向や分子のねじれ角は観測値が「方向」として表され,このような方向の観測は様々な研究分野に存在する.方向の観測を含むデータには,実数値データのための統計的手法をそのまま応用することができない問題が知られている.本講座では,方向の観測を統計解析に有効に活用するための手法を概説する.具体的には,方向データのための要約統計量(平均・分散など),確率分布,回帰モデル等の基礎を説明し,近年の統計学・機械学習における研究動向についても簡単に紹介する.
参考文献
C. Ley and T. Verdebout, "Modern Directional Statistics", CRC Press, Boca Raton (2017).
K.V. Mardia and P.E. Jupp, "Directional Statistics", Wiley, Chichester (1999).
清水邦夫, 「角度データのモデリング」, ISMシリーズ:進化する統計数理, 近代科学社 (2018).
資料:https://drive.google.com/file/d/1L46Xm9L4HVKbldYKh-R6AK_KboX_6Nkt/view?usp=sharing
(加藤先生の修正反映済み)
Q&A:https://drive.google.com/file/d/1ARDCVRIqrEAw_l6rMSg7qI-mzyfk4IaL/view?usp=sharing
2023年度 1回目 組合せ最適化入門 —— 劣モジュラ最大化を題材として
講師 相馬 輔(統計数理研究所) 2023年 6月13日 15時~17時
組合せ最適化はグラフや集合関数など離散的な対象を扱う数理最適化の一分野である.本講義では,「組合せ最適化問題を解く」とはどういうことか,多項式時間とは何かなど,組合せ最適化の入門的な内容を予備知識を仮定せず解説する.後半では,劣モジュラ最大化と貪欲法を題材に,劣モジュラ関数と近似アルゴリズムを解説し,機械学習への応用例を紹介する.
参考文献
梅谷俊治『しっかり学ぶ数理最適化 モデルからアルゴリズムまで』講談社サイエンティフィク
Cormen, Thomas H., et al. "Introduction to algorithms," 4th edition, MIT press.
相馬輔,藤井海斗,宮内敦史『組合せ最適化から機械学習へ:劣モジュラ最適化とグラフマイニング』サイエンス社
相馬さんの講義(6月13日)の動画とスライド資料 →動画は録画のページに移動しました
スライド資料.
補足:整数格子点上の劣モジュラ最大化に関して
2022の無料講座
2022 L-X1 グラフィカルモデル入門(1)ー グラフの読み方・書き方
講師 坂田綾香(統計数理研究所) 2022年8月31日 15時~17時
グラフィカルモデルは、モデル(確率分布)に含まれる変数の関係性を視覚的に表す際に用いられる.グラフィカルモデルの中でもマルコフネットワークを中心に、グラフの読み方・書き方と確率分布との関係性についての基本的事項を中心に説明する.
参考文献
D. Koller and N. Friedman, "Probabilistic Graphical Models: Principles and Techniques", MIT press (2009)
M. Mezard and A. Montanari, "Information, Physics, and Computation", Oxford University press (2009)
鈴木 讓 ・ 植野 真臣 編著「確率的グラフィカルモデル」共立出版(2016)
2022 L-X2 グラフィカルモデル入門(2)ー グラフと確率推論
講師 坂田綾香(統計数理研究所) 2022年9月9日 15時~17時
グラフィカルモデルを用いた推論のひとつとして、確率伝搬法と呼ぶアルゴリズムを用いて周辺確率を評価する方法を説明する.確率伝搬法の一般的形式を紹介し、マルコフ確率場、パリティ検査符号、線形回帰において実際にアルゴリズムを構成して説明する.
参考文献
D. Koller and N. Friedman, "Probabilistic Graphical Models: Principles and Techniques", MIT press (2009)
M. Mezard and A. Montanari, "Information, Physics, and Computation", Oxford University press (2009)
鈴木 讓 ・ 植野 真臣 編著「確率的グラフィカルモデル」共立出版(2016)
L-X1 グラフィカルモデル入門 (1),L-X2 グラフィカルモデル入門 (2)の動画(録画)をこちらに公開しました.L-X2の動画は後半の一部を再収録して聞きやすくなっています.
L-X2 グラフィカルモデル入門 (2) のスライド(修正済み)はこちらからダウンロードできます.
L-X1 グラフィカルモデル入門 (1) のスライド(付録含む)はこちらからダウンロードできます.
L-X1 グラフィカルモデル入門 (1) のQandAの質問と答(講義のときより修正・拡張されています)はこちらからダウンロードできます.L-X2については質疑の公開は予定していません.
#今後,毎回,録画,スライドやQandAの回答を提供するわけではなく,各回の講師の意向によりますので,その点はよろしくお願いします.特にL-X1のQandAについては,回答している質問が一部で見えなかったという問題に対する対処という意味合いがあります.
2022 L-Y1 点過程の時系列解析入門
講師 小山慎介(統計数理研究所) 2022年 11月30日(水) 15時~17時
点過程(point process)は,連続的な時間や空間上に発生する離散的なイベントを記述する確率過程である.本講義では“時間”点過程(temporal point process)に焦点を当てて,基本事項と代表的なモデルであるポアソン過程とホークス過程について解説し,時系列解析への応用を紹介する.
参考文献
近江崇宏, 野村俊一, ”点過程の時系列解析", 共立出版(2019)
D. L. Snyder and M. I. Miller, “Random Point Processes in Time and Space”, Springer(1991)
D. J. Daley and D. Vere-Jones, “An Introduction to the Theory of Point Processes Vol.1: Elementary Theory and Methods”, Springer(2003)
スライド(参考文献追加済)(動画の公開は行わないことになりました)