タイトル:
非線形表現学習によるデータに隠れた構造の抽出と予測制御への応用
アブストラクト:
近年,我々が予測・制御したい対象はますます高次元・複雑になりつつある.そのような高次元な対象を観測空間上で直接的に予測・制御するのは困難であり,その背後に隠れたデータの低次元・本質的な潜在表現の抽出が重要となりつつある.そのようなデータ表現は,解釈性や汎化性などの観点から,そのデータを表す唯一のものであることが望まれ,観測されるデータ分布からそれが実際に同定可能であることが求められる.線形の生成モデルの同定性とその推定法は独立成分分析などの分野ですでに多くの知見が得られている一方,生成モデルが非線形の場合にはその理論的保証が困難であることが長く知られていた.そのような中,我々はモデルに構造的な仮定することでその同定性を保証することを可能とし,さらにそれを推定する実用的な深層学習手法を開発してきた.このトークではその基本的なアイデアといくつかの拡張,実データへの応用について紹介し,近年我々が取り組んでいる潜在空間上での予測・制御問題への拡張についても紹介する.
言語 (Language):
日本語
参加申し込み:
https://docs.google.com/forms/d/1zj-ryQQi-CSXftfmDwaRrLz8CQad-Mwh1e5xCUmvIFM
今後の予定
2025/11/xx: 未定 (未定)
なお、ISDA (2025, 9月末)、対面WS (2025, 10月末) もあり、森岡さんの後のセミナーは2025年11月ごろを予定しています。
安田: 深層拡散モデル周辺の数理のレビューと気象データへの応用
TBD: Consistency Learning
タイトル:
データ同化のための観測網最適化
アブストラクト:
センサ位置最適化手法は、限られた数のセンサを用いて対象とする現象を効率的に表現するために、情報価値の高いセンサ位置を選定するものである。本研究では、この手法を応用し、過去10年間の気象庁メソ解析値を用いて、日本周辺の水蒸気場の再現に有効なGNSS可降水量観測点の最適配置を求めた。算出した観測位置をメソ解析対象領域における可降水量分布の再現性に基づき順位付した。この順位に基づき、観測点を上位および下位のグループに分割し、それぞれについてデータ同化実験を実施した。そして、全観測点を同化したケースとの比較を通じて、各グループの解析・予測精度を定量的に評価した。その結果、上位グループの同化が下位グループよりも優れた解析・予測精度を示すことが分かった。本研究の成果は、限られた観測資源しかない状況下において有効な観測点選定が可能であることを示しており、観測網最適化に有用な知見を提供することが期待される。
。
言語 (Language):
日本語
参加申し込み:
終了しました。
タイトル:
領域AI気象モデルの開発
アブストラクト:
日本気象協会(JWA)では、一般向けの天気予報に加え、防災やエネルギーといった多様な事業分野に向けて気象情報を提供しており、現在、これらの情報提供の基盤となる予測システムに対して、AI気象モデルの導入を進めている。
AI気象モデルに関しては、GraphCast[1]やClimaX[2]などをはじめとする多くの先行研究が存在するが、特定の地域を対象とし、高解像度かつ局地的な現象の予測を可能とする「領域AI気象モデル」に相当する研究は限定的である[3,4]。我々は、JWAの顧客ニーズを踏まえ、日本域を対象とした「領域AI気象モデル」の構築を目指している。
一般に、高解像度なAI気象モデルの開発にあたっては、学習に要する計算コストの増大と、高解像度な教師データの不足が主要な課題となる。これに対し、我々はマルチスケールなグラフニューラルネットワーク(GNN)を基盤アーキテクチャとし、グラフの階層構造を従来の気象モデルにおけるネスティング構造と対応させることで、ダウンスケーリング機能を内包した計算効率の高いモデルを構築している。さらに、autoregressive方式におけるtime stepを潜在変数としてエンコードすることで、時間分解能の高い予測を効率的に学習可能とする手法も導入している。
教師データとしては、ERA5、LFM解析値、各種実観測データ(衛星、アメダス等)を段階的に活用する。まずERA5を用いて大スケール(約25km格子)の力学を学習し、次にLFM解析値により中〜小スケール(約4km格子)の力学表現を精緻化する。最終的に、実観測データを真値としてファインチューニングを実施し、ERA5およびLFMの解析誤差に起因する力学表現の不完全性を補正する。特に、観測点のスパース性や観測要素の制限を克服するため、空間的及び要素間の誤差共分散構造を暗黙的に活用し、観測の存在しない領域や要素にも誤差を逆伝播させて最適化を行うことで、モデル全体の精度向上を図っている。
本発表では、これらの開発手法および予測結果について、従来の気象モデルと比較しながらその特性と優位性を検証するとともに、今後の技術的展望について議論する。
言語 (Language):
日本語
参考文献
[1] Lam, R., Sanchez-Gonzalez, A., Willson, M., et al. Learning skillful medium-range global weather forecasting. Science 382(6677): 1416–1421, 2023.
[2] Tung Nguyen, Johannes Brandstetter, Ashish Kapoor, Jayesh K Gupta, and Aditya Grover. Climax: A foundation model for weather and climate. arXiv preprint arXiv:2301.10343, 2023.
[3] J. Oskarsson, T. Landelius, and F. Lindsten, Graph-based neural weather prediction for limited area modeling, arXiv preprint arXiv:2309.17370, 2023.
[4] Nipen, T. N., Haugen, H. H., Ingstad, M. S., Nordhagen, E. M., Salihi, A. F. S., Tedesco, P., Seierstad, I. A., Kristiansen, J., Lang, S., Alexe, M., et al. Regional data-driven weather modeling with a global stretched-grid. arXiv preprint arXiv:2409.02891, 2024.
参加申し込み:
終了しました。
タイトル:
降水マップ補完のための深層生成モデリング
アブストラクト:
宇宙航空研究開発機構(JAXA)の提供する衛星全球降水マップ(Global Satellite Mapping of Precipitation; GSMaP)は、複数の衛星観測を組み合わせ、全球の降水量を推定したプロダクトである。マイクロ波センサが搭載された極軌道衛星の軌道周回の性質上、同時全球観測は不可能であり、したがってマップの大部分は欠測部分である。従来手法は、前後の時間の観測をもとに、複数の変換式およびルックアップテーブルを用いたアルゴリズムによってこの欠測部分を補完しているが、しばしば推定部分の降水分布が観測部分と空間的に連続していないという空間的非連続性の問題をもたらしていた。
そこで、我々は降水マップの補完を機械学習によって解決することを考える。降水マップの補完問題を、動画補完問題を条件付き生成問題としてとらえ、最新の生成モデルである拡散モデル(diffusion model)によって解く手法を提案する。欠損動画と完全な動画のペアを入出力として、時空間的(spatio-temporal)な特徴を学習する3次元U-Net (3D U-Net)を用いて拡散モデルの条件付き生成を学習することにより、未知の欠損動画を与えると完全な動画を予測するモデルを訓練した。条件には、赤外画像、緯度・経度格子、日付を用いや。 実験には、完全な降水マップとしてECWMFの提供するERA5 single levelのhourly precipitationを用い、これにGSMaPから観測領域のマスクを取り出して加算することにより教師データを生成した。赤外画像にはGPM Merged IRを用いた。我々は、提案手法が従来手法と比較して、より空間的連続性を考慮した補完が達成できるかを検証する。
言語 (Language):
資料英語・発表日本語
参加申し込み:
終了しました。
タイトル:
Optimal transport viewpoint on generating analysis ensembles in ensemble filters
アブストラクト:
An analysis ensemble needs to be generated during the assimilation step of ensemble filters to proceed to the next assimilation cycle. In principle, this is equivalent to a sampling procedure from the posterior distribution. Traditional methods include perturbed observations, ensemble transform matrices in ensemble Kalman filters, and resampling in particle filters. In recent years, several new methods have been proposed, such as ensemble transform particle filters, gain-form ensemble transform Kalman filters, and quantile-preserving ensemble filters. In this study, we show that an elegant theory, supported by optimal transport, underlies these methods. Given two different probability distributions, optimal transport seeks an optimal transportation map that transfers probabilistic mass from one distribution to another. It turns out that many methods are different implementations of such optimal transportation maps. The underlying principle, therefore, is to generate an analysis ensemble that is closest to the corresponding background ensemble.
言語 (Language):
English
参加申し込み:
終了しました。
タイトル:
リザバーコンピューティングと気象・気候予測への応用
アブストラクト:
リザバーコンピューティングは大自由度力学系が持つ豊かなダイナミクスを利用した機械学習手法である[1]。時系列予測に強く、学習が簡便である事などから、物理系の研究者を中心に注目を集めている。典型的なアーキテクチャとして、Echo State Networkと呼ばれる再帰的ニューラルネットワークがある。本講演ではリザバーコンピューティングを用いた気象・気候予測について、講演者が関わった研究を中心に紹介する[2,3]。インドに雨期をもたらすインド夏季モンスーンは6月初旬前後に始まる。モンスーン開始日には2週間程度(±2σ)の年々変動があり、これを正しく予測する事はインドの農業計画において重要である。本講演では、Echo State Networkを用いてモンスーン開始日への"近さ"を計算することにより、モンスーン開始日を80日程度前から±5日の精度(±1σ)で予測できることを報告する[2]。また、エルニーニョ南方振動(ENSO)の予測研究についても紹介する[3]。Echo State Networkを用いた時系列予測では時系列の滑らかさが成否を決める事がある。そのため、ノイジーな時系列の予測においては、事前にバンドパスフィルタなどで観測データの平滑化を行うことが多い。しかし、一般的なバンドパスフィルタは予測時点に対して未来の情報を取り入れてしまうため、真の意味での未来予測にならないことがある。このため米田らは、過去と現在の情報のみを用いるバンドパスフィルタ "real-time filter" を開発した[4,5]。我々はReal-time filterとEcho State Networkを組み合わせて用いる事で、ENSOのスローダイナミクスが2年に及ぶ予測可能性を持つことを示す[3]。([2]はNiklas Boers氏、[3]は神野拓哉氏、中井拳吾氏、齊木吉隆氏、米田剛氏との共同研究である。)
言語 (Language):
日本語
参考文献:
[1] 田中剛平, 中根了昌, & 廣瀬明. (2021). リザバーコンピューティング: 時系列パターン認識のための高速機械学習の理論とハードウェア. Morikita shuppan.
[2] Mitsui & Boers (2021). Seasonal prediction of Indian summer monsoon onset with echo state networks, Environmental Research Letters 16 (7), 074024
[3] Jinno, Mitsui, Nakai, Saiki, & Yoneda, Long-term prediction of El Niño-Southern Oscillation using reservoir computing with real-time filter, in prep.
[4] Suematsu, T., Nakai, K., Yoneda, T., Takasuka, D., Jinno, T., Saiki, Y., & Miura, H. (2022). Machine learning prediction of the MJO extends beyond one month. arXiv preprint arXiv:2301.01254.
参加申し込み:
終了しました。
タイトル:
教師なし超解像データ同化の理論: 超解像を通した非局所的な観測値の取り込み
アブストラクト:
本研究は,深層学習を用いた教師なし超解像データ同化の理論を提案する.超解像は画像を高解像度化する技術であり,データ同化は観測値を用いて数値モデルの予測値を修正する技術である.線型と非線型の超解像に分けて,超解像によって空間的に離れた格子点上の観測値が推論に取り込まれる過程を説明する.提案手法の有効性は,理想化された海洋順圧ジェットの数値実験で検証する.セミナーでは,超解像やデータ同化を超えて,複雑な非線形システムを深層学習により如何に解析するか,という観点にまで議論を広げたい.
言語 (Language):
日本語
参加申し込み:
終了済みのセミナーです。
タイトル:
多様体の視点からデータ同化を捉え直す
アブストラクト:
近年、データ同化において、状態変数や観測値を機械学習モデルを用いて低次元の表現に変換した後に同化を行う「潜在空間におけるデータ同化」が、非線形性や非ガウス性に対処するための有望なアプローチとして注目されている。本講演では、これが単なる流行に乗った研究方向ではなく、むしろ数値天気予報の科学の歴史的発展と一致した、データ同化手法の自然な進化であることを論じる。特に、「バランス問題」現業数値予報システムによってどのように対処されてきたかという観点から説明する。
まず、リチャードソンの夢の有名な失敗を振り返り、力学的初期値化に関する研究から"slow manifold" (重力波などの速い振動成分をフィルターした、ゆっくり変化する大気状態の集合が抽象的な相空間内でなす多様体)の概念がどのように生まれたかを議論する。"slow manifold" の概念を紹介したのち、主要なデータ同化手法(3DVar、4DVar、EnKF)の成功と限界を、多様体の観点から分析する。ここでの中心的な仮定は、大気の力学のアトラクタが抽象的な相空間において「バランスの取れた」多様体を形成しており、様々なデータ同化手法はその多様体上に解析値を制約するために異なる近似を試みているというものである。最後に、気象学者による「バランスした多様体」と、機械学習(ML)コミュニティで論じられてきた「多様体仮説」における多様体との潜在的な関連性について議論する。もしこれらの異なる多様体の概念が同一であるならば、潜在空間におけるデータ同化は、バランスの取れた大気解析値を達成すべく発展させてきたデータ同化手法の自然な進化であると捉えることができる。
※ 本講演は既往研究の新しい(と講演者が思う)視点からのレビューが中心で、講演者自身によるオリジナルの研究ではありません。
言語 (Language):
スライド英語 / 発表日本語 (slide in English, presented in Japanese)
参加申し込み:
終了済みのセミナーです。
タイトル:
AI天気予報モデルClimaXを用いたアンサンブルデータ同化
アブストラクト:
2022年12月にGoogle Deepmind社がAI天気予報モデルGraphcastを発表して以来、この2年間で多くのAI天気予報モデルが発表されてきた。深層学習を用いた天気予報研究は、近年急速に成長を見せている分野である。これらの研究進展は、Weather Benchに代表されるベンチマークデータ・評価の拡充によるところが大きい。その一方で、AI天気予報モデルとデータ同化を組み合わせる研究は限定的である。 PanguWeatherの様に変分法に基づいたデータ同化研究はある一方で、AI天気予報モデルに適したデータ同化研究は、まだ未開拓である。自動微分コードを利用できる、という点で、AI天気予報モデルは変分法と相性が良いと考えられる。その一方で、AI天気予報モデルの別の側面は、力学モデルに対して格段に低い計算負荷である。そのため、アンサンブルカルマンフィルタや粒子フィルタといったアンサンブルに基づく手法が適しているかもしれない。本研究ではAI天気予報モデルを用いたデータ同化システムの開発に着手した研究について紹介する。具体的には、Microsoft社のClimaXをAI天気予報モデルとして活用し、局所アンサンブル変換カルマンフィルタ・LETKFを同化フィルタとして実装した。本発表では、共分散膨張や局所化パラメータに対する感度実験結果と、それにより得られた示唆について紹介する。
言語 (Language):
スライド英語 / 発表日本語 (slide in English, presented in Japanese)
参考文献:
https://arxiv.org/abs/2407.17781
参加申し込み:
終了済みのセミナーです。