Matplotlibの公式 (https://matplotlib.org/stable/users/explain/text/usetex.html#usetex) によると、以下のようにrcParamsのusetexを有効にすればよいと書かれている。
text.usetex : True
(notebook上では "plt.rcParams['text.usetex'] = True" と書く)
Tex環境と必要なパッケージを準備する必要がある。そのため、Tex環境をTex Live等で構築し、足りないパッケージをエラーメッセージから見出して Tex Live Manager からインストールする。代表的な例として、cm-superやその他の各種パッケージを追加する。
（補足）
Matplotlibで図を保存するとき
plt.savefigでデフォルトで保存するとラベルが切れることがある。以下のコマンドを使用する。
fig.savefig("output.png", bbox_inches='tight')
（環境）
windows 11, jupyter notebook, Tex live 2025
jupyter --version
notebook : 6.5.2
tex --version
TeX 3.141592653 (TeX Live 2025)
kpathsea version 6.4.1