事前学習言語モデル

BERT・ELECTRA・DeBERTaV2の金融ドメイン・汎用ドメインの事前学習モデルがHugging FaceのTransformersライブラリにて利用可能です。

https://huggingface.co/izumi-lab

現在以下のモデルが利用可能です。

• deberta-v2-base-japanese

• deberta-v2-small-japanese

• bert-base-japanese-fin-additional 

• bert-small-japanese-fin

• bert-small-japanese

• electra-base-japanese-discriminator 

• electra-base-japanese-generator 

• electra-small-paper-japanese-fin-discriminator

• electra-small-japanese-discriminator

• electra-small-japanese-generator

• electra-small-paper-japanese-generator

• electra-small-paper-japanese-discriminator

• electra-small-japanese-fin-discriminator

• electra-small-japanese-fin-generator

• electra-small-paper-japanese-fin-generator

事前学習プログラムは github.com/retarfi/language-pretraining より利用可能です。

本事前学習モデルを利用して論文を執筆する場合は、以下の論文を引用してください。

Masahiro Suzuki, Hiroki Sakaji, Masanori Hirano, Kiyoshi Izumi. "Constructing and analyzing domain-specific language model for financial text mining, " Information Processing & Management, Volume 60, Issue 2, 2023. 

https://doi.org/10.1016/j.ipm.2022.103194