機械学習全般(DL以外のモデル, CV, NLP, RL)と低レイヤー, バックエンド(DDDなどの設計, SQLを含め)が一応できるであろう情報系の学生。R&Dと技術のビジネス活用を考えるのが大好き
Attention-from-scratch : Attention is all you need. に代表されるTransformerをPytorchの低レベルAPIでゼロから組み上げて最終的にGPT1まで至ったリポジトリです。
Reasoning Gemma3: Gemma3にGRPOで訓練し, DeepSeek R1のようにReasoningして回答を出すようにしたモデルを公開しています。
AnimatedWordCloud : 友人と作りました。PyPIでもインストールすることができます。使い方はこちら
言語は使える順にならべています
・Python
機械学習はPytorch, Tensorflow, JAX何でも使えます。workshopですがトップカンファレンス(NeurIPS)に通した経験があります
Huggingface, Deepspeed, vLLMなどの関連ライブラリも扱えます
Django, Fast API, SQLAlchemyなどでバックエンドも書けます
LLMのPretrainからPost train(SFT, RL)まで経験があります
・C/C++
OS, コンパイラの作成経験があります
C/C++のTCP/IPライブラリでncコマンドの一部に当たる部分を作成した経験があります
MPI, OpenMPを駆使した複数ノード間での計算を行えます。576ノードにまたがりLU分解を行った経験があります
DeepSpeedのbug報告をしたことがあります
jemallocというmallocの内部を改造しmallocを使用するアプリの性能を改善したことがあります
・CUDA
卒論では機械学習向けGPUのコードを制作しました(詳細はまだ伏せる, NeurIPS2025かSC25に投稿予定)
行列積のコードをHardware awareな方法で最適化することができます(coalescing, tiling, shared memory, tensor cores...)
nvccで共有オブジェクトファイルを制作し, Python, C, CUDAを含めた簡易版torchをfrom scratchで制作した経験があります
・Linux...?(Bash/Zsh..?)
NGINXで内部プロキシを構成しサーバーを運営したことがあります
/etc/fstabを修正し研究室のNASを構成したことがあります
TLS/SSL証明書を取得し, https通信対応のウェブサイトをホストしたことがあります
cgroupsでリソース管理ができます
/dev/kvmでベアメタルコードを走らせたことならあります
・Go
GoでCのコンパイラを書いた経験があります
echo, sqlxなどのライブラリを用いてバックエンドが書けます
・TypeScript
Next.js, Node.jsしか使えません
・Rust
所有権とライフタイムには詳しくなりましたが書き慣れていません
・その他
GitHub ActionsのCodacy, Code Climate, Codecovでコードの品質担保とテスト自動化ができます
2025年医師国家試験93%の医療言語モデルの推論方法を作ったことがあります(使ったモデルはQwQ)
Speaker Deckに色々と発表したものはまとめてあります(なんか全部ではない気がするが...)
AWS, GCP, Azureで一通りWeb siteをホスティングしてManagedなDBを作成してLoad balancerを配置して...などをしたことがあります
個人のAWSの一ヶ月の利用料金をボトルネック解析して利用料金を26.9%削減したことがあります(スポットインスタンスを使う, 使ってないElasticIPを削除する等)
サーバーの監視が好きです。暇さえあればSQLのSlow queryとNginxのログとAWSのcloudwatchとGrafanaを覗いてます
linkedInはここです
大規模OSSを手探るという授業のTAをしたことがあります