犬(SSR🐈)の活動一覧

Summary

機械学習全般(DL以外のモデル, CV, NLP, RL)と低レイヤー, バックエンド(DDDなどの設計, SQLを含め)が一応できるであろう情報系の学生。R&Dと技術のビジネス活用を考えるのが大好き

 GitHub

Attention-from-scratch : Attention is all you need. に代表されるTransformerをPytorchの低レベルAPIでゼロから組み上げて最終的にGPT1まで至ったリポジトリです。

Reasoning Gemma3: Gemma3にGRPOで訓練し, DeepSeek R1のようにReasoningして回答を出すようにしたモデルを公開しています。

OSS

AnimatedWordCloud : 友人と作りました。PyPIでもインストールすることができます。使い方はこちら

スキル/開発経験

言語は使える順にならべています

・Python

• 機械学習はPytorch, Tensorflow, JAX何でも使えます。workshopですがトップカンファレンス(NeurIPS)に通した経験があります

  • Huggingface, Deepspeed, vLLMなどの関連ライブラリも扱えます

• Django, Fast API, SQLAlchemyなどでバックエンドも書けます

• LLMのPretrainからPost train(SFT, RL)まで経験があります

・C/C++

• OS, コンパイラの作成経験があります

• C/C++のTCP/IPライブラリでncコマンドの一部に当たる部分を作成した経験があります

• MPI, OpenMPを駆使した複数ノード間での計算を行えます。576ノードにまたがりLU分解を行った経験があります

• DeepSpeedのbug報告をしたことがあります

• jemallocというmallocの内部を改造しmallocを使用するアプリの性能を改善したことがあります

・CUDA

• 卒論では機械学習向けGPUのコードを制作しました(詳細はまだ伏せる, NeurIPS2025かSC25に投稿予定)

• 行列積のコードをHardware awareな方法で最適化することができます(coalescing, tiling, shared memory, tensor cores...)

• nvccで共有オブジェクトファイルを制作し, Python, C, CUDAを含めた簡易版torchをfrom scratchで制作した経験があります

・Linux...?(Bash/Zsh..?)

• NGINXで内部プロキシを構成しサーバーを運営したことがあります

• /etc/fstabを修正し研究室のNASを構成したことがあります

• TLS/SSL証明書を取得し, https通信対応のウェブサイトをホストしたことがあります

• cgroupsでリソース管理ができます

• /dev/kvmでベアメタルコードを走らせたことならあります

・Go

• GoでCのコンパイラを書いた経験があります

• echo, sqlxなどのライブラリを用いてバックエンドが書けます

・TypeScript

• Next.js, Node.jsしか使えません

・Rust

• 所有権とライフタイムには詳しくなりましたが書き慣れていません

・その他

• GitHub ActionsのCodacy, Code Climate, Codecovでコードの品質担保とテスト自動化ができます

• 2025年医師国家試験93%の医療言語モデルの推論方法を作ったことがあります(使ったモデルはQwQ)

• Speaker Deckに色々と発表したものはまとめてあります(なんか全部ではない気がするが...)

• AWS, GCP, Azureで一通りWeb siteをホスティングしてManagedなDBを作成してLoad balancerを配置して...などをしたことがあります

  • 個人のAWSの一ヶ月の利用料金をボトルネック解析して利用料金を26.9%削減したことがあります(スポットインスタンスを使う, 使ってないElasticIPを削除する等)

• サーバーの監視が好きです。暇さえあればSQLのSlow queryとNginxのログとAWSのcloudwatchとGrafanaを覗いてます

• linkedInはここです

• 大規模OSSを手探るという授業のTAをしたことがあります