LLMモデル学習・分散学習最適化エンジニア

必須

• 深層学習モデル（特に大規模モデル）の CPT/SFT/RL 等学習実行経験、および実験管理ツールやログ（WandBなど）を用いたパフォーマンス評価・ボトルネックの改善経験
• 論理的思考に基づき、課題解決に向けた設計から実装、検証までを自走して遂行できる能力

歓迎

• AWS ParallelClusterやSlurmなどのHPC/クラスタ環境を用いた実務経験
• Megatron BridgeやNVIDIA-NeMo/RLなどの先端フレームワークを用いた最適化経験
• CPT、SFT、強化学習（RL/RLHF）のパイプライン構築や、データ処理（合成データ生成等）の効率化に関する知見
• GPU間通信（NCCL等）のチューニングや、インフラレイヤにおけるボトルネック解析の経験
• 関連する技術ドキュメントや論文を読み解き、システム設計へ適用できる能力

求める人物像

• 評価結果やログなどの定量的なデータに基づき、仮説ベースでロジカルにボトルネックを紐解き、改善を繰り返せる方
• 高い主体性を持ち、環境の強みを活かして自ら進んで実験・検証を推進できる方
• 理論的な理解に留まらず、実際の学習プロセスにおける安定動作や効率化といった「実装の質」にこだわりを持てる方
• 自身の専門領域に捉われず、データ、モデル、インフラの繋がりを意識した課題解決を楽しめる方

使用ツール

概要

• LLM（大規模言語モデル）の開発における、継続事前学習（CPT）、教師あり微調整（SFT）、強化学習（RL）の学習実行とパフォーマンス評価・改善を担っていただきます。実験管理ツールや各種ログから、学習の効率・性能に関するボトルネックを仮説ベースで特定し、モデルのポテンシャルを最大限に引き出すための検証と改善を主導するポジションです。
• 現在のLLM開発において、多くのエンジニアが直面している課題の一つが「計算資源の不足や、実験の順番待ちによる開発スピードの停滞」です。どれだけ優れた仮説があっても、検証環境が限られていれば最適なアプローチを見出すことは困難になります。
• 当プロジェクトの最大のおもしろさは、数十ノード規模の大規模なGPUクラスタ環境を、順番待ちのストレスなく豊富に活用できる点にあります。本ポジションでは、インフラの構築そのものではなく、この潤沢な計算資源を最大限に活かし、実際のモデル学習を回しながら評価結果やログを徹底的に分析していただきます。
• 「データに基づいて仮説を立て、学習の効率化や性能向上に向けた改善を迅速に回す」という、モデル開発の本質的なプロセスに集中して取り組める環境です。

具体的な職務内容

• 大規模言語モデルの開発における継続事前学習（CPT）、教師あり微調整（SFT）、および強化学習（RL）の学習実行と検証
• WandBなどの実験管理ツールを用いた評価結果の調査、および各種ログ分析に基づく学習効率・性能のボトルネック特定
• 特定したボトルネックに対する仮説ベースの改善策（ハイパーパラメータや分散トポロジーの調整等）の立案・検証・適用
• モデル学習の効率化や精度向上に向けた、合成データ生成を含むデータパイプラインの運用と評価
• 分散学習フレームワークを用いた、モデルの学習安定性およびメモリ効率化に関する検証・チューニング

従事すべき業務の変更の範囲

• 会社の定める業務全般

プロジェクトのやりがい

• 計算資源の制約や順番待ちに縛られることなく、自身の立てた仮説に基づく大規模な実験・検証を迅速に実行できる
• 評価メトリクスやログといった定量データから「どこが詰まっているか」を紐解き、自身のチューニングによって学習効率やモデル性能が向上していく手応えをダイレクトに実感できる
• 継続事前学習から強化学習、データ生成まで、LLM開発のライフサイクル全体における「実行・評価・改善」の高度なノウハウを体系的に蓄積できる

開発環境

• 開発環境：Python, PyTorch, Megatron-LM / Megatron Bridge, NVIDIA-NeMo
• その他開発環境：AWS (EC2, EKS), AWS ParallelCluster, Slurm, Linux
• 開発支援ツール：git, GitHub, Docker, WandB (Weights & Biases)