LLMモデル学習・分散学習最適化エンジニア

募集内容

1. 1LLM開発における継続事前学習（CPT）、教師あり微調整（SFT）、強化学習（RL）の学習実行とパフォーマンス評価・改善を担当する
2. 2実験管理ツールや各種ログから学習の効率・性能に関するボトルネックを仮説ベースで特定し、モデルのポテンシャルを最大限に引き出すための検証と改善を主導する
3. 3数十ノード規模の大規模なGPUクラスタ環境を順番待ちのストレスなく豊富に活用できる
4. 4インフラ構築ではなく、潤沢な計算資源を活かし実際のモデル学習を回しながら評価結果やログを徹底的に分析する
5. 5データに基づいて仮説を立て、学習の効率化や性能向上に向けた改善を迅速に回すモデル開発の本質的なプロセスに集中できる

募集内容

1. 1大規模言語モデルの開発における継続事前学習（CPT）、教師あり微調整（SFT）、および強化学習（RL）の学習実行と検証
2. 2WandBなどの実験管理ツールを用いた評価結果の調査、および各種ログ分析に基づく学習効率・性能のボトルネック特定
3. 3特定したボトルネックに対する仮説ベースの改善策（ハイパーパラメータや分散トポロジーの調整等）の立案・検証・適用
4. 4モデル学習の効率化や精度向上に向けた、合成データ生成を含むデータパイプラインの運用と評価
5. 5分散学習フレームワークを用いた、モデルの学習安定性およびメモリ効率化に関する検証・チューニング

募集内容

1. 1会社の定める業務全般

募集内容

1. 1計算資源の制約や順番待ちに縛られることなく、自身の立てた仮説に基づく大規模な実験・検証を迅速に実行できる
2. 2評価メトリクスやログといった定量データから「どこが詰まっているか」を紐解き、自身のチューニングによって学習効率やモデル性能が向上していく手応えをダイレクトに実感できる
3. 3継続事前学習から強化学習、データ生成まで、LLM開発のライフサイクル全体における「実行・評価・改善」の高度なノウハウを体系的に蓄積できる

募集内容

1. 1開発環境：Python, PyTorch, Megatron-LM / Megatron Bridge, NVIDIA-NeMo
2. 2その他開発環境：AWS (EC2, EKS), AWS ParallelCluster, Slurm, Linux
3. 3開発支援ツール：git, GitHub, Docker, WandB (Weights & Biases)

募集内容

1. 1評価結果やログなどの定量的なデータに基づき、仮説ベースでロジカルにボトルネックを紐解き、改善を繰り返せる方
2. 2高い主体性を持ち、環境の強みを活かして自ら進んで実験・検証を推進できる方
3. 3理論的な理解に留まらず、実際の学習プロセスにおける安定動作や効率化といった「実装の質」にこだわりを持てる方
4. 4自身の専門領域に捉われず、データ、モデル、インフラの繋がりを意識した課題解決を楽しめる方

応募資格（必須）

• 深層学習モデル（特に大規模モデル）の CPT/SFT/RL 等学習実行経験、および実験管理ツールやログ（WandBなど）を用いたパフォーマンス評価・ボトルネックの改善経験
• 論理的思考に基づき、課題解決に向けた設計から実装、検証までを自走して遂行できる能力

歓迎する経験

• AWS ParallelClusterやSlurmなどのHPC/クラスタ環境を用いた実務経験
• Megatron BridgeやNVIDIA-NeMo/RLなどの先端フレームワークを用いた最適化経験
• CPT、SFT、強化学習（RL/RLHF）のパイプライン構築や、データ処理（合成データ生成等）の効率化に関する知見
• GPU間通信（NCCL等）のチューニングや、インフラレイヤにおけるボトルネック解析の経験
• 関連する技術ドキュメントや論文を読み解き、システム設計へ適用できる能力

待遇・福利厚生

• ディスプレイ台、キーボード、マウス購入費負担
• 各種部活動あり(足猿、雪猿、走ろう会、映画、プラモデル部等)
• 平均残業時間20時間
• 書籍購入支援
• 自己啓発サポート制度

求めるスキル・経験