LLM Pre-Training Engineer

Job Description

• Preferred Networksでは大規模言語モデル(LLM)を中心としたマルチモーダルな基盤モデルの開発を進めています。
• 事前学習チームの役割は、LLMの大規模な事前学習を行い、高性能な事前学習モデルを構築することです。
• 事後学習で高い性能を発揮させるためには、事前学習での取り組みも重要です。
• 本ポジションでは、高性能なLLMの事前学習のために必要な研究開発に取り組みます。
• データセット・モデルアーキテクチャ・学習手法の研究開発以外にも、大規模・長期間の学習を効率よく安定して実行し続けるための取り組みも行います。
• 大量の計算資源を効率良く用いるための最適化やソフトウェアの研究開発を行います。
• 長期間の学習を安定して動作させるための研究開発や運用を行います。
• 事前学習モデルの性能を正しく計測するための研究開発を行います。
• 事前学習モデルの性能を向上させるためのデータセットに関する研究開発を行います。
• 事前学習モデルの性能を向上させるための学習手法 (DNNアーキテクチャやoptimizerなど)の研究開発を行います。