Software Engineer - LLM Inference Optimization / 大規模言語モデル 推論基盤エンジニア

必須

• コンピュータサイエンスの知識や関心
• コンピューターサイエンスのすべての分野への精通を目指し、常に最先端の技術を追いかけ続けていること
• Pythonを使ったソフトウェア開発経験
• コンピューターアーキテクチャーを理解し、ソフトウェアの実効効率や、計算量を意識したプログラムの作成が出来ること
• 商用環境・オンプレミス環境など、品質要件の高いソフトウェアの開発経験
• LLM推論フレームワークの利用経験
• LLM推論最適化に関する各種技術に対する理解
• LLM推論に関連する最先端の技術動向を主体的にキャッチアップし、専門性を深める意欲
• CUDAアプリケーションの実装・性能改善・デバッグの経験
• チーム内外のメンバーと協働しながら課題解決ができること
• 既存フレームワークのコードや英語のドキュメントが抵抗なく読めること

歓迎

• LLM推論エンジンのコア技術（演算のスケジュール制御やKV cacheの管理機構など）の開発経験
• 商用環境や実際のユースケースにおけるLLM推論の性能測定・最適化の経験
• LLM推論に関連するOSSや、データサイエンス関連のOSSへのコントリビューション経験
• C++またはRustでのソフトウェア開発経験
• GPUクラスタ（Kubernetes等）の利用経験
• MLの学習・評価を行うワークフローフレームワーク（Argo, MLFlow等）の利用経験
• ビジネスレベルの英語・日本語コミュニケーション能力

使用ツール

Job Description

• 推論最適化チームのミッションは、最先端のモデルと現実世界のプロダクトを結ぶ「架け橋」となることです。自社開発のLLMのポテンシャルを極限まで引き出し、実運用環境で求められる厳しい品質・速度・コスト要件を満たす形で最適化し提供することを通じて、PFNのプロダクトやソリューション事業の拡大を技術の出口から支援します。
• 代表的な業務内容の例は以下の通りです。
• LLMモデルの推論性能向上: 量子化・推論エンジンの改善・パフォーマンスチューニングなどを通じて、モデルの出力品質を担保しながら、ターゲット環境におけるスループットの向上やレイテンシ/メモリ使用量の削減を行う。
• LLM推論エンジンの開発: SaaS環境やオンプレミス環境でのサービングに必要となる推論エンジンと、その周辺機能の開発およびインテグレーションを行う。
• LLMのカスタマイズ・デプロイの支援: 案件ごとのニーズに応じてLLMモデルのカスタマイズを行うためのワークフローや、デプロイのパイプラインを整備する。
• OSSコミュニティ活動: vLLMをはじめとするLLM推論エンジンのエコシステムで、新機能の実装・バグフィックスのアップストリーム対応を行う。また、必要に応じて、関連イベントへの登壇や情報発信を行う。
• 入社後に実際に担当いただく業務内容は、専門・ご経験を考慮のうえ決定します。
• The mission of the Inference Optimization Team is to serve as a "bridge" connecting cutting-edge models with real-world products. By fully realizing the potential of PFN's LLMs and optimizing them to meet the stringent quality, performance, and cost requirements of production environments, we support the expansion of PFN's product and solution business from the technical implementation perspective. Typical responsibilities include:
• Improving Performance of LLM Inference: Increasing throughput and reducing latency/memory usage in target environments while ensuring the model output quality, through techniques such as quantization, inference engine optimization, and performance tuning.
• Developing LLM Inference Engines: Create and integrate the necessary inference engines and supporting functions required for serving LLMs in SaaS environments and on-premise deployments.
• Supporting LLM Customization and Deployment: Establish workflows and deployment pipelines to enable customized LLM models according to each project's specific requirements.
• Contributing to OSS Communities: Participate in the development of the LLM inference engine ecosystem, particularly for vLLM, by implementing new features and upstream bug fixes. Additionally, when needed, present at relevant events and disseminate information.
• The specific responsibilities you will actually handle after joining will be determined based on your expertise and experience.