Machine Learning Platform Engineer (Networking)/機械学習プラットフォームエンジニア（ネットワーキング）

Preferred Networks の機械学習プラットフォームで用いられている Kubernetes クラスタのネットワークの設計、開発、運用を行うエンジニアを募集します。

LLM をはじめとする大規模な機械学習を行うためには複数のサーバにまたがる多数のアクセラレータを協調動作させる必要があるため、サーバやアクセラレータ間を繋ぐネットワークは機械学習プラットフォームにおける重要な分野の一つです。

本ポジションでは、大規模な機械学習を効率的に行える機械学習プラットフォームを実現するために、コンテナネットワークやデータセンターネットワークにおける課題に取り組みます。

大規模な機械学習で必要になる RDMA (Remote Direct Memory Access) に対応した Kubernetes クラスタを構成するためのコンテナネットワークの設計と開発

マルチテナントに対応するために必要なネットワークのアイソレーションの方式調査、設計、開発

オンプレミスとパブリッククラウドを活用したハイブリッド構成の機械学習プラットフォームの拠点間ネットワークの設計と開発

コンテナネットワークの土台となるデータセンターネットワークの設計や将来を見据えた改善方法の検討、改善の実施

ネットワークの状態を確認するのに必要なモニタリングシステムの設計と開発

多数のサーバやスイッチからなる機械学習プラットフォームのネットワーク運用を効率化するための自動化

これらの業務を行うにあたって、オープンソースをはじめとする技術情報や技術動向の調査、ハードウェアやソフトウェアの動作検証、必要なソフトウェアを開発することも業務に含まれます。

また、この過程におけるトラブルシューティングや開発したシステムの運用も業務の対象です。

Kubernetes クラスタのネットワークスタックにおいてコンテナネットワークからデータセンターネットワークまでの幅広い領域の経験ができる

GPUと自社開発のMN-Coreという複数のアクセラレータが混在する機械学習プラットフォームという他社にはない環境で先進的なネットワークの課題に取り組むことができる

オンプレミスとパブリッククラウドのハイブリッド環境での経験が得られる

バックグラウンドや専門性の異なるメンバーから学びや刺激を受けながら働くことができる

Kubernetes を始めとする OSS コミュニティへの貢献、ミートアップやカンファレンスでの外部発表が推奨されている

関西在住のメンバもおりリモートワークが主体

オフィスに出社して勤務している方もいます

PFN のさまざまな研究開発や事業は機械学習やシミュレーションを中心とした膨大な計算量とデータによって支えられています。

この計算基盤は設計から運用までを基本的に自社で行っており、PFNの価値と競争力の源泉となっています。

先進的なデータセンタ設備、ハードウェア、ソフトウェアの研究開発を実施し、効率のよい大規模な計算基盤とそれを利用するためのサービスを構築・運用しています。

機械学習プラットフォームチームでは研究開発を加速させるため、Kubernetes をはじめとするクラウドネイティブ技術を活用して大規模な機械学習プラットフォームの開発運用に挑戦しています。

PFN は社外のお客様向けにクラウドサービスとして PFN 独自の AI プロセッサーである MN-Core シリーズの提供を始めており、順次設備とユーザの拡大を進めています。

本ポジションでは社内向けのプラットフォームに加えて、MN-Core シリーズを社外向けのクラウドサービスとして提供するためのプラットフォームの開発・運用にも取り組みます。

社外向けのプラットフォームは社内向けと比較してより厳密なテナント間の分離や高いセキュリティが求められるため、社内向けとは異なる設計の新しいプラットフォームとして開発運用しています。