Engineering Manager, Data Ingestion

必須

• メルカリのミッションとバリューに共感していただける方
• 2+ more years in people management.
• 設計書または技術提案書を作成し、ステークホルダーとの合意形成を行った経験
• Go、Python、Java、Scalaなど多様なプログラミング言語を用いて、大規模サービスおよび分散システム・データパイプラインの設計・開発・運用を行った経験
• ステークホルダーと円滑に協業し、技術的な専門知識を持たないリーダー層に複雑な技術リスクを分かりやすく説明できる、優れたコミュニケーション能力

• 語学力

  • 英語：Independent (CEFR - B2)
  • 日本語：Independent (CEFR - B2)

歓迎

• Apache Beam、Spark、Flinkなどのストリーミングデータ処理フレームワークの利用経験
• Google BigQuery、Amazon Redshift、Hive/Hadoop、Snowflakeなどのデータウェアハウス技術の利用経験
• モニタリングやアラートツールに関する知見
• Google Cloud Platform（Dataflow、Pub/Sub、Kubernetes Engine、Compute Engine）の利用経験
• Confluent CloudまたはApache Kafkaの利用経験
• Argo WorkflowやApache Airflowなどのワークフローエンジンの利用経験
• OSSの公開およびコントリビュート経験

使用ツール

組織・チームのミッション

• メルカリでは、プロダクト、マーケティング、機械学習のあらゆる領域において、データにもとづく意思決定が行われています。Data Ingestion TeamのEngineering Managerとして、メルカリグループ全体の大量のイベントデータおよびオペレーショナルデータを収集・処理し、各所へ届ける基盤システムをリードしていただきます。技術戦略の策定、ピープルマネジメント、プラットフォームの運用健全性に責任を持ち、Data Management、BI Analytics、SRE、Platform Engineeringの各チームと密に連携しながら推進していただくポジションです。
• Japan Business Data組織のData Ingestion Teamの一員として、以下のチームとも連携していただきます。
• Data Management Team
• Data Analytics Team
• Machine Learning Team（検索、レコメンデーション、クレジット、不正対策など）
• Product Team（マーケティング、CRM、カスタマーサポート、不正対策など）
• Data Ingestion Teamはこれらの連携を通じて、信頼性が高く、スケーラブルかつタイムリーなデータ提供を実現し、メルカリ全体の分析、実験、機械学習、そしてビジネスにおける意思決定を支えています。

チームリーダーシップ＆ピープルマネジメント

• Data Ingestionチームを率い、各エンジニアに助言し、チームの成長を促す
• 心理的安全性、オペレーショナルエクセレンス、オーナーシップ、継続的改善を重視したチーム文化を醸成する
• コーチング、パフォーマンスマネジメント、キャリア開発、技術的なメンタリングを通じてエンジニアを支援する
• チーム力を強化し、多様性を高めるため、エンジニアの採用とオンボーディングを推進する
• ロードマップに基づく各施策の実行計画、優先順位づけ、デリバリーをマネジメントする

技術戦略＆プラットフォームオーナーシップ

• メルカリのデータ取り込み領域における長期的な技術ビジョンおよびロードマップを策定し、その実行をリードする
• 大規模分散データシステムに関するアーキテクチャの議論および技術的意思決定をリードする
• 拡張性、信頼性、保守性、および開発者生産性の向上を推進する
• ステークホルダーと連携し、プラットフォームへの投資を全社的なデータ戦略および事業目標と整合させる
• エンジニアリング標準と運用プラクティスを確立し、各チームが自律的にオーナーシップを持ってパイプラインを管理できる体制を整える

信頼性、運用、＆コスト最適化

• ミッションクリティカルなデータ取り込みパイプラインとイベント処理システムの信頼性・安定稼働を管理する
• 重大な本番障害におけるインシデントマネジメントおよびポストモーテムを主導する
• オブザーバビリティ、SLI/SLO、モニタリング、運用体制の継続的な改善を推進する
• FinOpsおよびインフラチームと連携し、パフォーマンスと信頼性を維持しながらプラットフォームコストの最適化を進める
• リソース効率の向上に向けて、パーティショニング、クラスタリング、リソースの適正化、ストレージライフサイクル管理、パイプライン最適化に取り組む

ユニークなチャレンジ

• 少人数のチームで、大容量かつミッションクリティカルなプラットフォームを維持：本プラットフォームは、この2年間でバックエンドチーム向けのセルフサービス型モデルへと移行しました。少数精鋭のチームでセルフサービス型モデルの障害耐性と信頼性を維持しつつ、BigQuery Enterprise EditionやConfluent Cloudなどの主要なプラットフォーム契約についてFinOpsと連携する、チャレンジングなポジションです。
• プラットフォームの領域拡大：データ取り込みの対象を、サードパーティデータ、非構造化データ、人事・財務など全社的なデータソースへと拡大し、Japan Business Data組織の「Data × AI」構想を推進していただきます。