仕事内容
PayPay銀行のデータエンジニアとして、次世代デジタル金融プラットフォームのデータ基盤設計・構築・運用をリードします。DatabricksやAWS DMS、Terraformなどのモダンな技術を活用し、堅牢でスケーラブルなデータパイプラインやデータレイクハウスを構築します。金融機関に求められる高い信頼性、セキュリティ、ガバナンスを確保しつつ、PayPayグループのスピード感でデータ活用を推進し、プロダクト開発や事業成長に貢献します。
Job Responsibilities・具体的な業務内容
- Databricks、AWS DMS、Terraformなどを活用した、堅牢でスケーラブルなデータ取り込みパイプラインの設計・開発・運用。
- Spark / Python / SQLを用いた大規模データ処理ワークフローの開発。
- 銀行サービス、決済連携、業務システム、外部データソースなどからのデータ連携基盤の設計・構築。
- Change Data Capture、ストリーミング処理、バッチ処理を組み合わせたデータパイプラインの最適化。
- Databricks Lakehouse、Unity Catalogなどを活用したデータレイクハウスおよびデータカタログの整備。
- データ品質、メタデータ管理、データリネージ、アクセス制御、監査ログなど、データガバナンス機能の設計・運用。
- 大規模データ処理におけるパフォーマンスチューニング、コスト最適化、信頼性向上。
- モニタリング、アラート、ダッシュボード、インシデント対応など、データ基盤におけるSRE / Observabilityの実践。
- TerraformなどのIaCを用いたデータ基盤インフラの構築・自動化・標準化。
- データエンジニアリング業務を効率化するための共通フレームワーク、ツール、テンプレート、CI/CDパイプラインの整備。
- プロダクト、アナリティクス、リスク管理、セキュリティ、コンプライアンス、PayPayグループ各社との連携によるデータ活用推進。
- 金融機関として求められるセキュリティ、個人情報保護、規制対応、内部統制を踏まえたデータ基盤運用。
About the Organization/Team・組織/チームについて
- 配属先組織は、次世代型のデジタル金融プラットフォームに関わるデータ基盤プロジェクトをメインに進めている。
- グループ全体のデータ活用を加速させるため、モダンなデータ技術を用いた信頼性・拡張性の高いデータエンジニアリング基盤の設計・構築・運用を1からリードする組織である。
- 入社後に上記プロジェクトメンバーとしてPayPay銀行への出向を予定している。
Tech Stack
- Cloud: AWS
- Data Platform: Databricks, Snowflake, Delta Lake, Data Lakehouse
- Processing: Apache Spark, Scala, Python, SQL
- Orchestration: Airflow, Dagster, Prefect
- Streaming / Ingestion: Kafka, CDC tools
- Infrastructure: Terraform, GitOps, CI/CD
- Governance: Unity Catalog, AWS Lake Formation, Data Catalog, Metadata Management
- Observability: Prometheus, Grafana, CloudWatch, Datadog
- Collaboration: GitHub, Jira, Confluence, Slack など
Attractiveness of This Position・本ポジションの魅力
- PayPay銀行のデータエンジニアは、銀行としての高い信頼性と、PayPayグループのスピード感・ユーザー基盤を掛け合わせ、次世代のデジタル金融を支えるデータ基盤そのものをつくるポジションである。
- 金融機関として求められる厳格なセキュリティ、ガバナンス、監査性を満たしながら、DatabricksやLakehouseアーキテクチャなどのモダンなデータ技術を活用し、プロダクト開発や事業成長に直結するデータ活用を推進できる。
- 企画から開発までを内製化するプロダクト開発力、数千万人規模のユーザーに価値を届けるマーケティング力、社会インフラとしての信頼を守る金融・コーポレート基盤を強みとしている。
- データエンジニアとして、これらの強みを横断的に支え、銀行を再定義する挑戦に関わることができる。
Background of Recruitment・募集の背景
- 事業の急激な成長に伴い、PayPay銀行およびPayPayグループにおけるデータ活用の重要性がますます高まっている。
- プロダクト改善、マーケティング、不正検知などの各種施策を高度化させるため、高い信頼性・セキュリティ・拡張性を兼ね備えたデータエンジニアリング基盤の体制強化が急務とされている。
Desired Candidate Profile・求める人物像
- ユーザーファーストな金融サービスの実現に共感できる方。
- データ基盤をプロダクトとして捉え、利用者であるデータエンジニア、アナリスト、事業部門、プロダクトチームの生産性向上に向き合える方。
- 金融機関としての信頼性・堅牢性と、FinTech企業としてのスピード感を両立できる方。
- 目の前のチケット対応だけでなく、長期的に拡張可能なアーキテクチャや運用設計を考えられる方。
- 複雑な課題に対して、自ら仮説を立て、周囲を巻き込みながら解決に向かえる方。
- セキュリティ、ガバナンス、コンプライアンスを制約ではなく、より良いデータ活用を実現するための前提として捉えられる方。
- 新しい技術を学び続け、チームや組織へ還元できる方。
求めるスキル・経験
必須
データエンジニア、データ基盤エンジニア、または類似職種での実務経験4年以上
データレイク、データウェアハウス、またはデータレイクハウスの設計・構築・運用経験 DWH設計・構築・運用経験
Databricks、Delta Lake、Apache Sparkのいずれかを用いた大規模データ処理経験 Apache SparkDatabricks
Python、PySparkなどのプログラミング言語、およびSQLを用いた開発経験 Apache SparkPythonSQL
Airflow、Dagster、Prefectなどのワークフローオーケストレーションツールの利用経験 Apache Airflow
AWSを用いたクラウド環境での開発・運用経験 AWS
TerraformなどのInfrastructure as Codeを用いたインフラ構築・運用経験 Terraform
大規模データパイプラインの性能、信頼性、可用性、運用性を考慮した設計・改善経験
日本語での業務遂行が可能な方（母国語、または日本語能力試験N1／N2相当） 日本語能力試験 N1
歓迎
金融機関、FinTech、決済、クレジット、証券、保険など、金融ドメインでのデータ基盤開発経験
Kafkaなどを用いたイベント駆動型データ連携、ストリーミング処理の経験 イベント駆動アーキテクチャApache Kafka
Canal、Debezium、MaxwellなどのCDCツールの利用経験
Unity Catalog、AWS Lake Formationなどを用いたデータカタログ / 権限管理 / メタデータ管理の経験 AWSID管理・認証認可基盤経験
Prometheus、Grafana、Datadog、CloudWatchなどを用いた監視・可観測性向上の経験 Amazon CloudWatchDatadogGrafana可観測性Prometheus
GitHub Actions、Jenkinsなどを用いたCI/CDパイプラインの構築・運用経験 CI/CDGitHubGitHub ActionsJenkins
Kubernetes、EKS、ArgoCDなどを用いたプラットフォーム運用経験 Argo CDAmazon EKSKubernetes
データ品質管理、データリネージ、データコントラクト、マスターデータ管理に関する経験
個人情報、機微情報、金融取引データなどを扱うシステムにおけるアクセス制御、暗号化、マスキング、監査ログ設計の経験 ID管理・認証認可基盤経験
データエンジニアリング標準、開発ガイドライン、共通ライブラリなどの整備経験
チームリード、技術選定、アーキテクチャレビュー、メンタリングの経験 メンタリング・コーチングチームリード経験
英語（ビジネスレベルでの会話が可能なレベル）
AI支援開発をシステム設計およびデリバリーに統合した実績
AI関連のオープンソースプロジェクトへの貢献、またはAIを活用したワークフロー自動化の経験があれば尚可
関連スキル
歓迎
募集要項
- 職種
- データエンジニア
- 雇用形態
- 正社員
- 想定年収
- 応相談
- 出社・リモート
- ハイブリッド / リモート可
- 必要経験
- 4年以上
- レベル
- メンバー
- 勤務時間
- スーパーフレックス（コアタイムなし） / 実働7.75時間 / 休憩60分
- 休日休暇
- 完全週休2日制 / 祝日休み
福利厚生・制度
選考プロセス
- 応募
業務上必要なため、選考は日本語のみで実施させていただきます。