シニアデータエンジニア - MIDASデータプラットフォーム

必須

• データエンジニアリングまたはアナリティクスエンジニアリングにおける5年以上の実務経験
• SQLおよびPythonに関する高いスキル
• モダンツール（Databricks、Spark、またはそれらに類似するツール）を用いたデータパイプライン構築の実務経験
• クラウドデータプラットフォーム（AWS、Azure、GCP）およびストレージシステム（S3、ADLS、GCS）の利用経験
• ディメンショナルモデリング、Data Vault（データヴォルト）、イベントドリブンアーキテクチャなどのデータモデリング手法に関する深い理解
• 低速なクエリやデータ処理ジョブのデバッグおよびパフォーマンス最適化における実績
• バージョン管理ツール（Git）およびCI/CDパイプラインを用いた開発経験
• データガバナンスの概念（アクセス制御、監査ログ、データリネージ）に関する理解
• 高い課題解決能力と、主体的に自律して業務を推進できる能力
• ジュニア〜中堅エンジニアのメンタリング経験
• クロスファンクショナルなチームとスムーズに連携できる優れたコミュニケーションスキル
• コンピュータサイエンス、エンジニアリング、または関連分野における学士号（または同等の実務経験）
• 日本語：ビジネスレベル以上の日本語力（必須）

歓迎

• ビジネスレベル以上の英語力（TOEIC 700点以上等、チーム間でのドキュメント共有やコラボレーションのため）
• データ品質の検証およびテストフレームワークの使用経験
• 金融サービス、FinTech、その他規制の厳しい業界での実務経験
• 銀行ドメインに関する知識（勘定系システム、決済処理、当局規制レポート、AML/取引モニタリングなど）
• 規制要件（FISC安全対策基準、金融庁/日本銀行向けレポート、GDPR、個人情報保護法など）に準拠したデータプラットフォームの実装経験
• Databricksプラットフォーム（AutoLoader、Unity Catalog、Delta Live Tables、Databricks SQL、Databricks Workflows）の実務経験
• 金融データにおけるシステム間レコンシリエーションの実装経験
• Databricksにおけるパフォーマンスチューニング経験（パーティショニング戦略、Z-Ordering、クエリ最適化、コスト管理）
• データ供給に向けたPython（FastAPI、Flask等）によるREST APIの構築経験
• ストリーミングデータのインジェストパターンおよび外部ツール（Kafka、Kinesis）に関する知識
• Terraformの使用経験
• オープンソースのデータエンジニアリングプロジェクトへの貢献実績
• Databricks SQLダッシュボードまたはBIツール（Tableau、Looker、Power BIなど）の使用経験
• 設計から実装に至る技術イニシアチブのリード経験
• データプラットフォームのパフォーマンス改善やコスト削減の実績（具体的な数値指標を提示できること）
• AIの開発経験もしくはAIツールを使用した開発経験

使用ツール

募集背景

• MIDAS（経営統合・データ分析システム）データプラットフォームチームのシニアデータエンジニアとして、日本有数の革新的なデジタルバンク内にあるほぼすべてのシステムを接続する、中核となるデータハブの新規立ち上げ（ゼロからの構築）および運用保守を担当していただきます。
• 最新のクラウド型データ技術を活用し、多様な勘定系・銀行システムからデータを取り込んだ上で複雑なビジネスロジックを適用し、経営管理・当局規制レポート・リスク管理をはじめとする多種多様なダウンストリームへデータを提供していただきます。
• 銀行ドメインに求められる高い水準・期待に応えるため、データの品質管理、複数システム間にわたるデータ照合）、リアルタイム性が求められるタイムクリティカルなデータ処理、完全なトレーサビリティの確保など、難易度の高いデータエンジニアリング上の課題に挑戦できる環境です。
• 本ポジションはシニア職のICであり、複雑なデータパイプラインの設計・実装、中堅エンジニアのメンタリング、そしてプラットフォームのアーキテクチャ設計における意思決定にも参画していただきます。
• ※本ポジションは株式会社マネーフォワードで雇用の上で、新会社(SMBCマネーフォワード銀行設立準備株式会社)に在籍出向となります。評価制度や福利厚生は株式会社マネーフォワードの制度に準じます。

開発体制

• 私たちは、銀行業界のパートナーと密に連携しながら、小規模でアジャイルなチームで開発を行っています。エンジニア11名で構成された、まだ立ち上がったばかりのチームです。

主な業務内容

• REST APIやデータベース接続を用いて、複数のソースシステム（CRM、CBS、CLM、LOSなど）からデータを取り込むデータパイプラインの設計および実装
• データの品質、一貫性、パフォーマンスを確保したブロンズ / シルバー / ゴールドレイヤーのデータ変換処理の構築と運用保守
• データ品質チェックおよびシステム間のデータ照合ロジックの実装（例：CBSの取引データと勘定元帳残高の照合検証など）
• Databricks SQL/notebooksやDelta Live Tablesを活用したSQLクエリおよびデータ変換処理の開発と最適化
• 当局規制レポートや外部リスク輸出用マート（Conseek）へのデータ連携、特にCRMデータ統合を主軸とした、分析・レポート用途向けデータモデルの設計および実装（※ALM/ERMリスク計算自体は外部のConseek側で処理されます）
• ダウンストリームの利用システムに向けたREST APIやデータ供給レイヤーの構築
• データプラットフォーム構成要素のアーキテクチャ設計における意思決定への参画
• パイプラインに対する単体テスト、結合テスト、データ品質テストの作成
• データパイプラインのパフォーマンスモニタリング、障害発生時の対応、および改善策の実施
• パーティショニング戦略、Z-Ordering、クエリチューニング等を通じたクエリパフォーマンスの最適化
• Terraformを用いたデータプラットフォーム構成要素のIaC（Infrastructure as Code）実装
• データパイプラインの自動テストおよびデプロイに向けたCI/CDパイプラインの設定
• 中堅エンジニアのメンタリングおよびコードレビューの実施
• チームにおけるドキュメント作成やベストプラクティスの確立・ナレッジ共有への貢献
• バックエンドエンジニアと連携したAPIコントラクトおよびデータスキーマの定義
• テクニカルリードと連携したプラットフォーム設計および選定技術の意思決定
• データプラットフォーム内における機能開発やプロジェクトイニシアチブのリード
• 全銀ネットの決済タイミングに合わせたEOD（日次締め）データ収集プロセスのサポート

クラウドインフラ

• AWS: メインのクラウドプラットフォーム（東京リージョン）
• S3: セキュアなVPCネットワーク接続を備えたデータレイクストレージ
• AWS IAM: セキュリティおよびアクセス権限管理

データレイクハウス・アーキテクチャ（Databricks）

• Databricks (Delta Lake): ACIDトランザクション、タイムトラベル、スキーマエボリューションを備えたモダンレイクハウス構築
• Parquet: 分析用に最適化されたカラムナストレージフォーマット
• Medallion Architecture: 段階的なデータクレンジング・加工を行うBronze/Silver/Gold構造
• Z-Ordering / Partitioning: クエリパフォーマンス向上のためのパーティションおよび最適化戦略
• Unity Catalog: 中央集権的なガバナンスおよびメタデータ管理

オーケストレーション・データ処理（Databricks）

• Databricks Workflows: フルマネージドなワークフロー制御・ジョブ実行
• Apache Spark: Databricksクラスタ上での分散データ処理
• Databricks Serverless / Auto-scaling: コスト最適化のための自動スケール・サーバーレスコンピュート
• Databricks AutoLoader: ストリーミングおよびバッチデータの取り込み

データ変換（Databricks）

• Delta Live Tables (DLT): データ品質チェック機能を内蔵した宣言型ETLパイプライン
• Databricks Notebooks (SQL / Python): ノートブック環境でのデータ変換処理
• Incremental Materialization: 効率的な処理を実現する増分マテリアライズ戦略

クエリ・分析（Databricks）

• Databricks SQL: 高パフォーマンスな分析クエリの実行
• Serverless / Auto-scaling SQL Warehouses: 変動するワークロードに対応する自動スケール型DW
• クエリ結果のキャッシングと最適化
• REST APIs: ダウンストリームへのデータ供給
• Athena、Redshift Spectrumなど: 高度な分析・利用に向けた Delta Lake へのダイレクトアクセス

データ品質・ガバナンス（Databricks）

• Delta Live Tables (Expectations): データ品質の自動チェック・検証
• システム間におけるデータの自動照合および検証ロジック
• Unity Catalog: 列・行レベルのセキュリティによる詳細なアクセス制御
• 規制遵守に向けたデータリネージの自動追跡
• 監査ログの取得および10年間のデータ保持ポリシー

ビジネスインテリジェンス（Databricks）

• Databricks SQL Dashboards: 社内分析およびモニタリング用ダッシュボード
• Tableau、Power BI、Looker: Databricks SQLエンドポイント経由でのBIツール連携

開発・DevOps

• 開発言語: SQL（メイン）、Python
• プラットフォーム: Databricks（Notebooks, Workflows, Databricks SQL）
• バージョン管理: GitHub
• CI/CD: GitHub Actions
• IaC（Infrastructure as Code）: Terraform
• モニタリング: Databricksモニタリング、AWS CloudWatch連携
• AI支援開発: Claude Code、GitHub Copilot、ChatGPT