シニアデータエンジニア - MIDASデータプラットフォーム

主な業務内容

1. 1REST APIやデータベース接続を用いて、複数のソースシステム（CRM、CBS、CLM、LOSなど）からデータを取り込むデータパイプラインの設計および実装
2. 2データの品質、一貫性、パフォーマンスを確保したブロンズ / シルバー / ゴールドレイヤーのデータ変換処理の構築と運用保守
3. 3データ品質チェックおよびシステム間のデータ照合ロジックの実装（例：CBSの取引データと勘定元帳残高の照合検証など）
4. 4Databricks SQL/notebooksやDelta Live Tablesを活用したSQLクエリおよびデータ変換処理の開発と最適化
5. 5当局規制レポートや外部リスク輸出用マート（Conseek）へのデータ連携、特にCRMデータ統合を主軸とした、分析・レポート用途向けデータモデルの設計および実装
6. 6ダウンストリームの利用システムに向けたREST APIやデータ供給レイヤーの構築
7. 7データプラットフォーム構成要素のアーキテクチャ設計における意思決定への参画
8. 8パイプラインに対する単体テスト、結合テスト、データ品質テストの作成

募集内容

1. 1データパイプラインのパフォーマンスモニタリング、障害発生時の対応、および改善策の実施
2. 2パーティショニング戦略、Z-Ordering、クエリチューニング等を通じたクエリパフォーマンスの最適化
3. 3Terraformを用いたデータプラットフォーム構成要素のIaC（Infrastructure as Code）実装
4. 4データパイプラインの自動テストおよびデプロイに向けたCI/CDパイプラインの設定
5. 5中堅エンジニアのメンタリングおよびコードレビューの実施
6. 6チームにおけるドキュメント作成やベストプラクティスの確立・ナレッジ共有への貢献
7. 7バックエンドエンジニアと連携したAPIコントラクトおよびデータスキーマの定義
8. 8テクニカルリードと連携したプラットフォーム設計および選定技術の意思決定

募集内容

1. 1データプラットフォーム内における機能開発やプロジェクトイニシアチブのリード
2. 2全銀ネットの決済タイミングに合わせたEOD（日次締め）データ収集プロセスのサポート

応募資格（必須）

• データエンジニアリングまたはアナリティクスエンジニアリングにおける5年以上の実務経験
• SQLおよびPythonに関する高いスキル
• モダンツール（Databricks、Spark、またはそれらに類似するツール）を用いたデータパイプライン構築の実務経験
• クラウドデータプラットフォーム（AWS、Azure、GCP）およびストレージシステム（S3、ADLS、GCS）の利用経験
• ディメンショナルモデリング、Data Vault（データヴォルト）、イベントドリブンアーキテクチャなどのデータモデリング手法に関する深い理解
• 低速なクエリやデータ処理ジョブのデバッグおよびパフォーマンス最適化における実績
• バージョン管理ツール（Git）およびCI/CDパイプラインを用いた開発経験
• データガバナンスの概念（アクセス制御、監査ログ、データリネージ）に関する理解
• 高い課題解決能力と、主体的に自律して業務を推進できる能力
• ジュニア〜中堅エンジニアのメンタリング経験
• クロスファンクショナルなチームとスムーズに連携できる優れたコミュニケーションスキル
• コンピュータサイエンス、エンジニアリング、または関連分野における学士号（または同等の実務経験）
• 日本語：ビジネスレベル以上の日本語力（必須）

歓迎する経験

• ビジネスレベル以上の英語力（TOEIC 700点以上等、チーム間でのドキュメント共有やコラボレーションのため）
• データ品質の検証およびテストフレームワークの使用経験
• 金融サービス、FinTech、その他規制の厳しい業界での実務経験
• 銀行ドメインに関する知識（勘定系システム、決済処理、当局規制レポート、AML/取引モニタリングなど）
• 規制要件（FISC安全対策基準、金融庁/日本銀行向けレポート、GDPR、個人情報保護法など）に準拠したデータプラットフォームの実装経験
• Databricksプラットフォーム（AutoLoader、Unity Catalog、Delta Live Tables、Databricks SQL、Databricks Workflows）の実務経験
• 金融データにおけるシステム間レコンシリエーションの実装経験
• Databricksにおけるパフォーマンスチューニング経験（パーティショニング戦略、Z-Ordering、クエリ最適化、コスト管理）
• データ供給に向けたPython（FastAPI、Flask等）によるREST APIの構築経験
• ストリーミングデータのインジェストパターンおよび外部ツール（Kafka、Kinesis）に関する知識
• Terraformの使用経験
• オープンソースのデータエンジニアリングプロジェクトへの貢献実績
• Databricks SQLダッシュボードまたはBIツール（Tableau、Looker、Power BIなど）の使用経験
• 設計から実装に至る技術イニシアチブのリード経験
• データプラットフォームのパフォーマンス改善やコスト削減の実績（具体的な数値指標を提示できること）
• AIの開発経験もしくはAIツールを使用した開発経験

待遇・福利厚生

• インフルエンザ予防接種
• ベビーシッター利用補助制度
• 住宅手当・家賃補助
• 夏季休暇
• 婦人科検診
• 家事代行利用補助制度
• 家賃給与控除制度
• 年末年始休暇
• 年次有給休暇
• 従業員持株会
• 提携サービス優待
• 書籍購入支援
• 社会保険完備

求めるスキル・経験