Databricksデータエンジニア

必須

• Databricksの実務経験（Delta Lake、Unity Catalog、Databricks SQLなどの利用経験）
• クラウド環境（AWS、Azure、GCPのいずれか）上でのデータ処理パイプラインの開発・運用経験

歓迎

• DWH/データレイク環境におけるデータマート（Star Schemaなど）の設計・データモデリング経験またはその理解
• dbt（data build tool）を用いたデータモデリング・CI/CD環境の構築経験
• Databricks AI/BI、または何らかのBIツールを用いたダッシュボード構築およびデータソース設計の経験
• 空間データの処理経験
• 他のシステム開発チームやデータサイエンスチームとのシステム連携・要件定義の経験

求める人物像

• 他部署や外部関係者とコミュニケーションを取るのが好きな方
• 単にデータを集めるだけでなく、「データがどう使われるか」「どう設計すればクエリが高速化するか」を追求できる方
• データの整合性や品質、ガバナンス（セキュリティ）に責任感を持ち、実直に基盤を洗練させられる方
• 他部署や、データアナリストなどのステークホルダーと円滑に連携・合意形成ができる方

使用ツール

Description

• 当社では全社的なデータ駆動型経営をさらに加速させるため、現在データ基盤をDatabricks（レイクハウス・プラットフォーム）へと集約し、BI環境もDatabricks SQLおよびDatabricks AI/BI（Dashboards/Genie）へ移管するプロジェクトを推進しています。
• Databricksのポテンシャルを最大限に引き出し、社内のアナリストやビジネス部門がストレスなく高度なデータ分析・可視化を行える環境を構築・リードするデータエンジニアを募集します。

具体的には…

• データパイプライン（ETL/ELT）の構築・運用: PySparkやDatabricks SQL、Databricks Workflowsを用いた効率的なデータ処理ジョブの実装
• レイクハウスでのデータモデリング: メダリオンアーキテクチャに基づいた、Silver（クレンジング）およびGold（ビジネス用マート）レイヤーの設計・開発
• BI移管とダッシュボード高度化: 既存BIからDatabricks AI/BI（Dashboards）への移行推進、およびDatabricks SQLを用いたクエリパフォーマンスの最適化・チューニング
• データガバナンスとメタデータ管理: Unity Catalogを活用したデータカタログの整備、アクセス権限の適切な管理
• データ活用統制・支援: 開発したデータマートの利用ドキュメント整備や、社内のデータアナリスト向けの開発標準・運用のルール策定