事業部横断データエンジニア

必須

• SQLを利用した実務経験2年以上 ※下記歓迎する経験・スキルをお持ちの方であれば1年程度でも可
• プログラミング、クラウド、データ分析・利活用への強い興味・関心

歓迎

• 次のいずれか

  • Python経験1年以上（自学含む）
  • または何らかのプログラミング言語経験3年以上
• Gitを利用したシステム開発経験
• ※自学含む。チームでの並行開発経験がある方も歓迎
• AWS / GCP / Azureなどクラウドを利用したシステム開発経験
• SnowflakeもしくはBigQueryの利用経験
• dbtを利用したデータパイプライン構築・運用経験
• 統計、数理最適化、機械学習などの数学を利用したシステム開発経験
• データベース・SQLのパフォーマンスチューニング、プログラムの高速化経験
• KVS等のNoSQLデータストアの利用経験
• データベースやデータストアの製品選定やアーキテクチャ設計の経験

求める人物像

• 最新技術の情報を収集し続けることに抵抗のない方
• ビジネス部門などの前提知識が異なる人達とのコミュニケーションも臆さず積極的に行える方
• 変化を楽しむことができ成果や作ったものから得られる利益や恩恵の最大化にフォーカスできる方

使用ツール

データ基盤のモダナイズ

• マイナビのデータ基盤の構築・運用やデータ基盤・データ利活用環境を最新テクノロジーを利用した構造へと変革するモダナイゼーションなどを目的とした上流工程から、プログラミングやクラウドインフラ構築などの開発工程も行う内製主体のデータエンジニアリング業務を行います。

ビジネスサイドへのデータの活用・分析環境の提供

• サービスサイトのデータやERPなどの社内基幹システムのデータを掛け合わせ、BIツールやダッシュボードなどをビジネスサイドへ提供します。
• そのためにビジネスサイドとの要求分析・要件定義から始まり、データ連携の設計、データ加工パイプラインの設計、開発、テスト、運用などデータライフサイクル全体に直接かかわる業務を担当頂きます。

業務詳細

• 現在、マイナビ社内にはいくつかのデータ基盤が存在しており、それぞれが個々に運用されている状態です。このような状態のため、横断的なデータ活用への障壁になっている状態です。
• これらを1カ所のデータ基盤に統合することで、データガバナンスの向上やデータマネジメントの効率化を行っていきたいと考えています。
• まずは、いくつかあるデータ基盤のうち、オンプレミスで稼働中のデータ基盤を対象に、Snowflakeとdbtを使ったクラウドデータウェアハウスに作り替えることを内製で構築検証をしています。このようなSnowflakeとdbtを用いたデータ基盤へ作り替える開発業務に携わっていただきます。
• また、今後は以下のようなことも構想しています。
• 他のデータ基盤とのデータ統合を進める
• 現状のデータ基盤に関する定常作業を削減・低減できるような方法に刷新し、運用負荷を減らす(自動化やCI/CD/IaC化など)
• dbtやOpenMetadataなどを用いたデータカタログの充実化
• Python等を用いてデータ基盤のデータを観察・分析することで、システム部門発信でのデータ利活用やデータシステムを当社のビジネスサイドへ提案・提供する
• その他、データ利活用が促進できるような様々な施策
• 上記のように新しく拡大していくような業務もありますが、それ以外にデータ基盤の定常運用作業もあります。このような定常運用業務をいかに自動化などの工夫をしながら効率化し、クリエイティブな仕事の比率を上げていけるかという点にも重点を置いています。

プログラミング言語・開発環境

• Python
• SQL(dbt & Snowflake)
• Git/Github
• Terraform
• Docker
• AWS (今後の状況により、EC2/S3/MWAA/Fargate/Batch/App Runner/ECSなどを利用する可能性が高いです)

マイナビのビッグデータが扱える

• マイナビの人材系・メディア系などの各種サービスデータを扱うことができます。
• 大規模なデータであるため、データ活用に関する様々なスキルが身に着きます。

扱っているデータ

• マイナビの各種サービスサイトデータ(サイト掲載情報・反応データ・サイト利用者データなど)
• ERPシステム(商品データ・売上データなど)
• SFA(クライアント情報・営業行動データなど)

事業会社の立ち位置でデータに関する業務ができる

• データに関する仕事は特に対象ドメインのビジネス背景の理解が重要です。
• 事業会社の立ち位置でデータを扱ったシステム開発を行うことで、同じ社員から得られるドメイン知識を前提としたデータ処理・データ分析技術のスキルの獲得が可能です。
• また、システムは作って終わりではなく、開発完了以降の運用フェーズに携わることではじめて具体的な恩恵が得られる状態になります。運用フェーズの工夫や改善により得られる恩恵を最大化したり長期化することで、サービスのグロースへと繋げていくことができます。

業務を通じて身に付くスキル

• SQL/Snowflake/dbt/Pythonなどのデータ加工処理に関する知識・経験
• AWS等のクラウドインフラに関する知識・経験
• コミュニケーション能力・ドキュメンテーション能力・問題分析力・課題解決力などソフトスキル全般
• 統計、数理最適化、機械学習などの数学を利用したシステム開発力

チームのミッション

• テクノロジーを駆使して効率的かつビジネス的価値の高いデータ基盤を構築し、?データの利活用を促進する。

目指している方向性

• テクノロジーを駆使して手間を少なくかつ価値の高いデータ基盤やその周辺のデータ利活用環境の整備を行っていきます。
• 既存の開発業務は外注比率が高いですが、当チームの立ち上げに伴い、今後は内製によるシステム開発比率を上げていき、開発や意思決定の高速化へと繋げていきます。また、技術や業務知識などの知見・ノウハウを社内に溜める効果にも期待しています。