戦略的データ基盤エンジニア

必須

• Pythonを用いた開発実務経験（3年以上目安）。
• 大規模なデータ（GB/TB級）を扱ったデータパイプライン（ETL/ELT）の構築・運用経験。
• BigQuery、PostgreSQLなどのDWH/RDBの設計・運用経験。
• クラウド環境（GCP、またはAWS/Azure）でのインフラ構築・運用経験。
• 技術的な課題（処理速度、安定性、技術的負債）を特定し、その解決に向けたモダン化・再構築を主体的に推進した経験。

歓迎

• Apache Airflow/Composer、Dataflow、Sparkなどの分散処理・ワークフロー管理ツールの実務経験。
• データガバナンス、セキュリティ、またはコスト管理に関するプロジェクトへの参画経験。
• チームの技術的負債解消や、開発プロセスの改善をリードした経験。
• 非構造化データ（テキスト、画像など）の処理パイプライン設計経験。

求める人物像

• 変革への意欲： 現状の課題を単なる運用保守と捉えず、経営戦略上の重要ミッションとして捉え、積極的に技術的な挑戦を行える方。
• オーナーシップ： 技術的な負債解消やコスト最適化といった組織横断的な課題に自らオーナーシップを持ち、推進できる方。
• 学習意欲： AI/LLMといった新しい技術領域に関心を払い、データエンジニアリングの観点からロードマップに貢献する意欲のある方。

使用ツール

ポジションの魅力：世界最大級のデータ資産を未来へ導く「変革のリーダー」

• アスタミューゼは、世界193カ国、約8億件に及ぶ「イノベーションデータ（特許、論文、研究投資、VC/M&Aデータなど）」を保有し、大手企業や官公庁やに対する戦略支援を通じて、未来の社会像を描いています。
• 本ポジションは、この 世界最大のイノベーションデータ資産の成長を支え、次世代基盤へと進化 させるための重要なミッションを担います。
• 単なる運用保守に留まらず、 過去の技術的負債の解消、部門間のデータガバナンス確立、コスト最適化、そして将来的なリアルタイム解析基盤への布石 を打つ、データエンジニアリング業務となっております。
• 戦略的な再構築ミッション： 現状の課題解決に加え、未来のAI/LLMプロダクトが要求するスピードと品質に応えるため、データ基盤全体のモダン化・再構築を主導するリーダーシップが求められます。
• 経営課題へのオーナーシップ ： データガバナンスやインフラコスト最適化といった、より経営層に近い戦略的な課題にオーナーシップを持って関わり、事業成長に直結する成果を生み出します。
• 未来への進化を担う ： 自身の専門性（データ基盤）を活かしながら、AI技術の知見を深め、全社の基盤ロードマップにおいてデータエンジニアとして進化を支えることができます。

業務内容：8億件のデータを活用可能な「未来の資産」に変える

• アスタミューゼの事業の核であるデータベースを、コンサルティングやAIエージェントなどの各サービスに最大限に活用できるように、基盤の設計・構築・運用を行います。データの収集・統合・高速化・自動化を通じて、機械学習エンジニアやアナリストが迅速かつ安全にデータを利用できる環境を整備します。

具体的な業務内容

• 1. 次世代データパイプラインの設計・構築・モダン化
• 1. 科研費や特許などのオープンデータのETL/ELTパイプラインの開発・運用、および将来のリアルタイム解析を見据えたアーキテクチャへの移行検討。
• 2. 旧データ基盤の技術的負債を解消するためのアーキテクチャ見直しと、最新のGCPマネージドサービスを活用したリファクタリングの推進。
• 3. データの取得、分析、翻訳、名寄せ、統合処理の自動化・高速化機能開発。
• 2. ガバナンスと最適化
• 1. BigQuery環境を含むデータ基盤全体のコスト最適化と、部門間のデータガバナンス確立に向けた仕組みの設計・導入。
• 2. Prometheus, Zabbixなどを利用した運用課題の可視化・監視体制の構築。
• 3. データアクセスの整備と技術支援
• 1. 社内メンバー（非エンジニア含む）へのデータアクセス環境の提供と、効率的なアクセス手法のレクチャー。
• 2. AI/LLM関連技術を学習し、今後の基盤ロードマップにデータエンジニアの視点を組み込むこと。

開発環境・技術スタック

• 言語： Python,SQL
• インフラ： Google Cloud Platform （GCP）
• DWH/DB： BigQuery,PostgreSQL
• ワークフロー：Databricks、
• ミドルウェア： Databricks、Cloud Run
• 監視/可視化：Metabase
• 開発環境：GitLab, Slack, Growi, Docker
• 個人環境：Mac/Windows/Linux（選択可）
• 開発手法：プロジェクトごとに選択、スクラム、チケット駆動開発