シニアデータエンジニア

必須

• データエンジニアリングの実務経験5年以上
• 大規模データ処理基盤の設計・運用経験
• Python / SQLを用いたデータ処理の実務経験3年以上、およびデータパイプラインの構築・運用経験
• データ基盤のアーキテクチャ設計や技術選定を主導した経験
• パブリッククラウドの利用経験3年以上
• RDB（PostgreSQL / MySQL等）の設計・操作経験

歓迎

• Databricks / AWS Analytics系サービスの設計・運用経験
• Elasticsearch / OpenSearchの設計・チューニング経験
• LLMを活用したデータ品質管理・データクレンジングの経験
• Apache Spark（PySpark含む）を用いた大規模データ処理の設計経験
• データマネジメント・データガバナンスの仕組みを設計した経験
• Git / GitHubを用いたチーム開発の経験
• DataOpsの考え方への共感
• テックリードとして、メンバーの設計レビューや育成を担った経験

求める人物像

• ミッション・バリュー（AIネイティブ・コト志向・最高品質）に共感し、AIを使いこなす意志がある方
• シリーズB目前のスタートアップならではのスピード感を楽しみ、変化の中でも目的から考えて課題を発見し、解決に導ける方
• 誠実さとオーナーシップを持って、チームや顧客に向き合える方
• 新しい技術を自ら試し、前提を疑い、アーキテクチャの本質的な設計判断ができる方
• データの品質に対して妥協せず、品質を担保する仕組みをチームに定着させられる方
• 顧客やビジネス職の要求を技術の優先順位に落とし、チームの技術的な方向を示せる方

使用ツール

募集背景

• 人を増やした分だけ売上が伸びる時代は、終わりました。** SalesNowはバリューの1つに「AIネイティブ」を掲げ、2025年11月を起点に、社員1人あたりARRを3年で10倍にする目標を置いています。データ基盤の設計は、その目標の前提です。あなたが担うのは、80億レコードの収集・名寄せ・品質検証の進め方を設計し、チームの1人ひとりが扱える仕事の範囲を広げることです。
• 企業データの提供は、『SalesNow』の画面に加えてData APIとSalesNow MCPへ広がっています。そのなかで、バッチ処理の安定化、APIのスケール対応、コストを意識した性能最適化を、個別の改善ではなく基盤全体の設計として解く段階に来ています。このデータ基盤のアーキテクチャ設計と運用をリードし、データチームの技術的な方向を決めるシニアデータエンジニアを募集します。構築・改善を担うメンバー層も採用しており、これまでの技術リード経験を、80億レコードの基盤全体とチームの開発方針を決める役割へ広げられます。設計レビューとメンタリングを通じて、自分の設計判断をチーム共通の品質基準に落とし込めます。

ミッション

• デジタル・アナログな収集・ユーザー投稿という性質の違う3つのルートから届く情報を、根拠のある1つの企業像として束ね続けることです。何を集め、どの条件なら使えるデータとみなすか。その基準を決め、チームの誰が開発しても同じ品質で動く仕組みにします。基準が決まるほど、80億レコードは人の目視ではなく設計で守れるようになり、メンバーは新しい収集ルートの設計に時間を使うことも可能です。

お任せしたい業務内容

• 数十TB・80億レコード規模の企業データ基盤のアーキテクチャ設計・最適化
• 日次で更新するデータ収集パイプライン（Webクローリングを含む）の設計・運用・改善
• Spark on Databricksを活用した大規模データ処理・変換の設計
• データ品質管理基盤の設計・構築（クレンジング・エンリッチメント・名寄せの設計方針を含む）、品質モニタリング環境の構築・改善
• Elasticsearch / OpenSearchの検索インデックス設計・チューニング
• インフラ・ガバナンス・コスト最適化の方針決定
• 将来のデータサイエンス活用に向け、データ基盤に必要な構成と品質基準を決める
• データチームのテクニカルリード、メンバーの設計レビューと技術的メンタリング
• 上記すべてについて、技術選定と運用の方針を決める

入社後に取り組む課題の例

• Databricks＋Delta Lakeで生データ→クレンジング→提供用の3層を運用し、提供用のデータをPostgreSQLへUpsertしています。ジョブ定義はModel Servingのエンドポイントまで含めてTerraformで管理しています。この構成を、データ量と用途（画面・Data API・SalesNow MCP）の広がりに合わせてどう進化させるか。層の切り方からジョブ管理の方式まで、技術選定を自分の判断で決められます。
• 根拠の足りない企業特定を、仕組みで止める。フリーランス求人から常駐先の企業を推定するロジックを別のAIで独立に検証したところ、100件のうち根拠を確認して特定できたのは12件でした。これを受けてロジックを直し、根拠が足りない案件は「特定不可」と出すようにしています。この考え方を品質基準に反映するのが、このポジションの仕事です。
• 求人の停止は、営業が使うシグナルの1つです。その掲載終了を検知するロジックが3系統に割れ、媒体によって挙動が揃っていません。個別の修正を重ねるのではなく、判定の共通設計と媒体ごとの例外の持ち方を決め、メンバーが同じ設計で実装できる状態にします。
• 会社概要やサービス情報を新しく保つため、全企業のWebサイトの情報を取得し、更新の差分を追い続ける工程を設計します。

募集内容

• ※従事すべき業務の変更の範囲：有り

利用するツール・技術

• データ収集: Python（Scrapy）、AWS Fargate for Amazon ECS、Amazon Managed Workflows for Apache Airflow
• データストア: Amazon S3、Amazon Aurora PostgreSQL
• データトランスフォーム: Apache Spark on Databricks（Delta Lake）
• 言語: Python（FastAPI）、TypeScript（Next.js）、SQL、Scala
• ミドルウェア: PostgreSQL、Elasticsearch / OpenSearch
• インフラ: AWS、GCP、Fastly、Terraform
• AI/LLM: Amazon Bedrock、Azure OpenAI、Claude、Gemini
• 開発ツール: Claude Code、Codex、Cursor、GitHub Copilot、CodeRabbit、n8n
• デザイン: Figma
• コミュニケーション: Slack、GitHub、Notion、Asana、Google Workspace

AIを前提にした働き方

• Claude・Geminiは全員が使え、Codexも併用し、用途でモデルを使い分けます。
• 成果物は複数のLLMにレビューを依頼し、採否は人が根拠を確認して決めます。LLM as a Judgeによるデータ判定も、判定の基準は人が定めます。
• 目的と予算を合意したあとは、担当者が進め方を決めます。コストが読めない処理は、小さくつくってから見積もります。
• 職種を問わず、AIで自分の仕事を組み替えることを求めています。経営陣もコードを書きます。経営陣と直接連携し、事業の要求をデータ基盤の技術選定や設計方針につなげる経験を積めます。

① 80億レコードの企業データ基盤の、アーキテクチャに責任を持つ

• 数十TB・80億レコード規模の基盤で、技術選定から運用方針までを決め、データチームの技術的な方向を示します。扱うのはWebから取れるデータだけではありません。数万人規模の調査網と社内の体制がアナログに集めた情報も、自社メディアへのユーザー投稿も統合します。出所も更新方法も異なる3つのルートの情報を、同じ企業へ正しく結び付けるアーキテクチャを、稼働中の基盤で設計し直せます。

② 自分が決めた品質基準が、人とAIが使うデータ全体に効く

• JCコードによる拠点ごとの一意なID、組織図と部署の直通番号、50項目超の付与情報について、照合の根拠と品質基準を決めます。80億レコードの基盤で定めた基準を『SalesNow』の画面・CRM連携・Data API・SalesNow MCPに共通で適用し、人とAIエージェントが同じ企業を正しく識別できる状態をつくれます。

③ LLMを本番のデータ品質管理に組み込む

• フリーランス求人から常駐先の企業を推定する処理のように、ルールでは書き切れない判定があります。合意した目的と予算のもと、LLMを使う工程を選びます。本番データで検証し、出力を採用する条件と「特定不可」とする基準を設計できます。さらに、設計レビューとメンタリングを通じて、メンバーがその基準を実装できる状態までつくれます。精度と1件あたりの処理費用の両方を本番で検証し、品質と継続運用のコストを両立させるところまでが担当範囲です。

④ AI前提で組み替えた開発組織で、データ基盤の進め方そのものを設計する

• SalesNowは2025年11月を起点に、社員1人あたりARRを3年で10倍にする目標を置いています。AIツールへの支出は1人あたり月平均10万円以上で、経営陣もコードを書きます。複数のLLMを使う設計レビューの進め方と、指摘を採用する品質基準をあなたが決めます。80億レコードの収集・名寄せ・品質検証で、どこにAIを組み込むかを自分で設計することが可能です。レビューとメンタリングを通じて、その方法と品質基準をチームに定着させ、1人が扱える仕事の範囲を広げられます。
• 数年後、AIを使えることは当たり前になります。**差がつくのは、AI前提で仕事と組織を設計し直せるかどうかです。** SalesNowでは、それを毎日の開発で実践しています。