仕事内容
ストックマーク株式会社は、最先端の生成AI LLM技術を活用し、企業の変革を支援しています。本ポジションでは、全プロダクト共通の基盤となるWebクローラーおよび文書配信パイプラインの設計・開発・運用を担っていただきます。数億件規模の文書データを対象とした大規模分散処理やWebクローラーの開発を通じて、プロダクト価値の根幹を支えるデータ基盤の構築に貢献します。エンジニアとして開発を進めながら、データプラットフォームチームをリードし生産性の最大化を行うことも期待されています。
業務内容
- 企業活動に関わる膨大な公開情報を収集・構造化し、生成AI技術を活用して企業の意思決定や事業変革を支援するプロダクトを提供
- 全プロダクト共通の基盤となるWebクローラーおよび文書配信パイプラインの設計・開発・運用を担う
- プロダクト価値の根幹を支えるデータ基盤として、安定性・スケーラビリティ・拡張性を意識した開発が求められる
- エンジニアとして課題解決のための開発を進めながら、データプラットフォームチームをリードし生産性の最大化を行う
- TypeScript/Pythonを用いたWebニュース・特許・論文などを配信するデータプラットフォームの開発と運用
- サーバーレス環境による分散処理のスケーラビリティ向上と監視設計
チーム体制
- 事業責任者（CEO）1名、開発責任者1名
- プロダクトエンジニア7名、AI Agentエンジニア6名、構造化エンジニア3名、データエンジニア3名
- プロダクトマネージャー1名、リサーチャー1名、CS2名、Biz8名
開発環境
- データパイプラインはPython、WebクローラーはTypeScript(Node.js)を使用
- コンテナ技術としてDocker、IaCにTerraform、クラウドはAWSを利用
- ライブラリはPyspark, Puppeteer、AIツールはCursor, CodeRabbit, Devinを使用
ポジションの魅力
- 数億件規模の文書データを対象とした、サーバーレス環境における大規模分散処理の設計・開発・運用経験を積める
- 数万サイトを対象としたWebクローラー開発を通じて、Webフロントエンド・バックエンド双方の知見を活かした監視・運用設計ノウハウを習得
- PdMやCustomer Successチームと連携し、プロダクト要件や顧客課題を踏まえた新規開発・改善提案を主体的に行うことで、技術視点から事業にコミットする経験
We are looking for
- コンピュータサイエンス、分散処理が好きであること
- 最新の理論や事例をフォロー、検証するのが好きであること
- 与えられた課題だけでなく、自ら問いを立て、そのために必要な解決策を生み出せること
- ビジネスサイドとコミュニケーションしながら、いかにプロダクトに貢献できるかを考えられること
- 前向きなチャレンジ精神があること
求めるスキル・経験
必須
エンジニア歴3年以上
Python を用いたアプリケーション開発経験 Python
要件定義から設計〜実装〜運用に至るまで一気通貫での経験
以下のいずれかを満たすこと
サーバーレスを用いたフルスタックな開発/運用及びそのリード経験（Lambda, ECS, Fargate, Step Functions など）
または
データパイプライン・ETLの構築やワークフローエンジン、分散処理フレームワークを用いた開発/運用経験（Sparkなど）
歓迎
コンピュータサイエンスに関連する技術分野の修士号または博士号
チーム開発をリードした経験 アジャイル開発
顧客向け自社開発サービスの開発、運用経験
文書検索や文書推薦を行うサービスの開発、運用経験
サーバーレスに対する幅広い知見と業務経験 サーバーレスアーキテクチャ
Terraformを用いた開発/運用経験 Terraform
募集要項
- 職種
- データエンジニア
- 雇用形態
- 正社員
- 想定年収
- 750万〜1200万円
- 勤務地
- 東京都 港区
- 出社・リモート
- フルリモート
- 必要経験
- 3年以上
- レベル
- メンバー
- 勤務時間
- フレックスタイム制 / コアタイム 10:00〜14:00 / 実働8時間
- 休日休暇
- 年間休日123日 / 完全週休2日制 / 祝日休み
- 給与の詳細
- 昇給 年2回 / みなし残業 月45時間
- 試用期間
- 3ヶ月