データエンジニア

主な業務内容

1. 1データ基盤（DWHやデータレイク等）のアーキテクチャの選定、設計、構築
2. 2Web上からの継続的な不動産データ収集（クローリングやスクレイピング）、クレンジングおよび整形プログラムの実装
3. 3バッチ処理やストリーミング処理のデータパイプラインの構築と最適化
4. 4データ品質の担保、インフラ基盤やパイプラインの監視、パフォーマンスチューニング
5. 5アプリチームやデータサイエンティストとの要件定義、データスキーマのすり合わせ

開発スタイル

1. 1難易度やメンバーのスキルに応じてタスクをアサインし、メンバーが主体的に設計・開発・テストまで行ってプルリクエストまで担当
2. 2他メンバーがレビュー・動作確認を経てリリースする流れ
3. 3品質第一：リリース前に複数人でテストし、バグ発生時は全員で初動対応
4. 4高速サイクル：週2,3回アップデートをリリースできる体制を構築

開発環境

1. 1開発言語：Ruby, PHP, Python, JavaScript, Node.js, TypeScript
2. 2フレームワーク：Ruby on Rails, Django, React, Vue.js
3. 3OS：Linux、DB：MySQL8.x, BigQuery、インフラ：AWS, GCP
4. 4テスト: Autify, RSpec, Vitest、CI/CD: CircleCI、ソースコード管理：GitHub、ローカル開発環境：Docker

最近の技術的取り組み事例

1. 1Autifyを使用してテストの自動化
2. 2AWSCloudWatchを導入し、監視を強化
3. 3ElasticSearchとKibanaでのデータ分析、ログ監視
4. 4Reactを導入することで開発速度を向上
5. 5AwsAmplifyを導入することでスケーラビリティを向上

今後計画している技術的取り組み事例

1. 1現在のモノリシックアーキテクチャーからマイクロサービス化を推進
2. 2Refineを導入することで開発プロセスを改善
3. 3CI/CDパイプラインを構築して、開発とデプロイの効率を高める
4. 4TypeScriptベースのReact/Next.jsへの完全な移行

本ポジションの魅力とやりがい

1. 1勤務時間の20%を技術的負債の解消や新しい技術の導入に割く制度があり、エンジニア主導で継続的な改善に取り組める
2. 211億レコードを超える膨大な不動産データを扱うマルチDB環境や、マイクロサービス化など、スタートアップならではの技術的チャレンジにあふれている
3. 3好きなPC（Mac/Windows/Linuxやスペックも選択可）、エディタ、AIツールを柔軟に導入でき、コアタイムなしのフルフレックスで働きやすい環境
4. 4セールスやPdMとの距離が非常に近く、ユーザーからの生のフィードバックをダイレクトに受け取りながら、本当に価値のあるプロダクト開発にこだわれる
5. 5不動産という誰もが関わる巨大な基幹産業の課題をテクノロジーで解決していく、知的好奇心が尽きない面白さがある

キャリアパス例

1. 1Lead Data Engineer（リードデータエンジニア）: スケーラブルなデータパイプラインのアーキテクチャ設計から技術選定までを主導し、データエンジニアリングチームを牽引するエキスパート
2. 2Data Architect（データアーキテクト）: 組織全体のデータ戦略に基づき、11億件超のデータ基盤の統合やデータメッシュ設計、ガバナンス構築を全社横断で主導するポジション

応募資格（必須）

• Pythonを用いたデータパイプライン（ETL/ELT）またはデータ処理バッチの開発経験（3年以上）
• AWSやGCP等クラウドインフラを利用したデータ基盤（DWH、データレイク等）の構築・運用経験
• SQLを用いた複雑なデータ抽出・集計の実務経験
• RDBMSおよびNoSQLデータベースの設計・運用経験

歓迎する経験

• 大規模データ（数億〜10億レコード超）を扱う処理基盤の最適化経験
• 大規模なWebクローラー/スクレイピングシステムの構築・運用経験
• dbt/Airflow等のオーケストレーションツールを用いた開発・運用経験
• BIツール（Tableau、Metabase等）のデータマート構築・運用経験
• Elasticsearch等を用いた検索システムの構築・チューニング経験
• 生成AI×データ活用の経験（RAG/LLM連携等）
• マイクロサービス化・データメッシュ設計の経験
• データセキュリティやガバナンスに関する知見
• 不動産・金融領域のデータ業務経験

待遇・福利厚生

• 国民の祝日
• 完全週休2日制
• 年末年始休暇
• 年間休日120日以上
• 慶弔休暇
• 社会保険完備

求めるスキル・経験