AI Evaluation Scientist

Job Description

1. 1評価指標の研究開発：LLM-as-Judgeのキャリブレーション、報酬モデリング、ベンチマーク設計を実施
2. 2自動評価パイプラインの設計・構築：研究成果をCI/CDに統合し、スケーラブルな品質ゲートを提供
3. 3レッドチーミングと安全性検証：敵対的テストの自動化とポリシー準拠検証フレームワークを構築
4. 4統計的実験計画による品質改善：A/Bテストや有意性検定でプロンプト戦略やモデル変更の効果を定量検証
5. 5評価シグナルを研究開発チームにフィードバックし、モデル改善の複利ループを構築
6. 6約200社が利用する本番製品の品質を「品質の科学」アプローチで保証

Why You'll Love This Role

1. 1Apple、Anthropic、Scale AIなどが投資する「AI評価科学」を日本企業向けAIの文脈で実践
2. 2ML/DSスキルを「モデル構築」ではなく「モデル評価」に応用し、研究と実装の両方で知的挑戦
3. 3約200社が利用する本番環境で、構築する評価基盤がリリース品質の最終防衛線となる
4. 4AIエージェント評価科学という新領域をゼロから設計・構築するグリーンフィールドポジション
5. 5自動レッドチーミングや敵対的テストなどResponsible AIの最前線に関与
6. 63年で200人超・9製品に成長したスタートアップで技術的意思決定の裁量が大きい

Key Results (KR/Metrics)

1. 1評価カバレッジ率（テストケースカバレッジ）
2. 2回帰検出率（リリース前の品質劣化検出率95%以上）
3. 3評価パイプライン実行時間（CI/CD内で完了）
4. 4LLM-as-Judgeと人間評価の一致率
5. 5偽陽性/偽陰性率
6. 6リリース後の安全性インシデント率

Team Structure

1. 1開発組織は約120名
2. 2Agentic Product Engineer：エージェント機能開発
3. 3Research Engineer：研究開発・モデル改善
4. 4Agent Harness Engineer / Software Engineer (AI Platform)：AI実行基盤開発
5. 5Product Manager：プロダクト設計と品質要件定義

応募資格（必須）

• Master's degree or higher (or equivalent practical experience) in Computer Science, Machine Learning, Statistics, Mathematics, Physics, Psychometrics, or related fields
• 3+ years of practical experience as an ML Engineer, Data Scientist, Research Engineer, or in ML/AI evaluation-related roles
• Deep knowledge of LLM / generative AI evaluation methods (benchmark design, LLM-as-Judge, quantitative output quality measurement, hallucination detection, etc.)
• Practical knowledge of statistics and experimental design (hypothesis testing, A/B testing, confidence intervals, effect sizes, etc.)
• Experience building ML / evaluation pipelines in Python
• Practical experience with machine learning frameworks (PyTorch, JAX, TensorFlow, etc.)
• Experience designing and implementing evaluation metrics (task-specific metric design beyond precision/recall)
• Japanese: Fluent — able to discuss product development without friction
• English: Business level

歓迎する経験

• Publication experience at top ML/NLP conferences (NeurIPS, ICML, ICLR, ACL, EMNLP, etc.)
• Research or implementation experience with reward modeling / preference learning (RLHF, DPO, etc.)
• Experience with LLM-as-Judge calibration and rubric design
• Knowledge or experience in AI safety, Responsible AI, and red teaming
• Experience with benchmark design and validity verification (IRT, construct validity)
• Experience evaluating multi-agent workflows, tool use, and long-context scenarios
• Large-scale data processing experience (Spark / BigQuery, etc.)
• Experience integrating ML / evaluation pipelines into CI/CD
• Ability to read, comprehend, and reproduce research papers
• Technical communication ability in English

待遇・福利厚生

• Refresh Allowance
• シャッフルランチ/ディナー
• 夏季休暇
• 年末年始休暇
• 年次有給休暇
• 従業員持株会
• 慶弔休暇
• 社会保険完備
• 資格取得・英語学習支援
• 部活動手当

求めるスキル・経験