AIバリューエンジニア（生成AI・AIエージェントの品質・評価）

必須

• ＜経験＞

  • Pythonを用いたAI/機械学習プロダクト、データ分析、またはモデル評価の実務経験（3年以上）
  • 関係者と品質目標や改善の優先順位を合意し、施策の実行を推進した経験
  • 評価指標や評価データセットを設計し、複数のモデル・アルゴリズム・施策を比較して改善した経験
  • A/Bテスト、ユーザー調査、利用ログ分析のいずれかを用いて、顧客の行動・タスク完遂・事業成果を改善した経験

歓迎

• ＜経験＞

  • LLM・生成AIプロダクトの評価基盤、品質監視、またはLLMOpsの構築・運用経験
  • SLM・ローカルLLMの開発・評価、事後学習（SFT／DPO）、蒸留のいずれかの経験
  • マルチモーダルAI、OCR、図面・CAD理解、意図分類・ルーティング、検索拡張生成のいずれかの開発・評価経験
  • 検索、推薦、広告配信、需要予測など、データを用いたプロダクトの評価・改善経験
  • 定性評価を定量指標へ落とし込み、開発チームや事業部と品質目標を合意した経験

• ＜知識、スキル＞

  • MLOps／LLMOps（実験管理・評価・モデルデプロイ・監視）に関する知識
  • 統計的な実験設計、データ分析、可視化に関する知識
  • 英語力（論文・技術ドキュメント読解レベル）

求める人物像

• AIの「精度が高い」を鵜呑みにせず、オフライン評価が良くても顧客が目的を達成できなければ改善対象と捉えられる方
• モデル、データ、プロダクト、事業指標を横断して原因を考え、関係者と改善の優先順位を合意できる方
• 不確実な新規領域で、実利用の観察から課題を見つけ、検証と実装を自ら前に進められる方

応募について

• 特になし

使用ツール

②チームミッション

• 内製のベクトル検索は16カ国、11リージョン、12言語への展開を計画し、日本・韓国・台湾から欧州へ展開を進めています。検索開発ではPoC開始から4カ月で100を超えるNLPモデルを開発し、約20回のA/Bテストを重ねてきました。この検索資産と各ものづくりサービスを接続し、設計から購買までを支援するAIプロダクトを開発します。AIの回答・提案が実際の顧客価値につながっているかを継続的に測定・改善し、大規模な実サービスへ届けます。

③自組織の強み・事業責任者からのコメント等

• AIアーキテクトが統合基盤の設計・構築と非機能品質を担うのに対し、本ポジションはAIが顧客へ返す回答・提案の品質と、その改善サイクルに最終責任を持ちます。
• モデルの机上評価だけで成功とせず、顧客が設計・選定・見積もり・購買を実際に前進できたかを最終基準とします。正確さ、根拠の明確さ、タスク完遂率、応答速度、利用コストに加え、実利用ログ、顧客行動、A/Bテストを通じて価値を測定・改善します。モデル、プロンプト、検索、ルーティング、体験設計のどこを変えるべきかを見極め、事業KPIに接続した品質判断を主導します。
• 新規プロダクトのため、品質の「正解」そのものをチームや事業部と作る必要があります。自分が設計した評価と改善が顧客体験と事業成果に直結する点が、この仕事の醍醐味です。

募集背景

• 新プロダクト開発における増員です。
• AIを使って世の中にまだ見ぬサービスを作り、事業貢献を体感したい方を募集します。

組織情報

• ディレクター1名、リーダー3名、メンバー10名、合計14名
• 30代前半が多い、若いチームです。

1．顧客成果に基づくAI品質設計・評価基盤の構築（50%）

• AIの回答・提案によって顧客の作業が前進したかを定義・検証し、リリース可否を判断できる評価の仕組みを作ります。
• テキスト、商品画像、図面、CAD画面を扱うAIについて、正確さ、根拠の明確さ、タスク完遂率、安全性に加え、選定・見積もり・購買などの顧客成果を測る評価指標と評価データセットを設計 モデル、プロンプト、検索、ルーティングを対象にした自動テスト・人手評価・回帰テストの評価パイプラインを開発
• 実利用ログ、ユーザーフィードバック、A/Bテストを分析し、顧客成果を阻害する要因の特定と優先順位付けを実施
• 精度、顧客成果、応答速度、推論コストのトレードオフを可視化し、リリース基準と改善目標を事業・開発チームと合意

2．AIプロダクトの価値検証・継続改善（30%）

• AIが顧客の設計・選定・見積もり・購買をどこまで前進させたかを測定し、改善を主導します。
• ECサイトおよびものづくり支援サービスで、ユースケース別の顧客成果指標、検証計画、実験設計を作成
• AIアーキテクト、プロダクトマネージャー、ドメイン専門家と連携し、品質課題をモデル・データ・検索・体験設計の改善施策へ変換
• PoCから本番運用まで、品質モニタリング、異常検知、顧客成果と事業KPIへの改善効果の測定を推進

3. モデル・評価手法の研究開発と標準化（20%）

• LLM、SLM、マルチモーダルAIの評価・最適化手法を調査・検証し、製造業のユースケースへ適用
• 評価結果、既知の制約、利用条件を文書化し、チームの品質基準・レビュー手法として定着
• 論文読解、社内勉強会、技術発信を通じたチームのAI品質向上

②仕事のやりがい（面白さ）

• AIの回答品質を測る物差しから作り、改善の優先順位とリリース可否を自ら判断できます。
• あなたが設計した評価ループが、日本・韓国・台湾から欧州までの顧客の部品選定体験と事業KPIを直接変えます。

③3～5年後の想定されるキャリアパス

• AI品質・評価組織を率いる「AIバリューエンジニアリングマネージャー」
• AIプロダクトの品質戦略を担う「AIプロダクトマネージャー」
• モデル・データ・評価の専門性を深める「プリンシパルAIエンジニア」

④業務上の課題

• 正解が一つではないAIの回答・提案に対し、顧客価値と事業KPIから評価基準を定義する必要がある
• モデルの精度だけでなく、根拠の信頼性、応答速度、利用コストを踏まえてリリース可否を判断する必要がある
• 実利用で生じる新しい失敗パターンを継続的に収集し、データ・モデル・体験設計へ素早く反映する必要がある

⑤使用ツール

• 使用アプリケーション： MS Teams, GitHub Projects, GitHub Issues
• 開発環境： Python, SQL／GCP (Vertex AI, Cloud Run, GKE), AWS／Elasticsearch, Vertex AI Search／Terraform, GitHub Actions／VS Code, Cursor, GitHub Copilot, ClaudeCode, GeminiCli（利用自由）
• その他： AI/ML: PyTorch 等の深層学習フレームワーク, Hugging Face, Vertex AI (Pipelines, Feature Store, Model Registry)／事後学習・軽量化: QLoRA 等／生成AI: GPT, Claude, Google Gemini, Amazon Bedrock, Azure OpenAI Service