QAエンジニア条件を変える閉じる
AI Agent Evaluation Lead
給与
記載なし※ 募集要項に金額の記載がありません
- 勤務地
- 東京都中央区
- 雇用形態
- 正社員
- 働き方
- ハイブリッド勤務
- 年間休日
- 記載なし
在宅勤務あり
完全週休2日
要約求人票をもとにAIがまとめたものです
プロダクト横断で、全社のAI精度評価の基準・プロセスを整備するポジションです。全社共通の評価フレームワークやAI品質保証の仕組み・ロードマップを策定し、各プロダクトチームへ展開します。評価基準やガイドラインの策定、評価データセット・評価基盤の構築、ナレッジ共有などを担当します。
応募資格
必須
LLM/RAGの技術的特性への深い理解と実践経験
- ChatGPT、Claude等のLLMを業務で活用した経験
- RAG（Retrieval-Augmented Generation）の仕組みの理解
- 評価フレームワークの使用経験
- Langfuse、Weights & Biases、MLflow等のツールを用いたAI/LLMの評価・モニタリング経験
データドリブンな改善スキル
- データに基づいて課題を特定し、改善提案ができる
- 定量的な評価指標の設計・運用経験
スタートアップでの0→1フェーズへの意欲
- 未整備な環境でプロセスを構築することへの前向きな姿勢
- 変化を楽しみながら柔軟に対応できるマインド
歓迎
LLM/AI関連
- LangChain、Dify、Flowise等のLLMフレームワーク使用経験
- プロンプトエンジニアリングの知識・実践経験
開発・分析関連
- Python / TypeScript等を用いた簡単なスクリプト作成による業務効率化経験
- SQLでのデータ抽出・分析経験
- モニタリングツール/可観測性（Observability）ツールの導入経験
ドメイン知識
- 経費精算、ワークフロー系システムの知見
- BtoB SaaSプロダクトの知見
求める人物像
- AIの「正解がない」評価に対して、粘り強く取り組める方
- 新しい技術・手法に対する好奇心と学習意欲がある方
- PdM/SEなど他職種と積極的に連携し、プロダクト品質向上に取り組める方
- ドキュメント作成・ナレッジ共有を大切にできる方
- 不確実性が高い環境を楽しめる方
募集要項最終確認 10/2
- 職種
- QAエンジニア
- 雇用形態
- 正社員（期間の定めなし）あり（3ヶ月）
- 給与
- 記載なし
- 給与の詳細
- ・固定残業時間は45時間／月、超過分については別途支給
- 手当
- 通勤交通費リモートワーク手当5,000円/月
- 勤務地
- 〒104-0061 東京都 中央区 銀座 8-17-1 PMO銀座II 5F・8F（総合受付 5F）
- 転勤
- 会社の事業状況やオフィスの移転等により勤務場所が変更となる可能性があります
- 働き方
- リモートワーク可
- 勤務時間
- 10:00～19:00・フレックスタイム制、コアタイム 10:00〜17:00・固定残業時間は45時間／月、超過分については別途支給
- 休日・休暇
- ・完全週休二日制(土・日)、祝日、年末年始・入社日に有給休暇付与（初年度10日）・慶弔休暇・産育休、介護休暇制度完備（男性育休取得実績あり）
- 福利厚生
- ■業務PCや周辺機器を自身で選択可能（上限額あり）■モニター購入支援（上限額あり）■書籍購入制度（上限額なし）■備品購入制度■SaaS系ツールの積極的な利用■セミナー/勉強会の参加費負担（国内セミナー全額負担、国外セミナーは全社プレゼンのうえ全額負担）■年一回健康診断（3万円（税込）までオプション追加可能）■予防接種費用負担（インフルエンザ等）■ワクチン接種後特別休暇■週1回のフリーランチ（上限額あり）・ワイドモニター設置・オフィス利用を前提としたヘッドセット支給・水（ウォーターサーバー）／コーヒー等のドリンク（ホット/アイス）飲み放題
- 受動喫煙対策
- ・喫煙所あり（屋外/電子タバコのみ）
- 業務の変更の範囲
- 会社の事業状況やご本人の適性に応じて担当する業務内容が変更となる場合があります
- 就業場所の変更の範囲
- 会社の事業状況やオフィスの移転等により勤務場所が変更となる可能性があります
- 掲載日
- 2026/07/03 21:35（91日前）
- 最終確認
- 2026/10/02 17:49（今日）
仕事内容
プロダクト
- すでに多くの企業で利用されている本プロダクトに、生成AI機能を組み込む開発が進行中です。
- 既存プロダクトへのAI組み込みには、新規開発とは異なる難しさがあります
- 既存ユーザーの業務に影響を与えないよう、AIの出力品質を担保する必要がある
- 確立された品質基準に、AI特有の「確率的・非決定論的な振る舞い」の評価観点を追加していく
- 予測困難なAIの出力が、既存機能やユーザー体験と整合するかを検証する
- こうした課題に対応するため、AI精度評価の仕組みを構築していくフェーズにあります。
新規プロダクト・その他
- 上記以外にも、立ち上げ初期の新規プロダクトや、AI/生成AIを活用した機能開発が複数進行中です。詳細は選考時にお伝えします。
主な業務内容
- プロダクト横断で、全社のAI精度評価の基準・プロセスを整備していきます。
1. プロンプト・設定の最適化（AI Accuracy）
- 「AIが賢く、期待通りの回答をすること」を追求します。全社共通の評価フレームワークを構築し、各プロダクトに適用します。
- 評価基準の策定
- プロンプトエンジニアリング
- 評価データセットの構築
2. 品質保証プロセスの構築（Process & Strategy）
- 開発ライフサイクル全体におけるAI品質保証の「仕組み」と「ロードマップ」を策定し、各プロダクトチームへ展開します。
- シフトレフト/シフトライトの実践
- フィードバックループの構築
- ロードマップ策定
3. 全社横断での標準化推進
- 評価ガイドラインの策定
- ナレッジ共有
- 評価基盤の整備
ポジションの魅力
- AIエージェント時代に不可欠な、より高度なAI品質評価スキルを実務で身につけられる
- 特定プロダクトに閉じず、全社横断でAI品質評価の標準化・仕組み化を推進できる
- 既存の安定稼働プロダクト〜新規プロダクトまで幅広く関わり、品質保証の経験領域を広げられる
- 大きな裁量を持って、評価基準・プロセス設計から運用定着までをリードできる
- 0→1で仕組みを作り、成果を残すことができる
この求人はテックタッチ株式会社の採用ページの掲載内容をもとに構成しています。応募条件の最新情報は募集元をご確認ください。
東京都のQAエンジニアの求人259件
- QAエンジニア｜AI駆動開発のテスト設計・QA基盤づくり
- AIサービスサポート＆QAエンジニア
- QAエキスパート（AIネイティブ）
- システム品質管理・障害管理担当
- QAリード R&D本部
- QAエンジニア（メンバークラス）
募集元の採用ページから応募できます
応募はテックタッチ株式会社の採用ページで受け付けています。このページは採用ページの掲載内容をもとに構成しているため、最新の応募条件は募集元でご確認ください。
この求人と近い条件で探す数字はリンク先ページの掲載件数
この職種で探す
- QAエンジニア383
- 東京都のQAエンジニア259
- テック12,777
- SDET32
この勤務地で探す
働き方・年収で探す
この職種を募集する企業
- テックタッチ株式会社56
- 株式会社アインホールディングス945
- 株式会社日立製作所743
- 楽天グループ株式会社703
- 渡辺パイプ株式会社619