生成AIプロダクト QAリード

ミッション

1. 1生成AIを活用した顧客向けプロダクト・システムにおいて、品質基準やテスト戦略、リリース判定の仕組みを設計し、開発チームや外部パートナーと連携しながら、安心して継続利用できる品質を実現することがミッションです。
2. 2生成AI特有の非決定性や誤情報、情報漏えいなどのリスクを検証可能な形に落とし込み、品質を客観的に評価・判断できる仕組みを構築します。
3. 3単にテストの実行を管理するのではなく、「何をもって品質とするか」を定義し、企画・開発からリリース後まで一貫して品質保証をリードする役割を担います。

主な業務

1. 1Crystal Intelligenceを含む生成AIプロダクト、および顧客向けシステムのQA戦略・品質基準・テスト方針・リリース判定基準の策定
2. 2案件ごとのリスクを踏まえたテスト計画・テスト設計のレビュー、品質状況の可視化およびリリース可否の判断
3. 3生成AIの出力品質を含む、機能・性能・セキュリティなどを横断した品質評価・検証方針の設計
4. 4開発部門、プロダクト部門、ビジネス部門と連携した、企画・要件定義段階からの品質要件・受入基準の明確化
5. 5外部のテスト／QAパートナーの選定、役割設計、成果物レビューおよび品質管理
6. 6テスト自動化や品質評価の標準化を通じた、効率的かつ再現性の高い品質保証プロセスの構築・改善
7. 7不具合や品質リスクを踏まえた関係者とのリリース判断、および継続的な品質改善の推進

具体的な業務

1. 1要求仕様や顧客ユースケースを分析し、品質リスクを特定したうえで、テスト範囲、優先順位、カバレッジ、開始・終了基準などを策定する
2. 2仕様や期待値が曖昧な案件について、プロダクト・開発・ビジネス部門と調整し、検証可能な品質要件や受入基準へ落とし込む
3. 3生成AIの回答について、正確性、事実性、安全性、一貫性などを評価するための評価データセット、QAセット、評価基準を設計する
4. 4誤情報、情報漏えい、権限制御上の問題、想定外の応答など、生成AIを活用するシステム特有の品質リスクを想定した検証方針を策定する
5. 5機能、回帰、性能、セキュリティなどの各テストについて、案件特性やリスクに応じたテスト設計を行い、外部パートナーが作成したテスト計画・テストケース・結果をレビューする
6. 6テスト自動化や品質チェックの標準化を推進し、継続的かつ再現性のある品質評価の仕組みを整備する
7. 7不具合や品質課題の重要度・優先度を整理し、開発部門と対応方針を協議するとともに、品質メトリクスや残存リスクを基にリリース可否の判断を主導する
8. 8本番環境で得られた不具合情報やユーザーフィードバックを検証項目へ反映し、継続的な品質改善サイクルを構築する

応募資格（必須）

• ソフトウエアQA／テストに関する実務経験
• QAリード、テストリード、テストマネージャーなどとして、案件の品質保証またはテスト活動を主体的に推進した経験
• 要求仕様やユーザーユースケースを基に、品質リスクを整理し、テスト戦略・テスト計画・テスト観点を設計した経験
• ウェブシステム、クラウドサービス、APIなどを対象とした、機能テスト、E2Eテスト、回帰テスト、非機能テストに関する知識・経験
• 不具合やテスト結果、品質メトリクスなどを基に品質状況を評価し、開発チームや関係者と対応方針を協議・判断した経験
• 開発部門、プロダクト部門、ビジネス部門など、複数のステークホルダーとの調整・合意形成を行った経験
• 仕様や期待値が十分に定まっていない状況から、検証可能な品質要件や受入基準を整理できる力

歓迎する経験

• 生成AI／LLM／RAG／AIエージェントを活用したプロダクト・システムのQAまたは評価経験
• 生成AIの回答品質を評価するための評価データセット、Evals、ベンチマークなどの設計・運用経験
• Python、JavaScript／TypeScriptなどを用いたAPI／UIテスト自動化の経験
• CI／CDへの自動テストや品質チェックの組み込み、品質ゲートの設計経験
• テストベンダーやQAパートナーの選定、発注、成果物レビュー、品質管理などの経験
• 性能・負荷・信頼性テスト、SRE、可観測性などに関する知識・経験
• AIセキュリティ、プロンプトインジェクション対策、レッドチーミング、プライバシー、データガバナンスなどに関する知識
• JSTQB Advanced Levelなどの資格、またはソフトウエアテスト・品質保証に関する体系的な知識
• 海外の技術チームやパートナーとの協働に必要な英語力

求めるスキル・経験