AIデータ品質管理リード｜教師データ設計・品質保証・運用標準化

必須

• 教師データ・評価データ、マスターデータ、審査データ等における品質管理・品質改善の実務経験
• 曖昧な判断や例外ケースを整理し、分類ルール・判定基準・ガイドラインとして言語化した経験
• Excel／SQL等を用いて、誤分類・不整合・品質低下の傾向を分析し、原因特定から改善まで行った経験
• 複数の作業者や外部パートナーに対し、レビュー・フィードバックを行い、品質を安定させた経験
• エンジニア・業務担当者など複数の関係者と、正解基準や品質水準について合意形成した経験

歓迎

• 機械学習における教師データ・評価データの設計、アノテーションルール策定経験
• LLM／生成AIの評価設計、人手評価、Human-in-the-loopの運用経験
• BPO・アノテーションベンダー等を活用した大規模なデータ品質管理経験
• マスターデータ管理、データガバナンス、データ品質基準の設計経験
• 建設・建築・積算・見積データを扱った経験

求める人物像

• 曖昧な事例を放置せず、判断基準として言語化できる方
• 感覚ではなく、データやエラー傾向から品質課題を特定できる方
• 作業者が同じ基準で判断できる運用・レビュー方法を設計できる方
• MLエンジニアや業務担当者と、正解・品質水準を建設的に議論できる方
• 個別の例外対応を、次回以降に再利用できるルールへ変えられる方

使用ツール

ポジションのミッション（募集背景）

• 建設データには企業・案件ごとの表記差、専門判断、曖昧な例外が多く、モデル改善だけでは品質を安定させられません。何を正解とするか、誰がどう検証するかを標準化し、教師・評価データの再現性を高める必要があります。
• 今回募集するのは、機械学習・生成AIに利用する建設データの正解を定義し、アノテーション基準、レビュー、エラー分析、改善サイクルを設計するポジションです。具体的には、ラベル定義・正解基準・曖昧ケースの判断ルール策定、アノテーションガイドラインとFAQ整備、サンプリング・ダブルチェック・合意率等の品質設計、誤分類・不一致・偏りの分析などを通じて、担当領域を前に進めます。

正解・品質基準の設計

• 教師データ・評価データのラベル定義、正解基準、許容誤差、例外ルールを設計
• 判断が分かれやすいケースを収集し、ガイドライン・FAQ・判定例として言語化
• モデル評価で確認すべき品質指標と、業務上許容できる品質水準をMLチームと整理
• データセットやルール変更時の版管理・変更履歴・影響範囲を管理

品質検証・エラー分析

• サンプリング、ダブルチェック、合意率等を用いたレビュー方法を設計
• 誤分類、不一致、欠損、偏り等を集計し、エラータイプ別に原因を分析
• 作業者起因・ルール起因・データ起因・モデル起因を切り分け、改善優先順位を整理
• 改善前後の品質を定量評価し、基準や運用の変更効果を確認

作業者・外部パートナーの品質管理

• アノテーション／データ作業者向けのオンボーディングと判断基準の説明
• レビュー結果に基づく個別フィードバックと、共通ミスへの一斉改善
• 作業者・ベンダー別の品質傾向を可視化し、再教育・チェック強化を実施
• エスカレーションすべきケースと現場判断で処理できるケースを整理

ML・プロダクトとの改善サイクル

• MLエンジニアとエラー分類・評価データ・再学習対象をすり合わせ
• PdM・業務担当者と、モデル精度と実務上の正しさの差分を整理
• 品質課題をデータ作成・モデル・UI／運用のどこで解くか判断材料を整理
• 継続的に品質を確認できるレポート・レビュー運用を整備

やりがい・魅力など

• AIの精度を左右する「何を正解とするか」を、データ・業務の両面から設計できる
• アノテーション作業ではなく、品質基準・レビュー・エラー分析・改善サイクルまで設計できる
• MLエンジニアや業務担当者と連携し、データ品質をモデル改善へ直接つなげられる

組織名／体制

• AIデータ品質管理チーム。CS、BPO、ML、プロダクトチームと連携。

開発体制

• 教師・評価データの改善結果をMLチームの学習・評価へ接続。

技術スタック

• Excel／Google Sheets。歓迎：SQL、Python、正規表現、BIツール。