Perception Engineer（認識 / 正解データ生成）

必須

• Perception（認識）の実務経験** — カメラ / LiDAR などのセンサを用いた認識に関する実務経験（下記のいずれか）

  • 物体検出（2D / 3D）
  • セグメンテーション（セマンティック / インスタンス / 点群）
  • 地図・BEV（BEV 表現、オンライン HD Map 推定、車線・道路構造の認識）
  • 追跡（多物体トラッキング、データアソシエーション、速度・加速度の推定）
  • マルチセンサフュージョン（カメラ / LiDAR の統合、時刻・座標の整合）
• 実車データ解析の経験 — 実車・実機から取得したセンサデータ（カメラ / LiDAR / IMU / GNSS 等）を解析し、課題特定・改善につなげた経験
• 課題推進力 — 技術的な不確実性が高い課題に対して、自ら調査・仮説構築・実装・検証まで推進できる力
• 実装スキル — Python / C++ でのデータ処理・アルゴリズム実装経験
• 語学力 — 日本語でのコミュニケーション能力（JLPT N2 相当以上）

歓迎

• 自動運転車や自律移動ロボット（ドローンなど）の開発経験
• 自己位置推定・状態推定（Localization）の実装経験
• 車載組込み環境での開発経験（Linux、リアルタイム性）
• 大規模データでのモデル学習・評価の経験
• センサハードウェアの物理特性に関する知識、ケーブル配線や熱管理など実装レベルの課題への対応経験

求める人物像

• 当事者意識と実行力 — 課題や問題を指摘するだけでなく、必要であれば自ら泥臭く手を動かして改善・修正できる方
• 微細な変化への洞察力 — 単なる要素技術にとどまらず、ハードウェアの微細なノイズや環境変化に気づき、仮説検証を行える方
• コラボレーション — 未知の課題に対して、チームや別領域のエンジニアと協力しながら柔軟に解決策を探せる方

使用ツール

採用背景

• newmoでは「自動運転タクシーサービスの社会実装」に向けて、自社での自動運転ソフトウェア開発を進めています。E2Eモデルの性能は、学習に使う正解データ（Ground Truth）の質で決まります。正解データを作ることを専門チームの役割と位置づけ、チーム名も Ground Truth としています。
• 正解データを作る工程はいくつもの段階に分かれ、前の段階の誤差の影響が後ろで初めて見えることもあります。品質を上げるには領域をまたいだ連携が欠かせないため、Localization と Perception のエンジニアが同じチームに所属しています。工程全体が共通の責任で、Ground Truthを作るという一つの目標に向かって動いていただきます。
• その中で本ポジションが担うのは、収集したデータの品質確認から、認識モデルによるラベル付けまでです。ここに3つの条件が同時にかかります。

3つの条件

• 入力の品質　品質の悪いデータが混ざったままだと、そこから作る正解データも信用できません。
• 正解データの精度　入力の品質を上げきっても認識の精度は100%にならず、誤検出と見逃しのトレードオフを取りながら精度を上げていくことになります。
• データ量　人手のアノテーションを増やし続けるやり方では、毎日溜まるデータの量に追いつきません。
• この3つを同時に満たす方法を考えて実行していただきます。

業務内容

• ※すべてを担当する必要はなく、強みを軸に周辺領域へ越境しながら開発いただきます。

1. 認識モデル開発・正解データ生成（メイン領域）

• 物体検出・セグメンテーション・トラッキングなど、認識モデルの調査・実装・改善
• カメラ / LiDARを統合した3D認識と、正解データを自動生成する仕組み（オートラベリング）の設計・実装
• 誤検出と見逃しの傾向を分析し、どこまで自動でラベルを付け、どこに人の確認を入れるかの設計
• 逆光・夜間・悪天候・遮蔽など、実車で起きる条件が認識に与える影響の分析と対策

2. センサデータ基盤・表現設計

• センサデータの品質評価と仕様策定
• 物理特性や信号ノイズを考慮したデータ仕様・入力表現（Representation）の設計
• 下流モデル（E2Eモデル、Planning等）が扱いやすい、堅牢なデータ処理パイプラインの構築・改善

3. データ・評価ループの構築（Data-Centric AI）

• 難例（Hard Example）抽出、評価データ整備などの改善ループ構築
• 実車ログ解析・失敗事例分析による精度・データ品質の継続的フィードバック
• シミュレーションでは見えない"実世界のふるまい"を読み解く評価プロセスの設計

4. システム連携・アーキテクチャ設計

• Planningとのインターフェース設計
• E2Eモデル学習時の入力設計
• 実車・シミュレーションを含めた評価基盤との連携

ポジションの魅力

• 精度を上げるために、手段を選べる　論文で出たばかりの手法の再現から自社データで学習した独自モデルまで、いまの技術スタックや既製のアノテーションツールでできる範囲に合わせる必要はありません。
• 改善のサイクルを自社で回せる　自社でタクシー事業を運行しているため、生の実車データが毎日蓄積されます。どんなセンサをいくつ、どこに付けるかまで自分たちで決められるので、集めたデータで改善し、実車で確かめるところまでを自分たちの判断だけで進められます。
• 正解データを作る仕組み全体を設計できる　毎日溜まるデータに人手だけで追いつくことはできないため、自動化が前提になります。自動化のためのモデルを学習させる目的で大規模な人手アノテーションに投資することも含め、どこを自動に任せるかから設計できます。
• 作った正解データが、そのまま学習データになる　認識の出力は、E2Eモデルの学習データそのものになります。正解データの質がモデルの性能に直結するため、MLエンジニアと連携しながら「どこまでの精度が本当に必要か」に踏み込んで開発できます。