VLM / MLLM リサーチャー

必須

• 画像処理・自然言語処理に対する深い知識と業務経験 (特に、深層学習を用いた画像処理・自然言語処理の実務経験)
• 査読あり国際学会や英文学術誌での論文採択の実績
• 理工系大学院修了

• ＜その他＞

  • 開発に関する技術的な内容含め、日本語で円滑にコミュニケーションが取れる方
  • 目安：ビジネス会話レベル

歓迎

• 1. 以下の技術領域における研究経験・実務経験

  • VLM / MLLM / Document AI / OCR / Layout Analysisに関する研究または実務経験
  • Qwen-VL, InternVL, LLaVA, LayoutLM等の関連モデルの利用・評価・改善経験
  • ドキュメント読解、図表理解、図面解析に関する研究開発経験
  • SFT、Instruction Tuning、GRPO、DPO、RLHF等を用いたモデル改善経験
  • 製造業、化学、機械、電気、材料、特許、研究開発領域に関するドメイン知識
• ビジネスレベルの英語力

求める人物像

• 本質的にテクノロジーに興味があり、その分野の第一人者となる気概がある
• ビジネスサイドとコミュニケーションしながら、いかにお客様に届け、事業を成長させるかを考えられる
• 論文を読みながら最新の理論をフォロー、検証するのが好き

使用ツール

現状の課題

• 私たちはニュース・特許・論文・社内文章に加え、実験レポート・設計資料・製品マニュアル・図面などの図表を含んだ複雑な文章の読み取りに特化したVLM / Document AI基盤を開発し、製造業のお客様の意思決定を助けるサービスや暗黙知の抽出・形式化に応用しています。
• 現在は以下のような研究課題に取り組んでおり、事業の拡大に伴い、一緒に研究開発を進めていただけるVLMリサーチャーの方を募集しています。
• 日本語・製造業ドキュメントに特化したVLM / マルチモーダル基盤モデルの開発
• 図表・図面・化学式・フローズ・仕様書などを横断的に理解するドキュメント読解技術の開発
• 文章画像の構造化・情報抽出パイプラインの研究開発
• 視覚モダリティで解決可能な暗黙知・専門知識・判断プロセスを形式知化するためのモデル・データ・評価手法の研究開発

業務内容

• Research DivisionのVLMユニットにおいて、日本語・ビジネス・製造業ドキュメントを対象としたVLM / Document AIの研究開発を行っていただきます。
• モデル開発・データ合成・評価などの技術開発業務だけでなく、論文執筆による国際会議への投稿もお任せします。

具体的な業務内容

• ビジネスドキュメント・製造業に特化したVLM / MLLMの研究開発
• ドキュメント読解、テーブル理解、チャート理解、図面解析、化学式理解、レイアウト理解に関するモデル改善
• VQA, CoT, Visual Grounding, Document Parsing, Document Structuringに関連す研究開発
• 学習データ、評価データ、ベンチマーク、アノテーション基準、品質フィルタリング手法の構築
• VLMの出力に対する信頼性評価、ハルシネーション抑止、根拠提示、バリデーション手法の研究
• 論文執筆、学会発表、技術ブログ、モデル・データセット公開などの社外発信
• 現在は東北大学乾教授・産総研石垣研究員らと共同研究を進めています。日経新聞にも取り上げられるなど、国内でも注目が集まるプロジェクトになっています。
• ※変更の範囲：開発業務全般

配属チーム

• VLM Unit（現在 4名）

[組織体制]

• Research Division（8名）
• Knowledge Unit（4名）
• VLM Unit（4名）

[主な使用言語]

• Python, SQL

ポジションの魅力

• 産総研や東北大との共同研究を通して最先端の研究や国際会議投稿にチャレンジできる
• プロダクト開発との距離が近く、開発した技術が製造業のお客様のビジネス創出につながるというやりがい
• 図表、表、図面、化学式、仕様書、技術資料など、実社会の複雑なドキュメント理解という未解決性の高いテーマに挑戦できる