VLM・画像／映像AI活用｜図面・写真・動画を業務データへつなぐAI活用支援

企業の業務データは、テキストや数値だけではありません。図面、製品写真、検査画像、設備写真、作業映像、PDF内の図表、操作動画、研修動画など、「見なければ分からない情報」も多く存在します。

VLM（Vision Language Model）を活用すると、画像や映像と自然言語を組み合わせて内容を理解し、説明、検索、要約、比較、問い合わせ対応などへ利用できる可能性があります。

GBSは、VLMそのものを導入することを目的にせず、現在保有している画像・映像・文書と、PLM、IoT、情報共有基盤、Web、社内ナレッジなどの既存データを組み合わせ、実際の業務でどのように活用できるかを検証します。

このようなお悩みはありませんか

テキストだけでは見えなかった情報を、AI活用の対象へ

これまでの生成AI活用では、文章、表、データベースなど、文字や構造化データを中心に利用するケースが多くありました。

しかし実際の企業業務では、画像や映像の中に重要な情報が含まれています。

VLMを利用することで、これまで人が目で確認していた情報を、AIエージェントが参照・検索・整理できる可能性が広がります。

VLMとは ― 画像・映像と言葉を組み合わせて理解するAI

VLM（Vision Language Model）は、画像や映像などの視覚情報と、自然言語を組み合わせて処理するAIモデルです。

画像に何が写っているかを説明するだけでなく、「この画像のどこが異常か」「この2枚は何が違うか」「この動画では何が起きているか」といった自然言語による問い合わせへ対応できるモデルもあります。

従来の画像認識では、あらかじめ決めた対象を検出・分類するために専用モデルを用意する方法が中心でした。VLMは、自然言語による指示を利用しながら、より柔軟に画像・映像を扱える点が特徴です。

一方で、特定の対象を高精度かつ高速に大量判定する業務では、従来型の画像認識や専用モデルの方が適している場合もあります。

VLMと従来の画像認識は、どちらか一方を選ぶものではありません

VLMが登場したからといって、従来のコンピュータービジョンやOCRが不要になるわけではありません。

GBSでは、「VLMだから新しい」という理由で採用するのではなく、対象業務、求める精度、処理量、応答速度、利用コストなどから適切な方法を検討します。

製造業・PLMでは、画像・映像と製品情報を組み合わせる

GBSがVLM活用で特に重視するのが、製造業・PLMとの組み合わせです。

製造業では、BOMや品目情報などの構造化データだけでなく、図面、仕様書、製品写真、検査画像、不具合写真、作業映像など、多様な視覚情報が業務で利用されています。

これらを単独でAIへ入力するだけでなく、PLMや既存データベースにある製品情報と関連付けることで、より業務に近いAI活用を検討できます。

職人技・手作業を、映像とセンサーデータから分析する

溶接、組立、研磨、塗装、検査など、人の技能に依存する作業では、完成品の結果だけでなく、「どのように作業したか」というプロセスそのものに重要な情報があります。

VLMを活用することで、作業映像から工程、姿勢、手順、動作の違いなどを読み取り、熟練者と経験の浅い作業者の違いや、作業時間、手戻りにつながる可能性のある動作などを分析できるか検証できます。

ただし、映像だけですべての作業状態を把握できるとは限りません。カメラから見えない身体の動き、力のかけ方、工具の角度、振動、温度など、映像では捉えにくい情報が重要になる場合があります。

映像だけで足りない場合は、センサーデータと組み合わせる

必要に応じて、作業者が装着するウェアラブル機器や作業服に組み込んだセンサー、工具・設備側のセンサーなどから取得したデータを、映像情報と組み合わせて分析する方法も考えられます。

映像だけを見るのではなく、複数のセンサーデータを時刻情報で関連付けることで、「何をしていたか」と「そのときどのような状態だったか」をより多面的に分析できます。

CONTACT Elements for IoTへデータを集約し、作業プロセス全体を分析

センサーや設備から取得したデータは、CONTACT Elements for IoTのようなIoT基盤へ集約し、機械・設備・工程などの情報と関連付けて管理する構成を検討できます。

例えば、作業映像から得られた情報、ウェアラブルセンサーのデータ、設備の稼働データ、作業実績、品質結果などを関連付けることで、作業時間だけでは見えにくかった工程上の違いや、品質・生産性との関係を分析するためのデータ基盤へつなげることができます。

重要なのは、熟練者の動きを単純に数値化することではありません。どのデータが品質や作業効率と関係しているのかを仮説として整理し、映像・センサー・作業実績・品質結果を組み合わせながら検証することです。

VLMとPLM・IoT・既存システムをつなぐ

画像や映像をAIで理解できても、それだけでは企業業務として十分ではありません。

画像に写っている製品は何か、その部品のBOMは何か、過去にどのような不具合があったか、設備の保全履歴はどうなっているか、といった情報は既存システム側に存在します。

GBSでは、VLM単体の認識性能だけでなく、画像・映像から得られた情報を既存の業務データとどう結び付けるかまで含めて設計します。

文書・社内ナレッジも、「文字だけ」から「見た目を含む情報」へ

社内に蓄積されたPDF、マニュアル、プレゼンテーション資料などには、本文だけでなく、図、表、フロー図、画面キャプチャ、写真などが含まれています。

テキスト抽出だけでは、こうした情報の意味を十分に利用できない場合があります。

ただし、文書の正本、版、アクセス権、更新ルールなどはVLMだけでは解決できません。AIへ渡す情報基盤そのものを整理することも重要です。

動画は、「全部をそのままAIへ渡す」だけではありません

動画は、静止画よりもデータ量が大きく、長時間の映像をそのままAIへ処理させると、処理時間や利用コストが増える可能性があります。

そのため、動画AIでは「どの映像を、どの粒度で、いつ解析するか」を設計することが重要です。

VLMの性能だけでなく、動画をどのように分割・検索・保存・再利用するかまで含めて設計することで、業務で継続しやすい仕組みになります。

VSS・動画検索／要約は、映像を「探せる業務データ」に変える

長時間の映像を人が最初から最後まで確認することは、大きな負担になります。

VLMなどを利用して映像の内容を言語化し、時間情報とともに保存することで、「いつ、何が起きたか」を自然言語で検索したり、特定期間の内容を要約したりする仕組みを検討できます。

映像を単に保存しておくのではなく、必要なときに検索・再利用できる情報へ変えることで、教育、技術継承、保全、業務確認などへの活用可能性が広がります。

画像・映像AIでは、「何をもって正しいか」を先に決める

VLMのPoCでは、数枚の画像について自然な説明が生成できただけで「使える」と判断しないことが重要です。

実際の業務では、何を正解とするのか、どの間違いが許容できないのか、どこまでAIへ任せるのかを明確にする必要があります。

特に製造・品質関連では、見落としや誤判定の影響が大きい業務があります。そのためGBSでは、AIの出力を人が確認する運用、対象業務を限定する方法、従来の画像認識と組み合わせる方法なども含めて検討します。

VLMのPoCでは、精度だけでなく業務全体を評価する

VLMを業務へ導入できるかどうかは、認識精度だけでは判断できません。

• 必要な情報を正しく読み取れるか
• 見落とし・誤検知がどの程度発生するか
• 画像条件や画質によって結果が変わらないか
• 図面・画像・動画の種類が変わっても利用できるか
• 業務上必要な処理時間を満たせるか
• 大量データを処理した場合の利用コストは適切か
• 人による確認がどの程度必要か
• 既存システムと必要な情報を関連付けられるか
• アクセス権や機密情報を適切に管理できるか
• モデルを変更した際に再評価できるか

GBSでは、実際の業務データを使った小規模な評価から始め、「技術的に認識できるか」ではなく「業務で継続利用できるか」を確認します。

クラウドだけでなく、専用環境・プライベートAIも含めて検討する

画像や映像には、製品情報、設計情報、製造現場、設備、人物など、企業外へ送信しにくい情報が含まれる場合があります。

そのためVLM導入では、モデルの性能だけでなく、どこでAIを実行するかも重要です。

必要なセキュリティ、処理量、応答速度、利用コスト、既存インフラなどを整理し、必要に応じてパートナーとの連携も含めて実現方法を検討します。

GBSのVLM・画像／映像AI活用支援の進め方

1．対象業務を整理する

まず、画像・映像を使って現在どのような業務を行っているか、どこに時間がかかっているか、AIを利用することで何を改善したいかを整理します。

2．対象データを確認する

図面、画像、映像、PDFなどの種類、件数、画質、保存場所、アクセス権、正解データの有無などを確認します。

3．VLMを利用する意味があるかを整理する

VLM、従来型画像認識、OCR、既存システム機能などを比較し、対象業務に適した方法を検討します。

4．業務上の正解・完了条件を決める

何が正しく読み取れればよいか、どの見落としが許容できないか、どの状態をもって処理完了とするか、人が確認する条件は何かを明確にします。

5．小規模なPoCを行う

実際のデータを使って、認識精度、見落とし、誤検知、処理時間、利用コスト、運用負荷などを確認します。

6．既存システムとの連携を設計する

PLM、IoT、情報共有基盤、データベースなどと関連付け、VLMの結果を実際の業務で利用する方法を整理します。

7．本番運用・継続評価へつなげる

アクセス権、ログ、人による確認、モデル変更時の再評価、データ追加時の評価方法などを整理し、継続的に利用できる仕組みを検討します。

GBSがVLM・画像／映像AI活用で重視すること

AIエージェントと組み合わせ、画像・映像を業務の判断材料へ

VLMは、画像や映像を理解するための技術です。それだけで業務全体が自動化されるわけではありません。

実際には、画像や映像から情報を取得し、既存システムのデータを参照し、必要な判断や処理を行い、人へ確認を求めるといったAIエージェントの業務設計と組み合わせる必要があります。

よくある質問

画像・映像を、企業のAI活用から取り残さない

企業には、文章やデータベースだけでなく、図面、画像、映像、図表など、多くの視覚情報が蓄積されています。

VLMを活用することで、こうした情報をAIエージェントや既存システムと組み合わせ、新しい検索・判断支援・業務自動化へつなげられる可能性があります。