オムロン／運転手の状態をリアルタイムに判定世界初「最先端AIを搭載した車載センサー」を開発 物流システム 2023.06.17 運転手の状態をリアルタイムに判定世界初「最先端AIを搭載した車載センサー」を開発 2016年6月6日 オムロン株式会社 オムロン株式会社（本社: 京都市下京区、代表取締役社長CEO: 山田義仁）は、人と機械の関係を革新し、自動運転による「ぶつからない車社会」の実現など、安心・安全な車社会への貢献に取り組んでいます。このたび、オムロン独自の画像センシング技術に最先端のAI（時系列ディープラーニング※1）技術を組み合わせ、運転手の多種多様な行動や状態をセンシングし、安全運転に適した状態かを判定する「ドライバー運転集中度センシング技術」を搭載した、世界初の車載センサーを開発しました。 近年、運転手の健康状態が急変し、運転の継続が困難な状況に陥ってしまうことによる事故の複数発生や、自動運転の実現にむけた運転手の安全運転を支援する技術開発が求められていることを背景に、車を安全に制御するために運転手が安全運転に適した状態かをリアルタイムに判定できる技術開発を進めてきました。 「ドライバー運転集中度センシング技術」は、オムロン独自の高精度な画像センシング技術に最先端のAI技術「時系列ディープラーニング」を取り入れることにより、カメラで撮影した映像から、運転手が運転に適した状態かをリアルタイムにレベル分けして判定する技術です。本技術により、車は運転手の状態に合わせた制御を行うことが可能となります。これにより、自動運転と手動運転の安全な切り替えや、運転手の異常発生時に車を安全に停車させるなど、運転手の安全運転を支援し、車社会の安全性を高めることができます。この技術を搭載した車載センサーを、2019年～2020年に発売される自動運転車などへの採用を目指します。 本技術の特徴 運転手の多種多様な行動/状態をセンシングし、運転に適した状態かをリアルタイムにレベル別に判定 高速道路の自動運転時：運転手の多種多様な行動/状態を「どれくらいの時間で運転に復帰できるか」を基準に「運転復帰レベル」として、リアルタイムにレベル別に判定します (図2参照) 手動運転時：運転手の多種多様な行動/状態を「どれくらい安全に運転を行える状態か」を基準に「危険度レベル」として、リアルタイムにレベル別に判定します (図3参照) レベル分けの段階・基準は、顧客の要望によって変更が可能であり、幅広い車種に対応できます 多様な運転手の状態を手のひらサイズのカメラ1台で判定 従来、運転手の多様な状態を把握するには、顔の向きなどを検知するカメラ、心拍など生体情報を検知するセンサー、ハンドルの動きを検知するセンサーなど、複数のカメラやセンサーから得られる情報を組み合わせる必要がありました。本技術は、「局所的な顔映像」と「大局的な動作映像」の2つの映像として処理することで、居眠り、脇見、スマートフォン操作、読書など、さまざまな運転手の状態を手のひらサイズのコンパクトなカメラ1台で判定できます。 ネットワーク接続を必要としない車内で完結したシステムでもリアルタイムに判定処理が可能 従来、時系列ディープラーニングは、連続したデータを扱うために、比較的大規模なサーバーシステムへの接続が必要でした。本技術では、カメラから取得した映像データを、「高解像度の局所的な顔映像」と「低解像度の大局的な動作映像」に一旦分離した上で、2つの映像を効果的に組み合わせることで画像処理量を低減。「時系列ディープラーニング」を、車載の組込環境でもリアルタイムで実行可能にいたしました。これにより、大規模サーバーシステムへの接続が不要となり、車にネットワークへの接続環境を求めないため、既存車への後付けや、低価格帯の車への搭載も可能とします。 図1. 「ドライバー運転集中度センシング技術」の概要 図2. 「ドライバー運転集中度センシング技術」による「運転復帰レベル」の判定例 図3. 「ドライバー運転集中度センシング技術」による「危険度レベル」の判定例 技術紹介動画 展示情報 オムロンは、「ドライバー運転集中度モニタリング技術」を用いた技術デモンストレーションを、2016年6月8日(水)から10日(金)まで、パシフィコ横浜で開催される「第22回 画像センシングシンポジウム SSII2016」および、2016年6月27日(月)から30日(木)に、アメリカ・ラスベガスで開催される「CVPR Industry Expo 2016」に展示します。 ※1 時系列ディープラーニングについて ディープラーニング技術の一種。ネットワーク構造の工夫等により、静的情報だけでなく、連続した時間的変化を伴う事象の認識を可能とするニューラルネットワーク技術。現在AI分野で活用が進む一般的なディープラーニング技術は、画像認識等で非常に高い性能を示す一方（例えば、静止画から猫である、犬である等の判別）、連続した時間的変化を伴う事象は苦手としており、音声認識等の一部の分野への適用に留まっていました。特に人間の動作のように非常に高次元の情報を含む事象の高精度認識は実現できていませんでした。オムロンは、過去の情報を内部に保持する仕組みを持つ、RNN(Recurrent Neural Network)と呼ばれる技術を独自に改良し、高精度な顔情報と映像情報を統合的に処理することで、時系列情報を含む多様なドライバー状態の高精度な認識を実現しました。 参考資料 開発の背景 近年世界各国で、公道での自動運転に注目が集まっています。日本でも、実証実験はもちろん、国土交通省と経済産業省が共同で開催している「自動走行ビジネス検討会」が、今年3月に公表した『今後の取組方針』で、早ければ2018年までに高速道路での「自動走行レベル2 (自動分合流)」の実用化を目指すことを明記するなど、車の自動運転の実用化への期待は高まっています。車の自動運転は、高速道路から段階的に実用化される見込みであり、自動運転を行う高速道路と手動運転を行う一般道路では自動運転と手動運転の安全な切り替えが必須となります。特に自動運転から手動運転の切り替えは、ドライバーが運転に集中していない状態(寝ている、スマートフォンの操作に夢中になっているなど)からでも、安全に行う必要があります。そのためには、自動運転時のドライバーが、どのような状態であるかを車が正しく認識することが大切です。 また、ドライバーの健康状態が急変し、運転の継続が困難な状況に陥ってしまう事故が複数発生したことを背景に、今年3月に国土交通省が、「ドライバー異常時対応システム」のガイドラインを世界に先駆けて策定するなど、今後は、手動運転時のドライバーがどのような状態で運転しているかを、車が正しく認識することが求められています。このような背景から、本技術では、自動運転時のドライバーの状態を「どれくらいの時間で運転に復帰できるか」、手動運転時のドライバーの状態を「どれくらい安全に運転を行える状態か」を基準とした多段階で判別する機能を実現しました。判別した結果をもとに車を制御することで、自動運転と手動運転の安全な切り替えや、ドライバーの異常時に車を安全に停車させることなどを可能にします。例えば、自動運転で高速道路から一般道路に進入する場合、ドライバーがすぐに運転に集中できる状態であれば、円滑に自動運転から手動運転に切り替える、ドライバーが寝ていたり、すぐに運転に集中できない状態であれば、安全に路肩に停車するなどのシーンが想定されます。 オムロン株式会社について オムロン株式会社は、独自のセンシング＆コントロール技術を中核としたオートメーションのリーディングカンパニーとして、制御機器、電子部品、車載電装部品、社会インフラ、ヘルスケア、環境など多岐に渡る事業を展開しています。1933年に創業したオムロンは、いまでは全世界で約38,000名の社員を擁し、110を超える国や地域で商品・サービスを提供しています。制御機器事業では、モノづくりを革新するオートメーション技術や製品群、顧客サポートの提供を通じ、豊かな社会づくりに貢献しています。詳細については、 http://www.omron.co.jp/ をご参照ください。
