人体の内外表面形状すべてをリアルタイム計測するシステム

研究目的

1.研究の背景

人体機能の解明のために多くのセンシングデバイスがありますが、特に近年、３次元情報が注目されています。骨格や筋肉のダイナミックな動きや、内視鏡による人体内部の高精度・高密度な計測をが注目されています。

2.研究の目標

本研究では、人体内外の色、形、動きの３次元情報を計測する手法の開発として、〔１〕微小変化を観測可能な超ハイスピード計測、〔２〕体内形状獲得のための内視鏡一体システムの設計、〔３〕遠隔医療のための人物動作の３次元データ取得・伝送システムの開発を目指しています。

3.研究の特色

過去の３次元計測手法は、動く物体の計測が難しく、精度良く人体を計測することが出来ませんでした。本手法は独自のパターン投影によるアクティブ計測手法により、動物体を高精度・高密度に計測することができます。

4.将来的に期待される効果や応用分野

超高速な人体形状計測は、運動や表情の解析など新しい生命機能の解明につながると期待され、内視鏡による形状計測は、信頼性の高い腹腔手術や腫瘍発見など医学の革新的発展に寄与します。さらに、人物動作の３次元計測は、遠隔手術など新医療システムの実現に貢献します。加えて、得られたデータは、AI診断のための学習データとして使用することができます。

プロジェクト＃３

NEDO・人と共に進化する次世代人工知能に関する技術開発事業
課題名	人と共に進化するAIシステムの基盤技術開発
期間	2020--2025 (5年間)
代表者	佐川　立昌
機関名	産業技術総合研究所

　

1.研究の背景

深層学習における画像認識において、ImageNetをベースとした転移学習による研究事例が多数報告されています。 医用画像向けの診断支援技術の研究開発においても多くの論文が転移学習による手法を提案しており、高精度の診断結果を達成しています。 転移学習では、再学習に用いる教師データの質と量に検出精 度が依存することから、なるべく多くの良質な学習データを収集して学習させる必要があります。

AI技術を医用画像に広く適用しようとした場 合、患者数・症例数・検査数に左右されない診断支援 を実現することが必要不可欠です。 特に希少疾患や検査数が少ない部位の 症例は、診断できる医師も少ないため、AIによるアシストが重要です。 AIによって診断支援能力を向上することができれば、ハードウェアとしては 既存の医療機器をそのまま利用しな がら、新たな技術を搭載した観察が可能になることも期待できます。 ただし，そのためには，学習データ不足を補うための転移学習が重要になります．

2.研究の目標

そこで、これらの問題を解決するために本課題では、対象となる医用画像 の教師データが少ない場合でも高精度に認識可能な診断支援モデルのベース となる準汎用学習済みモデルを構築します。 その中でも，本研究グループでは、「汎用・純汎用学習済モデルの構築」に寄与するために，「3D内視鏡技術と内視鏡映像データベースを組み合わせた内視鏡観察機能向上技術の研究開発」を担当します。

3.研究の特色

本課題では，３D内視鏡で得られる３次元データと通常の内視鏡２D映像データベースを組み合わせ、２D映像から３D情報を推測予測する手法を研 究開発します。これにより、通常の内視鏡を用いた観察において、診断 に有用な３D情報を提供する支援技術の実現を目指します。

4.将来的に期待される効果や応用分野

本研究によって蓄積されたデータを，学習データとして研究開発を 進めることで，「AIによる診断技術」を，より少ない労力で 構築することが可能になることが期待されます。

プロジェクト＃２

科研・基盤研究(A)
課題名	パターン投影と深層学習を利用した頑健で高精度な３次元内視鏡システム
期間	2018--2023 (5年間)
代表者	古川　亮
機関名	広島市立大学

　

1.研究の背景

我々はこれまで、腫瘍のサイズや形状を広範囲に計測可能な、アクティブステレオ方式の３次元内視鏡を開発してきました。 結果、通常の内視鏡の鉗子孔に、超小型レーザパターン投光器を挿入し、そのまま画像を取得するのみで、対象の3次元計測を行うシステムを開発し、実際に動物の胃の内壁の凹凸およびスケールを計測可能であることを実証しました。 ただし、現状のシステムを実際の医療目的に応用するためには、消化管内部の過酷な環境下での計測の安定性の確保、対象組織の色情報の取得、計測結果の高精度化、消化管のひだなど複雑な形状への対応、実際の人体内部の計測の実現などの課題があります。

2.研究の目標

本研究では、本システムを医療分野で利用するため、 以下の研究課題を遂行します。

課題1: 消化管内部のように、高湿度で、粘液や胃液などが存在する 環境下でも確実に動作させるための、計測システムの改良。

課題2: 色情報と距離情報を同時取得する手法の開発。

課題3: 形状解像度、距離精度の向上。

課題4: 深層学習を利用した奥行推定アルゴリズム開発。 また，それにより，消化管のひだなどの形状計測を可能にすること。

課題5: 実際の人体内部の計測の実現。

3.研究の特色

我々は，これまでの研究で，小型パターン光源によるアクティブステレオ３次元内視鏡の開発を行い，実際に３次元計測手法が可能であることを実証しました。 本研究では，その基礎手法と，深層学習の手法を組み合わせ， 実際の生体環境で動作可能なシステムを構築します。

4.将来的に期待される効果や応用分野

本研究により，実用的な３次元内視鏡システムが実現されれば， ロボット手術システムや内視鏡診断への応用が期待できます。

プロジェクト＃１

最先端・次世代研究開発支援プログラム
課題名	人体の内外表面形状すべてをリアルタイム計測するシステム　～表情筋の動き計測から腸内壁の形状取得まで～
期間	2011--2016 (5年間)
代表者	川崎　洋
機関名	国立大学法人鹿児島大学

　

1.研究の背景

人体の生命機能の解明には、その詳細な観察が必要です。これにはＸ線診断やＭＲＩなど多くの手法がありますが、最近、人体の３次元情報が注目されています。例えば、筋肉や皮下脂肪の３次元形状、胃腸内壁の凹凸が分かれば、診断の際、重要な判断材料となります。

2.研究の目標

本研究では、人体内外の色、形、動きの３次元情報を計測する手法の開発として、〔１〕微小変化を観測可能な超ハイスピード計測、〔２〕体内形状獲得のための内視鏡一体システムの設計、〔３〕遠隔医療のための人物動作の３次元データ取得・伝送システムの開発を行います。

3.研究の特色

過去の３次元計測手法は、動く物体の計測が難しく、精度良く人体を計測することが出来ませんでした。近年、動物体を対象とした研究も盛んに行われていますが、解決には至っていません。本手法は動物体計測の先駆的研究として数多くの受賞や特許があり、高精度な人体計測が実現できます。

4.将来的に期待される効果や応用分野

超高速な人体形状計測は、運動や表情の解析など新しい生命機能の解明につながると期待され、内視鏡による形状計測は、信頼性の高い腹腔手術や腫瘍発見など医学の革新的発展に寄与します。さらに、人物動作の３次元計測は、遠隔手術など新医療システムの実現に貢献します。