マルチロボットシステムの研究分野において、包囲制御は主要なトピックである。協調的な護衛、敵目標の捕捉、偵察監視、無人水上船舶のパトロール、狩猟など、民間と軍事の両方の領域で広く応用されている。
これらの応用における中心的な課題は、複数ターゲットの割り当てを含むマルチロボットシステムを制御すると同時に、ターゲットの包囲と衝突回避の問題に対処する方法である。これは、特に分散型マルチロボットシステムにとって重要な課題である。
中国科学院自動化研究所のPu Zhiqiang教授のチームは、2022年のICRA会議で論文を発表した。彼らは関係グラフに基づく深層強化学習法を提案し、様々な条件下での衝突回避を伴う多目標包囲（MECA）問題への優れた適応性を示した。
論文検索ページ
問題定式化
本研究では、L個の静止障害物（黒丸）が存在する環境において、N台のロボット（緑丸）から構成されるマルチロボットシステムが関与するMECAタスクを指定する。目的はK個（1＜K＜N）の静止または移動するターゲット（赤丸）を協調して包囲することである。
すべてのロボットは自律的に複数のグループを形成し、すべてのターゲットを包囲しなければならない。各グループは、衝突を避けながら、個々のターゲットを包囲するために円形のフォーメーションを形成することが要求される。これには以下の3つのサブ問題に取り組む必要がある：
1) 動的な複数目標の割り当てとグループ化
2) 各グループによるターゲットの包囲
3) グループ間の衝突回避
分散型マルチロボットシステムにおけるMECAの説明図
方法
MECA問題の文脈では、ロボット、ターゲット、障害物という3種類のエンティティが存在する。異なるエンティティは、障害物の回避、ターゲットの包囲、他のロボットとの協調など、ロボットとの様々な影響関係を持つ。
本研究では、ロボットレベルとターゲットレベルの関係グラフ（RG）に基づく分散型深層強化学習（DRL）アプローチを提案し、MECA-DRL-RG法と名付けた。
具体的には：
1. ロボットレベルのRGをモデル化し学習するために、グラフアテンションネットワーク（GAT）を利用する。これらのRGは、各ロボットと他のロボット、ターゲット、障害物との間の3つの異種関係グラフから構成される。
2. GATを使ってターゲットレベルのRGを構築し、ロボットと様々なターゲット間の空間的関係を把握する。ターゲットの動きはターゲットレベルRGによってモデル化され、教師あり学習によって学習され、ターゲットの軌道を予測する。
3. さらに、MECAにおけるマルチターゲット問題に対処するために、知識を組み込んだ複合報酬関数を定義する。政策ネットワークの学習には、集中型学習と分散型実行フレームワークに基づくアクター・クリティック学習アルゴリズムが採用される。
MECA-DRL-RGの全体構造
実験
研究チームは、シミュレーション実験と実環境での実験を行った。実環境での実験では、以下のようなシナリオを設定した： 2つの障害物がある環境において、6台のロボットが2つの移動目標を囲む。ロボットの位置と速度のデータは、NOKOVモーションキャプチャシステムによって記録された。
2つの障害物がある環境で6台のロボットが2つのターゲットを囲むスナップショット
シミュレーションと実実験の両方で、他の手法と比較して、MECA-DRL-RGアプローチにより、ロボットが周囲の環境から異種空間関係グラフを学習できることが確認された。これにより、ロボットは目標軌道を予測することが可能となり、各ロボットの周辺環境に対する理解と予測が強化される。MECA-DRL-RG法の有効性は確認されている。
また、ロボットや障害物、ターゲットの数が増加しても、ターゲットの移動速度が加速しても、MECA-DRL-RG法は優れた性能を発揮し、幅広い適応性を示した。
ここでごニーズを出ること
-
もっと多い情報に関して、メッセージをしたりしてください。
-
- 確認