繊細な人の手を再現する「マニピュレーター」

2021年12月7日

ロボットが安定かつ迅速に未知物体をつかんだり、動かしたりするための技術です。従来の産業用ロボットでは難しかった、未知の物体や環境への柔軟な対応や、丁寧な挙動を実現することで、物流、製造現場での作業だけではなく、家事支援や商品陳列などのサービス領域にまで、ロボットの応用シーンをさらに拡大させることが期待できます。

Researchers
坪井利充 / 宮澤清和

Index: ロボットに求められる「繊細さ」と変化する環境への「対応力」; 力制御ロボットを支える3つの技術; 未知物体把持制御技術の確立; 世界で初めて未知物体に対する任意方向の初期滑り検出・制御を数理モデル化; 理論から実践まで一気通貫で

繊細な人の手を再現するマニピュレーター技術を、R&Dセンターのエンジニアが紹介している映像です。

ロボットに求められる「繊細さ」と
変化する環境への「対応力」

ロボット産業において、産業用ロボット分野の拡大に次いで、今後は医療・コミュニケーション・エンタテインメント・教育といったサービス分野も市場の成長を牽引することが予想されています。これらのサービス分野におけるロボットでは、人・対象物・環境との物理的接触を伴うインタラクションをいかに安全にできるかが重要な要素となります。物理的接触を伴うインタラクションでは、人・対象物・環境との間で力のやり取りが必要となり、今までの産業用ロボットとは違う要求が出てきます。

また、既に実用化されている、リモートコントロールとロボット技術を組み合わせたテレプレゼンス型と呼ばれるロボットは、「見る」、「話す」といった音声を通じたコミュニケーション機能により人に働きかけることには優れていますが、物を動かすなど環境に働きかけることは得意ではありません。ロボットの専門家による指示や、高度な環境設定を必要とせず、様々な物が存在する場所でも自律的に動作を制御でき、難しい判断、細かい判断のみ人が介入する「力制御型」のロボットに、次のニーズがあると考えています。

力制御ロボットを支える3つの技術

ソニーは、より繊細な力を検知して、柔らかくかつ滑らかに動作する、より人や環境と親和性のある力制御ロボットの開発に挑戦しています。ひとの生活空間や未知の遠隔環境で動作するロボットは、その都度計測した誤差を含む情報や、処理時間がかかる動作計画を用いて動作するため、安定・迅速な物体操作が困難です。

この課題を解決するためにソニーは3つの技術開発に取り組んでいます。

1つ目は、形状・重量・摩擦係数など不確定性を含む未知物体を安定把持するためのセンサ群を備えた「ハンド」です。ロボットによる物体の位置や形状の把握には、ロボットの頭部などの高い位置から俯瞰するカメラが取り付けてあり、カメラから得られた情報をもとにアームとハンドをマニピュレーションするのが一般的です。しかし、俯瞰するカメラでは、物体とロボット自身のアーム、ハンドの位置を正確に認識することは困難で、実際の位置との間に誤差が生じ、物体へのアクセスに失敗することがあります。私たちが開発したロボットでは、ハンド自体に、ソニーのセンシング技術から生まれた複数のセンサを搭載することで、物体の存在を検出し、正確な位置の把握を可能にしています。

2つ目はそのハンドを用いた物体の把持制御の技術です（詳細は後述します）。

3つ目が、ロボットを円滑に動作させるための高速な「動作計画技術」です。動作計画技術とは、目標位置まで障害物に衝突することなく動作を行うための連続的な軌道を生成するための技術のこと。ロボットの関節の数（自由度）が多くなればなるほど、高次元の探索問題となり、高い演算負荷が必要になります。ソニーでは、自社で開発した機械学習のフレームワークのアセットを生かし、得られた情報から推測して解を出す技術を取り入れることで、演算負荷を低減し、動作計画の高速化の実現をめざしています。

これらの3つの技術を統合することで、複雑な環境においても、賢く、安全に利用できるマニピュレーション技術の確立をめざしています。

そのコンセプトモデルとして、人からの概略指示に基づいて未知物体を安定把持することができる「移動マニピュレータ」を構築。家事支援など人間と同じ空間でなめらかにタスクをこなす必要があるシーンや遠隔作業などの実現に向けた挑戦を続けています。

未知物体把持制御技術の確立

ロボットが物体を安定的に把持するためには、適切な把持力を発生させる必要があります。しかし、準備されていない環境においては、ロボットは把持しようとする物体が何であるかはわかりません。どれくらいの重さで中心はどこにあるのか。柔らかいのか硬いのか。滑りやすいのか否か。どんな物体であってもロボット側の方で柔軟に対応できる能力が求められます。

重さも硬さも摩擦係数も不明な状況で、強い力で持とうとすると、物体を破壊する可能性があります。逆に、弱い力では把持できず滑り落としてしまうかもしれません。特に柔らかい物体を把持する際は、物体を滑らさずかつ破壊しない繊細な把持力制御が必要で、これはロボット工学の分野における前からの大きな課題の一つです。

この課題を解決するために、私たちがヒントにしたのは人間の動作です。通常、人間が物体を丁寧につかむ際には、手から滑り落ちないギリギリの、程良い力でつかみます。壊れる寸前まで力を入れることはありません。このように、人が自らの感覚で自然に行っている動作を紐解き、ロボットによる未知物体を扱う場合も、「物体の特性に応じて、滑り落とさないで済む最低限の力がわかれば、適切な把持が可能になる」という仮説を立てて開発は始まりました。

ロボットが物体に合わせて必要最低限の把持力を制御するために、私たちは「初期滑り（incipient slip）」と呼ばれる物理現象に着目しました。初期滑りは、物体が滑り落ちる前の前兆現象とも呼ばれ、接触面の一部分が滑り始める物理現象で、人間が形状や質感が異なる物体を滑らさずに持てるのは、指と物体の接触時に発生する初期滑り現象を、非常に繊細な皮膚感覚によって検出できているからだと考えられています。この初期滑りをセンサで検出することができれば、物体を滑り落とすことなく、かつ物体を破壊しない必要最低限の把持力を制御できると考えました。

世界で初めて未知物体に対する任意方向の初期滑り検出・制御を数理モデル化

しかし、初期滑りを検出し制御することは、従来の研究では明らかにされてこなかった複数の課題をクリアする必要があり、容易ではありません。2つの大きな課題があります。

1つ目の課題は、初期滑りの安定的な検出が難しいという点です。ロボットは人間のような非常に繊細な皮膚感覚を持っていないので、人間の機械受容を模倣した手法は使えません。工学的にセンサと検出手法を実現する必要があり、そのためには、初期滑りを安定的に検出するための条件と必要なセンサ構成を導出する必要があります。

2つ目は初期滑りのロバストな制御が難しいという点です。初期滑りは不可逆でかつ不連続に変化し、さらに様々な方向に発生する現象であるため、制御が難しいと言われています。そのため、従来の把持力制御の研究においては、並進方向の検出のみの提案にとどまっており、回転方向の初期滑り検出手法は確立されていません。

上記2つの課題の解決は、重さも硬さも摩擦係数も不明な未知物体の場合では、さらに難しくなります。そこで、私たちは、初期滑りの発生メカニズムから、検出方法、制御理論に至るまで、数理モデルによる解析を行い、理論から最適なセンサ構成や制御アルゴリズムを導くことを試みました。特に未解決であった回転方向の初期滑り検出の理論的説明に重点を置き、初期滑りを検出することで、必要最低限の把持力を算出できることを理論/実践の両面から実証しました。図１が、初期滑りの数理モデルです。

図1：固着率（Stick ratio）の回転方向への定式化

グラフの曲面はロボットの指を示しており、指先の形状は任意のべき関数で表しています。このグラフから、「滑らずに接触している接触面の面積c」と、「接触面全体の面積a」の比（c/a）を固着率（Stick ratio）として定式化を行いました。固着率が0に近づくほど滑りやすく、1に近づくほど滑りにくく安定把持ができることを示しています。Fxはtangential force（接線力：物体との接触面に対して平行に働く力）を、Fnはnormal force（垂直力(把持力)：物体との接触面に垂直に働く力）を表しています。Fnが小さいほど、もしくはFxが大きいほど滑りやすくなり、固着率が0になると滑りが発生します。

既存の並進方向の固着率の導出式を回転方向へ拡張し定式化を行いました。しかし、導出された並進と回転方向の初期滑りの定式には一つ問題があります。それは直接計測することができない摩擦係数μが含まれていることです。

そこで視点を変え、ロボットの指先が柔軟材料で覆われた場合を想定して、指先のせん断変位に着目し、数式を展開・変形しました。Uxは並進方向のせん断変位を、Uθは回転方向のせん断変位を示しています。この一連の式展開によって、摩擦係数に依存せず固着率を常に1付近に保ち、滑らせずに物体を把持し続けられることが示されました。

図2：固着率と並進・回転せん断変位の関係の定式化

回転方向の滑りを検出し制御する数理モデルの確立は、世界初の研究成果です。この理論に基づいて、初期滑りを安定的に検出するためのセンサ構成とセンサ信号処理方法、そして適応的把持力制御則を提案しています。

仮説を実証する実験では、コンセプトモデルのマニピュレータが、プラスチックボトルや柔軟でぜい弱な物体の一例であるエクレアを把持できるか確認しました。（図3）

もし滑り検出をせずに一定の強い力で持つとエクレアの中身が飛び出してしまい、弱すぎると持ち上げることができませんでした。また、従来手法のように並進方向のせん断だけを検知するようにした場合は、回転方向のせん断変位が生じて、持ち上げている途中でエクレアが滑り落ちてしまいました。この結果に対し、私たちの提案手法で把持力を制御することで、エクレアを潰さずまた滑らさず、持ち上げることができました。提案手法で制御した場合のハンドの握る力を示したのが右側のグラフです。エクレアを把持し持ち上げた直後から、センサで初期滑りを感知して力を強めることで安定的な把持ができたことを示しています。

図3：実験に使用した物体、実験手順

理論から実践まで一気通貫で

今回確立された数式を生かしたアルゴリズムは、実験においても理論通りの結果が示され、物体の摩擦係数が異なる物体や、物体の重量やモーメントが異なる物体に対して、適切な把持力を決定できることを確認しました。

一方で、ロボティクス技術の開発においては、シミュレーションではうまくいっても、実験では理論通りに行かないケースが多く発生します。理論やシミュレーションで導出された方式やアルゴリズムはもちろん、それらを組み込むハードウェアまで含め、理論から実践まで一気通貫で取り組んでいくことが重要だと私たちは考えています。今回、Sony Technology Day（2021年12月開催）で発表したモデルにおいても、数式通りの制御のために、圧力センサのスペックや取り付ける位置、指先の形状なども試行錯誤して検討と機体の改良を続けており、エンジニアのアイデアと工夫が詰め込まれています。

Researchers

坪井利充 Tokyo Laboratory 24

ロボット技術は、未開拓の技術が多数存在しています。今回のような、理論構築から始まり、センサを作りハードウェアやソフトウェアとして実装し、それらを統合することで初めて実現した技術が数多くあります。それをゼロから取り組める環境があること、その挑戦を許容する懐の深さがソニーの魅力です。ゼロから世界を創り出して世界を変えていく、そんなやりがいに溢れている職場です。

宮澤清和 Tokyo Laboratory 24

ロボット技術とは、センサや制御、配線、回路基板、アクチュエータの開発から評価まで、多種多様な技術を、機械学習など新しい手法を通じて統合していく技術であり、そのほとんどを自分たちの力で進めていく、こんな企業はソニーをおいて他にはないと思います。かつ、ソニーグループ全体のビジネスはワールドワイドで様々な事業領域にタッチしています。やりたいことをやるために必要なのはモチベーションとアイデアのみ。本当に恵まれた環境だと思います。

Recent Publications

Theoretical Derivation and Realization of Adaptive Grasping Based on Rotational Incipient Slip Detection
成田哲也，永仮智子，コヌスウィリアム，坪井利充，長阪憲一朗
International Conference on Robotics and Automation (ICRA)
---
3D-CNN Based Heuristic Guided Task-Space Planner for Faster Motion Planning
寺澤良，有木由香，成平拓也，坪井利充，長阪憲一朗
International Conference on Robotics and Automation (ICRA)