[Review] Trends and challenges in robot manipulation

2023. 10. 31. 16:56카테고리 없음

https://www.science.org/doi/full/10.1126/science.aat8414?casa_token=tq7OlAW4SfQAAAAA%3AsxmM0qM76FHHkwC-zf3nkjTOxO-wP7yjDnjBKapr7pueSSbLpEYhz3CEVOBCYuExJC8RfVbjUESDqzWf

 

 

Trends and challenges in robot manipulation.pdf
0.89MB

 

[Review Summary]

 

배경 : 인간은 다양한 형태, 크기, 재질의 물체를 manipulate하는 환상적인 능력을 가지며, object의 position을 정제된 공간 안에서 우리 손의 발전된 능력을 통해 control 할 수 있다. 인간의 손에서 영감을 받은 기계들, 자율적으로 물건을 집고 조종할수 있는 기능을 가진, 은 언제나 로보틱스의 중요한 구성요소이고 있다. 1960년대로 거슬러 올라가 첫 번째 로봇 매니퓰레이터는 건설된 첫번째 로봇 기기였다. 초기에, 로봇 매니퓰레이션은 자세히 묘사된 운동 절차로 묘사되었는데, 그것은 로봇이 환경 변화에 적응하는 능력 없이 실행할 수 있는 것이다. 시간이 지나면서, 로봇은 점진적으로 능력을 얻었다, 자율적으로 움직임 절차를 생성해내고, 인공 지능과 자동화된 이유를 도출해내는. 로봇은 상자를 크기, 무게 등에 따라 쌓을 수있으며 기하학적 이유를 넘어서 확장하고 있다. 이러한 절차는 또한 로봇이 에러와 불확실성을 관리하는 것을 요구한다, 실행 시간 동안 감지되며, 쌓여있는 상자들의 위치와 방향에 대한 최소한의 부정확성을 고려하면, 전체의 건물이 무너질 수 도 있다. 제어 이론에서 유래한 방법들은 또한 로봇이 자연의 불확실성을 준수할 수 있게 하는 수단이 되었다, 접촉 즉시 힘을 발휘할 수 있도록 힘을 실어 줌으로써. 접촉 시 안정적으로 힘을 변화시킬 수 있는 기능으로 로봇의 조작 레퍼토리를 확장하여 구멍에 패그를 삽입하거나 망치질을 하는 등 보다 복잡한 작업을 수행할 수 있습니다. 그러나, 이러한 동작중 아무것도 진짜로 잘 혹은 손으로 하는 조종 능력으로 묘사되지 않았고, 그리고 이것들은 공통적으로 단순한 두개의 손가락 그리퍼를 이용해 수행되었다. 다목적의 양질의 매니퓰레이션을 가능하게 하기 위해, 로봇공학자들은 도구를 사용하여 사람과같은 손을 설계하는데 노력했다. 도구를 손에 들고 사용하는 것 자체가 문제가 되었고, 다양한 진화된 알고리즘이 물체의 안정한 홀딩을 가능하게 하도록 개발되었고, 최적의 보증을 제공했다. 최적성이 확률적 환경에서 달성되기 어렵기 때문에, 1990년대부터 연구자들은 모든 수준에서 object manipulation의 강인함을 상승시키는데 주목했다. 이러한 노력들은 손과 물체의 접촉을 더 잘 제어하는 센서와 하드웨어의 설계를 가능하게 했다. 이후 진행된 연구들은 물체의 병합과 소음 측정 뿐만 아니라물체의 물리적 성질을 추론하는 adaptive control 접근 혹은 물체의 성질을 알 수 없거나 manipulation 결과로 변화하는 물체도 다루는 것을 다루는 강인한 판단에 집중했다. 

 

 

발전: 로봇공학자들은 여전히 물체를 분류하고 포장하고, 야채를 칼로 썰고, 옷을 접는 등 구조가 없고 dynamic한 환경에서의 능력을 가지는 로봇을 개발하고 있다. 현대 제조에 사용되는 로봇은 안전을 보장하기 위해 로봇과 인간 조작자 사이의 울타리가 여전히 필요한 구조화된 환경에서 이러한 작업 중 일부를 수행했다. 이상적으로, 로봇은 인간의 곁에서 함께 위험이 존재하지 않으면서 무거운 하중을 옮길 수 있는 그들의 강점을 제공해야 한다. 수 세기가 지나며, 로봇은 새로운 수준의 재능을 얻었다. 이러한 발전은 mechanics에서 로봇의 몸체를 가로지는 감각을 인식할 수 있는 센서와, 자연적 준수를 제공하는 soft actuation을 위한 mechanics의 돌파로 인해 초래되었다. 특히, 이 개발은 머신 러닝의 엄청난 발전을 활용하여 불확실성 모델을 캡슐화하고 적응적이고 강력한 제어의 추가적인 발전을 지원합니다. 현실 세계 환경에서 manipulate를 학습하는 것은 시간과 하드웨어 측면에서 비용이 든다. 데이터 기반 방법에 대해 더 자세히 설명하되 실제 물리적 시스템 사례를 생성하는 것을 피하기 위해, 많은 연구자들은 시뮬레이션 환경을 사용한다. 여전히, 잡고 손재주가 있는 manipulation은 현존하는 시뮬레이터들이 아직 전달하지 못하는 수준의 현실성을 요구한다 - 예를 들어 soft하고 deformable한 물체와의 접촉을 모델링하는 경우에. 두 방법이 이러한 이유로 요구된다 : 첫번째는 인간이 상호작용 기술을 얻고 로봇이 인간의 복잡한 manipulation을 관찰함으로서 기술을 학습하도록 격려하는 방법에서 영감을 받았다. 이것은 로봇으로 하여금 몇 번의 시도만에 manipulation 능력을 얻게 한다. 그러나, 획득된 지식을 이전에 묘사한 것과 다른 종류의 액션에 적용하는 것을 일반화하는 것은 어려움으로 남아있다. 두 번째 방법은 시뮬레이터에게 더 잘 정보를 전달해 주고 가능한 한 현실적인 예시를 생성하기 위한 목표와 함께 실제 object manipulation의 database를 만드는 것이다. 아직 마찰, 재질 변형 그리고 다른 물리적 성질의 현실적 시뮬레이션의 달성은 곧 가능하지 않겠고, 그리고 실제 실험 평가는 매우 변형 가능한 물체를manipulate하는 것을 학습하는 것은 피할 수 없을 것이다. 

 

전망 : 수년동안 소프트웨어와 하드웨어의 발전이 있었음에도 불구하고, 로봇의 재능있는 manipulation 능력을 달성하는 것은 열린 문제로 남아있다 - 재미있는 일이긴 하지만, 인간의 파악 및 조작 기술에 대한 이해를 향상시켜야 한다는 점을 고려할 때. 우리는 로봇을 작업을 자동화 할 뿐만 아니라 사람이 위험을 피하며 반복적이고 위험한 작업을 쉽게 수행하는 데 필요한 도구로서 개발한다. 사람과 로봇 사이에서 강인하고 유연한 협업을 달성하는 것은 이러한 이유로 추후의 중요한 도전이다. 사람과 인간을 구별하는 울타리는 점진적으로 사라질 것이고, 로봇은 인간과 함께 물체를 manipulate하기 시작할 것이다. 이러한 목표를 달성하기 위해, 로봇은 반드시 부드럽고 신뢰할만 한, 인간의 의도를 이해하고 적절히 반응하는 파트너가 되야 한다. 더욱이, 로봇은 반드시 어떻게 인간이 상호작용하는지를 더 잘 이해해야 하고, 그리고 반드시 real-time의 적응 능력을 달성해야 한다. 설계에 의하여 안전한 로봇을 개발할 필요성도 있고, 다중 센서 피드백을 기반으로 한 제어 및 계획 방법론뿐만 아니라 부드럽고 가벼운 구조에 중점을 두고 있습니다.

 

======================

 

[Review]

 

손재주가 있는 manipulation은 로보틱스의 최우선 과제 중 하나이다. 이러한 능력을 가진 로봇은 물체를 분류하고 포장할 수 있고, 야채를 썰며 옷을 접을 수도 있다. 로봇이 인간과 함께 일함에 따라서, 그들은 또한 반드시 인간을 의식해야 한다. 수세기동안, 연구자들은 이러한 목표를 향해 성과를 만들어 왔다. 전진은 visual과 haptic perception, natural compliacne를 제공하는 soft actuator 형태의 mechanics에서 이루어졌다. 특히, 이 개발은 머신 러닝의 엄청난 발전을 활용하여 불확실성 모델을 캡슐화하고 적응적이고 강력한 제어의 추가적인 발전을 지원합니다. 가장 예측불가능한 상대, 인간을 상대로 어떻게 로봇이 행동하게 할 지에 대한 질문이 남아있다.

 

가방 속에서 열쇠를 마구 뒤지며 찾았던 경험이 있는가? 만약 그렇다면, 당신은 아마 가방 속의 분리된 것들 중에서 그것을 찾는 데 몇 초 밖에 안걸렸다는 것을 상기할 것이다. 분명히, 당신은 너의 능력을 반영하지 않았으며 아마 신속한 in-hand manipulation을 통해 이 특별한 재주를 수행했을 것이다. 하루 종일, 우리의 손가락은 집고, 움직이고, 물체를 변화시키고 물, 공기, 기름과 같은 다양한 환경에서 물체와 상호작용한다. 우리는 우리의 손과 손가락이 무엇을 하고 있는지 또는 다양한 것들의 지속적인 통합에 대해 생각하는 데 시간을 보내지 않습니다
감각 양식— 시각, 촉각, 고유수용, 청각과 같은 것들이 있습니다 - 우리가 실행할 수 있는 상호작용 작업의 폭에서 다른 생물학적 시스템을 능가할 수 있도록 도와줍니다. 크게 간과되고, 아마도 가장 매력적인 것은 우리가 이러한 상호작용을 수행하고 로봇과 같은 인공적인 시스템에서 또한 쉽게 달성할 것이라는 믿음입니다. 물체를 manipulation하는 것은 어디에나 있는, 우리가 아이로써 이러한 능숙함을 획득하는 데 얼마나 어려웠는지를 잊어버린, 어디에나 있는 활동입니다. 아이들은 단순한 집기 반사신경을 가지고 태어난다. 손가락을 개별적으로 제어하기 위해 3년이 필요하고 어른과 같은 조종 기술의 계획된 순서와 부드러운 접촉을 만들기 위해서는 6년이 필요하다. 심지어 사람에게도, 몇 가지 dexterous 활동은 도전적이다. 예를 들어, 신발끈을 묶는 것은 다양한 방법으로 완성되고, 그러한 활동을 실행하기 위한 다양한 유효한 모델이 존재한다. 게다가, 우리는 시각적으로 묘사할 수 있다 어떻게 무엇을 하고 그 결과가 어떻게 될 것인지에 대해, 하지만 우리는 안정한 조건을 만족하기 위해 필요한 적용되는 힘의 크기와 토크 혹은 마찰계수의 크기에 대해 쉽게 이야기할 수는 없다. 여전히, 심지어 결과가 항상 최적으로 수행되지 않더라도, 연습과 탐험을 통해 manipulation 목표를 달성하는 방법을 찾는다.

우리는 아마 또한 환경에 적응한다 - 신발끈을 묶을 때 좀 짧은 상황과 같이 - 우리의 일반적인 방법으로부터 벗어나도록 한다. 그러므로, 어떠한 상호작용이 수행되는지에 대한 문맥이 실행과정의 다양한 변수에 영향을 미친다. 비록 로보틱스가 mechanical design, perception, robust control targeted to grasping and handling object에 방대한 진전을 이뤘어도, 로봇 manipulation은 여전히 인간 손재주의 불쌍한 대신이다. 현재까지, 어떤 로봇도 쉽게 설거지를 할 수 없다. 

 

[What can robots do today?]

로봇은 산업적인 조립 과정과 같은 반복적이고 친숙한 환경에서 물체를 집고 매니퓰레이팅하는데 능숙하다. 이러한 환경에서, 기하학적 특성, 재질 특성, 물체의 무게는 공통적으로 알려져있다. 로봇은 물체 특성의 작은 차이에 적응해나가면서 움직임을 할 수 있지만, 전체적인 과정은 전형적으로 예측된 변수들의 제한된 집합에 최적화되어있다. 초기 공장 환경에서, 로봇 팔은 미리결정된 궤적으로 움직였고, 물체가 항상 같은 위체에 나타난다고 가정했다. 오늘날, 로봇은 물체를 다른 위치에서 회수하도록 그들의 궤적을 적응할 수 있고, 다른 기계에 의해 정확한 위치에 쌓인 것이 아니라 인간에 의해서나 혹은 단순히 컨베이어 벨트에 놓아지는 물체를 위치시키는 것도 가능하다. 전형적으로 자동차 산업에서 로봇이 바닥에 조립되어있고 연속되서 위치해있는 전통적인 공정이, 이제는 더 유연하게 가능하다. 컨베이어벨트에서 움직이는 잘 보인다면 물체는 카메라에 의해 탐지될 수 있고 픽업될 수 있다. 하지만, 투명한 물체나 부분적으로 숨겨진 물체의 탐지는 어려움으로 남아있다. 생산되는 상품의 종류가 자주 바뀜으로서 로봇 산업은 다목적의 물체를 집고 다루는 것이 필요하다. 이러한 목표에 첫 번째 절차는 로봇에 크기와 강도에 달라지는 그리퍼의 선택지를 주고 로봇에 tool(도구)를 변경하는 메카니즘을 줌으로서 그들이 적절한 도구를 고르게 가능하게 하는 것이다. 주어진 과업에 대해 어떤 도구를 사용할지 판단하기 위해, 로봇은 반드시 모양, 무게, 재질과 같은 물체의 특성에 대한 지식이 있어야 한다. 이런 정보는 모든 물체가 알려진 공장에서는 쉽게 가능하다. 하지만, 매니퓰레이트될 물체들이 이전에 알지 못할 거 같은 다른 환경에서는 이런 요구사항이 한계를 보인다. 

 

[What can robots not do today?]

비록 로봇이 강체(rigid)물체를 다루도록 적응되어 있지만, 과일과 야채, 의류 같은 크기와 무게, 표면 특성이 다른 flexible한 물체에 대해서도 고군분투 하고 있다. 삽입, 절단, 구부림과 같은 변형을 일으키는 매니퓰레이션은 특별히 어렵다, 왜냐하면 변형의 정확한 모델이 필요하기 때문이다. 산업적 그리퍼는 종종 흡입으로 물체를 집기 위해 유압 진공 펌프를 사용한다. 이 기술은 물체를 집는데 있어서는 타의 추종을 불허하지만 물체 조작에는 훨씬 덜 유용합니다 (예: 물체의 방향을 바꾸고 좁은 공간에 놓음). 이런 도전을 해결하기 위한 첫번째 단계는 로봇에 더 재주가 있는 손을 제공하는 것이다. 아직 사람과 같이 dexterous한 손을 만드는 것은 어렵다 - 우리 피부와 근육과 크기, 정교함, 효율성이 동일한 센서와 액츄에이터가 없기 때문에. 로봇의 손재주 개선은 더 능력 있는 손의 공학에만 국한되지 않습니다. 발전된 소프트웨어 프로그램이 필요하다 - 현실의 대량의 시각,촉각,힘 정보를 분석하고 그 센서들은 연관시켜 물체를 인식하고 변형을 모델링하기 위해. 게다가, 로봇은 물체를 어디있고, 어떻게, 왜 매니퓰레이트하는지 예측하기 위해 진화된 인식 기능이 필요하다. 이 review의 나머지는 왜 이런 도전이 어렵고 오늘날 로봇이 어느 분야에 있는지를 묘사한다.

 

[Why is designing robotic hands difficult?]

비록 로봇 손에 대한 연구가 50년 넘게 진행되고 있지만, 지금까지 많은 응용 분야에서 사용된 가장 일반적인 손은 여전히 별도의 감지 없는 평행 jaw gripper 이다. 감각이 없는 그립퍼로 물건을 집어 드는 것은 엄지와 검지가 모두 저린 상태에서 엄지손가락 끝과 검지손가락 끝으로 잡는 것과 같습니다! 이런 도구는 아마 단순한 pick-and-place 동작에는 충분하지만, 키를 섞는 동작 같은 더 복잡한 액션에는 그렇지 않다. 왜냐하면 사람의 손은 쉽게 복잡한 동작을 하기 때문이다. 그건은 로봇공학에 있어서 자연스러운 영감이다. 

그러나 인간의 손과 유사한 센서와 액츄에이터를 가지는 로봇 손을 디자인하는 것은 여러 이유로 어렵다. 사람의 모습을 닮은 로봇 손을 만들 때, 제한된 허용 장소에서 모든 필요한 액츄에이터, 센서와 역학적 구조를 충족하는 것은 어렵다. 또다른 장애물은 부착된 팔의 하중 요구조건을 충족하기 위해 손의 무게를 가볍게 유지하는 것이다. 그러므로, 인간의 손과 비교해서, 대부분의 사람의 모양과 비슷한 손과 보형물들은 많은 제어가능한 자유도를 거의 가지고 있지 않다.

 

인간의 손은 부드럽고 유연하며, dexterous한 엄지는 움직임의 명확한 범위가 기계적으로 복제하기 어렵고, 왜냐하면 힘줄과 근육의 복잡한 조합이 전통적인 직렬의 로봇 joint 디자인과 다르기 때문이다. 오늘날, 로봇손은 여전히 대부분  액츄에이터같은 전기식 모터와 함께, 단단한 플라틱과 금속의 부품으로 구성되어 있다. 이 단단함은 부분적으로 dexterity의 부재의 원인인데, 왜냐하면 잡는 실행을 할 때 실수를 할 여지를 주지 않기 때문이다. 물체와 가까운 단단한 손가락은, 만약 물체의 위치가 정확히 예측되지 않으면, 물체를 잡을 때 보다 아마 쉽게 움직일 것이고, 그리고 너무 많은 힘을 작용하는 것은 물체의 파손을 유발할 수 있다. 로보틱스에서 떠오르는 트렌드는 물체의 형상에 맞게 할 수 있는, 접촉 시 예측되지 않은 힘을 흡수할 수 있는, 매니퓰레이션 동안 하중 변화를 보상할 수 있는, soft hands를 개발하는 것이다.

 

부드러움(softness)이란 하드웨어 혹은 소프트웨어 혹은 둘의 결합의 변화로 달성될 수 있다.(fig1) 재료에서 오는 부드러움은 3D 제조와 재료 과학에서 오는 손의 구조 해답에 사용된다. 예를 들어, 누구는 필요하다면 팽창하고 수축할 수 있는(deploy and retract) 구부릴 수 있는 손가락을 만들기 위해 겹겹히 재료를 쌓아 단단하고 유연한 재료를 만들 수 있다. 현재는, 낮은 하중과 이러한 탄성체의 느린 속도는 매니퓰레이션이 오직 가벼운 물체만 하게 제한한다. 더 많은 힘을 만들어 내기 위한 대안으로써, 유압 혹은 수압 액츄에이션이 아마 사용된다. 

 

인간의 손은 적절한 수준의 마찰과 댐핑을 제공하는 다목적의 피부로 덮혀져 있다. 인간의 피부는 고주파수, 고해상도 센서이다 - 잡기 조정에 중요한 수직방향과 접선방향 힘의 정확한 정보를 제공하는. 인간의 피부는 또한 신축성(stretch)와 온도를 측정할 수 있다. 대조적으로, 로봇 손은 전형적으로 주로 손가락 끝에 위치하는 작은 힘 센서를 통해 가해지는 힘을 측정한다. 힘 센서는 매우 정확한 3D 측정을 야기하지만, 정확한 접촉 지점을 쉽게 밝힐 수는 없다. 한 번 손에 잡았던 물체를 이동하거나 여러 개의 물체를 한 번에 잡으려면, 정확한 접촉점을 측정하는 것이 필요하다 - 손가락 끝에서 뿐만 아니라 손가락 길이와 측면을 따라서, 그리고 손바닥 내부에서도. 이것은 모든 팔을 따라 접촉 측정을 제공하는 인공 피부로 달성될 수 있다. 인공 피부에 대한 관심은 1980년대를 거슬러 올라가지만, 주요한 발전은 과거 10년동안 달성되었다. 

 

현재, 우리는 로봇의 형상에 맞출 수 있는 다양한 감당 가능한 제품을 찾는다. 촉감(touch)센서는 접촉시 수직 항력을 측정한다, 일부는 또한 접선방향 힘, 토크, 온도, 진동 혹은 표면 성질 또한 제공한다. 그럼에도 불구하고, 대부분의 촉감 센서는 단단하고, 그들의 위치는 손가락끝과 팔 부분(limb segment) 에 고정되었다. 그러나, 관절(손가락 관절, 팔꿈치, 무릎)에서의 촉감 감지는 끼임(entrapment)을 탐지하는 데 중요하다. 이것은 또한 물체 내부를 탐헌하는 데도 유용하다. 이러한 접촉은 오직 팔의 유연성하고 확장되는 점들을 따라 구부러지고 늘어나는 soft 센서를 통해서만 감지가 가능하다.(fig2, right)

그러므로, 유연하고 늘어날 수 있는 피부는 로봇공학자들의 최고의 관심사이다. 실험실에서 프로토타입은 존재하고, 우리는 현재의 관심사가 soft electronics라는 것을 감안할 때, 곧 그들의 배포를 볼 것이라 기대할 수 있다. 

 

피부를 사용하는 것의 대안으로, 비젼으로부터 haptic(접촉, 힘)정보를 추론할 수 있다. 예를 들어, 접촉의 동적 모델로 부터 비젼을 통해 힘을 추론할 수 있다.(fig2, left) 혹은 광학 센서를 사용해 높은 공간의 해상도에서 물체의 기하학의 변형을 렌더링 할 수 있다. 물체의 정확한 위치, local geometry, 그리고 무게나 무게 분포와 같은 다른 특성치를 예측하는 것의 필요성은 application에 강하게 의존한다. 이것은 손 디자인, 재료, 그리고 적절한 여분을 제공하는 내부와 외부 센서의 상호작용이다. 추가적인 도전으로는 매우 높은 주파수에서 적절히 slip의 감지를 위해 접촉을 측정하는 것이다. 이러한 높은 공간적, 시간적 해상도같은, object tracking을 위한 실시간으로 처리된 vision data와 함께 하는 것은 computational 하중을 유발할 것이다 - 실시간으로 해석되어야 하는 엄청난 data 흐름들. 이러한 절차는 주로 손에서 떨어져 있는 CPU에 의해 수행된다. 대신, processing은 아마 전용 CPU의 사용을 통해 손 그자체에서 수행될 것이고, 하지만 이러한 CPU들은 오로지 vision data를 처리하는 데 집중하고 있다. vision과 결합하여 촉감 정보를 처리하기 위한 하드웨어의 개발에 대한 추가적인 연구가 요구되고 있다. 

 

따라서 손재주가 뛰어난 로봇 손은 부드러운 작동 설계를 위한 재료 과학의 연구를 사용하여 손의 전체 표면을 따라 접촉 감지를 가능하게 하고, 전자공학의 발전을 이용하여 온보드, 다중 센서 데이터의 실시간 처리를 실현할 수 있습니다.

 

[Design beyond anthropomorphism(의인화)]

비록 인간의 손이 매력적이지만, 로보틱스를 위한 최고의 해결책을 가지고 있지는 않다. 인간 손의 디자인은 아마 심미적 이유를 위해 바람직하다 - 예를 들어, 손 보형물이나 휴머노이드 로봇을 디자인 할 때. 하지만 이런 같은 디자인은 아마 많은 로봇에겐 불필요할 것이다. 산업용 로봇 손은 특정한 작업을 위한 좋은 해결책으로 남아 있다. 사람의 손가락의 위치를 복제하려는 것보다, 이러한 손들은 팔을 따라 산업용 나사를 박기 위해 특별히 맞춰진 디자인으로, 대칭적으로 배열된 두 개 혹은 세개의 손가락을 가지고 있다. 

 

로보틱스는 의인화와 전통적인 산업용 디자인 사이에서 진동하고 있다. 하지만 단순한 동물의 잡기 시스템은 또한 영감을 줄 것이다. 예를 들어, 물고기는 그들의 먹이를 빨아들인다. 로봇의 손가락에서의 추가적인 흡입은 수중에서 유용한데, 왜냐하면 이러한 기술은 손에 의해 생성된 flow를 없애기(cancle) 때문이다.

 

왜 이런 수단과 자연 너머의 손을 만들지 않는가? 예를 들어, 인간의 엄지는 엄청나지만, 매니퓰레이션을 위한 손의 방향을 제한하는 비대칭성을 만든다. 하지만, 두개의 엄지가 같은 손에 있는 것은 인간의 능력을 넘어선 dexterity를 제공한다.(fig.3)

[Desiderata(필요성) for the next generation of robotic hands]

우리 주위의 물체는 우리 손으로 만들어졌고 적응되어왔고, 그것들은 현재의 로봇 손과는 비교적으로 여전히 작고 매우 강인하다. 로봇이 펜, 나사 같은 작은 물품들을 주울 수 있게 하는 것은 명확한 기능성 목표이다. 오늘날, 로봇 팔과 손은 일반적으로 분리되어서 개발되었고, 그들을 합치는 거은 엔지니어의 일이다. 산업용 팔은 상당한 하중을 가지고 있지만, 일반적으로 바닥에 고정되어있고 야외 산업적 환경에 전개되기에 너무 크게 디자인되었다. 좋은 조립 작업을 위해 의도된 휴머노이드 로봇과 로봇의 팔은 낮은 유효 탑재량(payload)을 가지고 있는데, 그것은 전형적으로 손으로 옮기고 손으로 물체를 집는데 충분하지 않다. 팔과 손에 센싱 기능을 더하는 것은 빠르게 복잡해질 수 있는 cab-ling을 요구한다. 더군다나, 많은 손들은 접촉과 힘을 측정하는 데 생각이 없거나 제한되었다. 그러므로, 팔이 없는 로봇손의 개발과 손이 없는 로봇팔의 개발로 나아가기 위해 패러다임의 변화가 필요하다. 우리는 반드시 손이 plug-and-play 방식으로 개발되고, 기존의 도구 변경 시스템을 통해 쉽게 부착되고 탈착될 수 있게 보장해야 한다. 최신식의 힘, 촉각 센서는 반드시 팔-손 시스템의 고유의 부분이 되어야 한다. 

 

로봇 dexterity는 소프트웨어 발전 만큼이나 하드웨어 발전의 부산물이다. 이것은 센서와 액츄에이터를 통해 수집된 방대한 양의 정보를 빠르고 효율적으로 처리하기 위한 적합한 알고리즘을 요구한다. 동시에, 물체,장면,작업 특정과 연관된 손의 움직임을 적절히 제어하기 위한 알고리즘이 필요하다. 우리는 다음으로 매니퓰레이션을 위한 인지, 제어, 학습의 발전을 리뷰할 것이다.

 

[Perception for manipulation]

사람처럼, 매니퓰레이션을 위한 로봇 인식은 다양하다.(fig 4)

비전은 물체를 인식하고 로컬라이징하기 위한 수단이 된다. 현존하는 물체의 데이터베이스와 연합할 때, 로봇 비전은 알려지거나 혹은 알려지지 않은 물체의 기하학적, 물리적 특성을 추론하는 데 도움을 줄 수 있고, 그리고 이 정보는 손의 구멍을 과 적용될 힘을 형상화하는 데 중요하다. 고유감각(proprioception) - 말 그대로, 로봇의 팔이 어디 위치해 있는지에 대한 지식은 - 지속적으로 물체를 추적하기 위한 시각적 도움과 함께, 물체를 향해 팔과 손을 가이드하기 위해 필요하다. 촉감과 힘 측정은 접촉이 발생하고 물체가 손에 의해 쥐어지거나 탐험하게 될 때 중요해진다. 이 결합된 제어 알고리즘은 아마 잘 예측되지 않거나, 이전에 모르는, 강직성과 질량 분포와 같은 물체의 물리적 특성을 추론하기 위해 잡기를 가이드 하는데 사용된다. 소리는 보이지 않는 물체의 내용을 추론하고 조작하는 동안 내용의 변화를 감시하는 수단으로도 최근 주목받고 있습니다. 예를 들어, 로봇이 냉장고에서 우유 패키지를 가져오는 작업을 부여받았다. 로봇이 손에 패키지를 쥐기 전에, 우유 패키지가 얼마나 남아있거나 실제 무게가 몇인지에 대해 알지 못한다. 우유 패키지가 종이로 만들어 졌음을 감안하면, 로봇적절한 잡기 힘을 작용하고 패키지를 파괴하지 않기 위해 무게를 알아야 한다. 우유의 경우에는,  소리가 또한 패키지가 흔들어 질 때 점성에 대한 정보를 제공하는데, 왜냐하면 요거트같은 다른 물질과는 소리가 다를 것이다. 

 

과거 수 년 동안, 시각적 정보를 분석하기 위한 주요한 노력이 실행됬고, 진전은 상당하다. 그럼에도 불구하고, 로봇은 여전히 부분적으로 보이지 않는, 특별히 움직이는 카메라로 볼 때 혹은 물체가 로봇의 손에서 움직일 때의, 물체를 인식하는 데 어려움을 겪는다. 비전 알고리즘의 개발에 비해서, 전제 손을 haptic 센서로 커버하기 위한 해결책이 여전히 없는 것을 고려할 때, 훨씬 적은 노력이 haptic 정보 분석에 바쳐지고있다. 오늘날, visual, haptic 데이터는 접촉을 토해서 제공되고, 오직 몇몇의 최근의 연구가 두 방식을 인지, 잡기, 손안에서 조정, 형상 재건축을 위해 결합하고 있다. 비교적으로, 인간은 시각과 촉각으로 부터, 다른 감각 사이에서 대체하는 것이 능숙하고, 심지어 처리중인 주기에서도 감각 변화를 빠르게 진행할 수 있다. 대조적으로, 로봇은 여전히 어떤 센서를 사용하고, 언제 사용하고, 언제 다른 센서들 사이에서 전환하는 지 결정하는 능력이 부족하다. 

 

[Grasping : A stepping stone] 잡기 방법

로봇이 손에서 물체를 매니퓰레이트 할 수 있기 전에, 물체 주위에서 손가락을 이용해 잡기가 가능해야 한다. 만약 잡기가 추가적으로 고려되는 제한조건 없이 물체 주위에서 손가락만들 사용하는 것이라고 개념화된다면, 잡기라는 도전은 해결될 것처럼 보인다. 하지만, 물체를 잡는 것은 훨씬더 힘든 문제이다. 수세기동안, 연구자들은 안정적인 잡기를 어떻게 형성하는지의 이론을 확립하기 위해 노력해 왔다. 이것은 안정성을 확립하기 위해 물체의 표면에 손가락끝의 최적의 위치와 최소의 숫자를 정의하는데 목표를 두는, 복잡한 수학적 작업이 되었다. 비록 이게 가치가 있다 해도, 대부분의 이런 이론적 작업은 물체의 알려진 3D 모델, 단단한 접촉점, 과정에서 불확실성이 없는 것과 같은, 가정들에 의존한다. 불완전한 물체 모델과 상호작용 과정에서의 역학에서 유래한 불확실성을 포함하기 위해, 우리는 모델링을 단순한 접촉점을 넘어서야 하고, 기본 이론에서 상당한 발전을 추구해야 한다.

 

그러므로, 최근의 많은 연구가 데이터 기반으로 진행되었다. 로봇이 물체를 마주칠 때마다 최적의 잡기를 계산하는 것을 피하기 위해, 잡기에 대한 데이터베이스를 구축하고, 실시간으로 대상자 파악을 샘플링하고 순위를 매기는 방법론을 사용한다. 이러한 접근은 인식(perception)에서 불확실성을 다루고, 알려지고,친숙하고, 심지어 알지 못하는 물제를 위한 잡기의 빠르고 online한 생성을 제공한다. 물체의 특성치에 대한 이전의 지식이 필수적인 지각이 있는 절차를 결정하고, 잡기 대상자를 생성하고 순위매기기 위한 물체의 대표(representation)과 연관시킨다. 비록 이런 방법이 알려져있고 친숙한 물체에는 잘 적용되지만, 알려져있지 않은 물체는 기하학적 구조를 발견하기 위한 추가적인 학습 방법을 필요로 한다. 이런 도전은 주로 컴퓨터 비전에서 즉각적인 인식과 분류의 전통적인 문제와 연관되고, 하지만 잡고자 하는 의지는 새로운 차원을 추가하는 독립적인 절차는 아니다.

 

물체에 의존적인 것과 마찬가지로, 잡기는 또한 로봇에 의존적이다. 게다가, 손의 자유도의 수가 증가하면서, 제어의 복잡성도 증가한다. 이것은 의인화된 손에 특별히 해당하는 문제이다. 제어를 단순화하고자하는 한 연구의 방법은 생물학에서 영감을 받았고 자세의 시너지를 사용하도록 촉진한다. 시너지는 신체의 kinematics에 의해 가능한 것들과 관련하여 효과적인 인간 운동의 하위 공간의 기초를 형성합니다. 이러한 것들은 로봇 손 분석, 제어 그리고 디자인 선책을 위한 도구로 사용되고 있다. 몇몇 연구는 또한 어떻게 활동이 저조한 손이 구조가 없는 환경에서 물체를 잡고 매니퓰레이트하는 데 영향을 주는지 설명했고, 어떻게 이런 작업이 완전히 활발한 손에 비해 상대적으로 싸고 가볍고 제어하기 쉬운 적응형(adaptive) 손으로 이끌 것인지에 대해 설명했다. 최근의 연구는 매니퓰레이션 기능을 올리기 위해 손의 디자인을 최적화했고, 오픈 소스 소프트웨어로 제공한다. 다른 최근의 연구는 환경에서 순응적인 손의 변형 능력이 조작의 인지 부하를 감소시킬 수 있다는 것을 시사했습니다. 또한, 이 아이디어는 명시적인 제어의 필요 없이 순응적 상호작용이 특정 맥락에 대한 행동 적응을 허용하는 형태학적 계산을 사용하여 체계적으로 연구될 수 있습니다.

 

[From grasping to manipulation]

잡기는 그것으로 끝나지 않는다; 사람 혹은 로봇이 실행하는 과업을 연관된다. 예를들어, 컵을 집을 때 마실 건지, 채울 것인지 혹은 다른사람에게 건내 줄 것인지 등 다르게 의존적이다.(fig5)

비슷하게, 비록 수프를 섞을 때 칼, 포크 혹은 수저를 쥐더라도, 이 잡기는 먹을 때 다르다. 물체를 잡는 최적의 방법을 설명하기 위해서, 잡기의 목적을 반드시 이해해야 한다. 그러므로, 로봇공학자들이 어떻게 물체를 잡는 지에 대한 문제를 푸는데 집중하는 동안, 그들은 첫번째로 잡기를 실행하는 이유를 밝혀야 한다. 오늘날, 연구자들은 잡기를 물체 매니퓰레이션의 전체적인 계획의 한 파트로써 여기고 있다.

 

적절한 도구를 사용한 적절한 잡기를 결정하기 위해, 먼저 올바른 도구를 사용할 수 있어야 한다. 망치가 필요하지만 손에 닿을 수 없을 때, 대신 인간은 망치 역할을 할 수 있을 정도로 튼튼한 첫번째 문제를 선택할 것이다. 가장 적절한 도구를 사용할 수 없을 때 이러한 방식으로 추론할 수 있는 로봇을 개발하려는 향후 노력은 자연 환경에서 로봇의 배치를 용이하게 하기 위해 매우 중요하다. 추가적으로, 이런 기능을 가진 로봇은 우리 가정에 요구되지않는 변겨사항을 만들지 않으며 인간의 손재주로 집안일을 수행하도록 설계된 도구를 사용할 수 있을 것이다. 이러한 상식을 설치하는 것이 중요한 연구분야이고, 몇몇 오기 연구가 수행되고 있다. 

 

[Manipulations that remain diffucult]

직전 섹션은 로봇이 인간의 지능 수준을 가지고 잡기를 수행하기 전에 해결해야 하는 많은 문제들을 설명한다. 즉, 로봇은 또한 이미 상당히 특정 종류의 물체들을 잡고 놓는 데에 충분하다는 것이다. 로봇은 또한 던지기, 피봇팅, 밀기 등 수많은 단순한 매니퓰레이션 행동을 수행하기에 적합하다. 문제점은 이런 행동들이 복잡한 장소나 접촉이 많은 장소에서 수행될 때 발생한다. 알맞은 경로를 계획하고 손과 다른 물체에 충격을 가하지 않는 것이 보장되는 일련의 즉각적인 행동들을 생성하는 것이 필수적이다. 오늘날, perception과 control은 단단히 결합되있다 인식되고, 상호작용하는 perception의 분야는 더 나은 매니퓰레이션을 수행하는 의미로써의 perceive와 perception의 수단으로써의 매니퓰레이션이라 여겨진다. 

 

자르기나 부수기 같은 물체에 변화를 만드는 매니퓰레이션 행동들은 특별히 어렵게 남아있는데, 왜냐하면 그들은 변형 모델과 변화를 감독하는 발전된 perception이 필요하기 때문이다. 유발된 변화에 쉽게 적응하기 위해, 이러한 작용은 또한 손으로 힘을 가해야 한다. (볼트를 풀 때 마찰력의 감소, 멜론을 팔 때 점성의 증가)(fig6)

그러므로, 물체의 마찰과 점성 성질을 모델링하는 것은 여전히 중요한 문제로 남아있다, 

 

물체가 손에 쥐어진 채로 매니퓰레이션 하는 것은 특별히 어렵다. 손가락을 사용해 펜을 휘두르는 것이나 열쇠구멍에 열쇠를 넣기 위해 준비하는 예를 살펴봐라. 이런 행동들은 추가적인 잡기 운동과 슬라이딩 혹은 회전하는 행동의 조합을 의미하는데, 몇몇 경우에는 두 팔과 손의 상호작용도 의미한다. 로보틱스에서 물체와의 이런 진화된 상호작용에 대해 논의할 때, 우리는 일반적으로 본질적이고 비본질적인 dexterity에 대해 이야히기한다. 전자는 손의 가능한 자유도를 사용해서 물체를 매니퓰레이트하는 기능을 의미한다. 높은 내재적 dexterity를 가지고 있는 손은 종종 인간의 손의 구조를 모방한다. 대신, 손은 단순해질 수 있고, end effector는 특정한 작업을위해 디자인되었다. 비본질적인 dexterity는 마찰, 중력, 접촉 표면과 같은 외부의 도움에 의한 자유도의 부족을 보상하는 능력이다. 이런 기능은 또한 단순한 평행-그리퍼로 dexterous한 매니퓰레이션을 가능하게 한다.

 

로보틱스에서 크게 개발되지 않은 분야는 두 번째 손을 쓰거나 본질적/비본질적인 dexterity의 도움을 받는 것 뿐만 아니라, dual-arm 혹은 두 손을 쓰는 매니퓰레이션이다. 이런 분야에 대한 몇몇 최근 연구가 효율적인 방법으로 물체표현, 단순 이동 프리미티브의 정의, 문제를 모델링하기 위한 계획의 융합을 제안한다. 이런 분야는 대부분의 오늘날의 휴머노이드 로봇이 두 손을 쓰는 기능을 가지고 있음을 감안하면, 점진적으로 미래에 덤 많은 기여를 보여줄 것이다. 더군다나, 매니퓰레이션은 단순히 손을 제어하는 것에서 끝나지 않는다; 팔, 몸통, 궁극적으로 몸 전체의 제어를 요구한다. 상기의 나열된 도전들은 오직 누군가가 휴머노이드 로봇이 밸런스를 유지하면서 물체를 매니퓰레이트 하는 것을 바랄 때 발생한다.(fig7)

 

마지막으로,  물체를 사용하여 다른 물체를 찾아오는 것과 같은, 이유를 요구하는 더 복잡한 매니퓰레이션 기술의 제어는 여전히 유아기이다.

 

[Learning for manipulation]

인간의 손재주(dexterity)는 어린 시절에 악기연주와 같은 활동을 통해 습득된 기술이다. 비슷하게도, 로봇의 손재주는 실험실의 범위 안에서 달성될 수 없다. 세상에 존재하는 방대한 양의 물체를 매니퓰레이트 할 수 있게 하기 위해서, 로봇은 반드시 지속적으로 학습해야 하고, 그들의 인식을 조정하고 낯선 물체를 제어해야 한다. 

 

학습(learning)은 또한 물체의 정확한 모델 부족, 접촉 다이나믹스, 큰 자유도의 로봇 제어의 복잡성 증가를 해결할 수 있다. 그러므로, 많은 현재의 dexterous한 매니퓰레이션의 접근방법은 이론적 제어 접근방법 대신에 학습 방법론에 의존하고 있다.  예를 들어, 학습은 안정하거나 적합한 잡기의 표현을 포함하는 데 사용될 수 있다 - 실행 시간에 안정성을 판별하고 잡기 모션을 생성하거나 빨리 움직이는 물체를 잡는 것에 적용되는. 학습은 복잡한 단단하지 않은 물체의 매니퓰레이션 모델링 뿐만 아니라, 특히 잡기와 매니퓰레이션의 역동성을 포함하는 데 적합하다. 학습은 모델 접촉에 사용되어지고있고, 또한 잠재적인 공간을 결정함으로써 제어 차원을 감소시키는 이점이 있다 - 두 손 동역학에 필요한. 그럼에도 불구하고, 오로지 학습에 의존해 모든 문제를 푸는 것은 가능한 해답이 아니고, 특정 제한사항이 있다. 첫 번째로, 학습은 훈련을 위한 데이터가 필요하고, 일반적인 접근은 trial-and-error 실험으로부터 데이터를 생성하는 것이다. 하지만, 이 절차는 지루하고, 로봇에 데미지를 줄 수 있다. 데이터를 제공하는 떠오르는 추세는 시뮬레이션에서 알고리즘을 먼저 테스트하고 실제 플랫폼에서 학습을 정제하는 것이다. 시뮬레이션에서의 훈련은 작업의 정확한 시뮬레이터를 가지고있느냐에 의존한다. 그 대신에, 로봇은 아마 인터넷에 있는 이미지 데이터나 비디오 혹은 주로 인간인 전문가의 시연으로 부터 학습한다. 특별히 작업이 위험하거나 높은 정확도를 요구할 때 아직 전문가를 찾는 것은 항상 가능하지는 않을 것이다. 하지만, 비록 학습이 중요하더라고, 로보틱스에서의 모든 문제의 답이 될 수는 없다.

 

[Manipulating objects in interaction and collaboration with humans: Reality and cheallenges]

제조 환경에서의 인간-로봇 협업은 산업계에서 중요하게 여겨지고 있다. 비록 역사적으로 인간이 로봇의 환경에 들어가는 것이 금지되었지만 (ISO 10218; ANSI/RIA R15.06-1999 ), 로봇이 인간 가까이에서 일하며 협업하는 것은 현재는 허용되었다. 그러나, 잠재적인 위험 시나리오는 아마 발생할 것이고 해결이 필요하다. 현재, 인간과 로봇의 협력은 상당히 가벼운 상태를 유지하고 인간과의 예기치 않은 접촉 또는 충돌을 감지하기 위한 내부 힘 센서를 부여하는 조작기의 사용을 통해 허용됩니다. 무거운 무게를 조정하는 데 요구되는 용도를 위해, 무게를 조절하는 기능이 있는 로봇은 아마 인간 존재의 모니터링을 위한 외부의 비전 시스템과 협력할 지도 모른다. 아직 인간존재를 정확히 감지하기 위한 도전은 남아있다. 현재는, 최고의 해답은 정확성과 힘 센서를 외부의 비전기반 모니터링과 결합하는 것이다. 그럼에도 불구하고, 100% 울타리 기반으로 하는 안전 패러다임은 사라졌고, 산업 표준은 이제 위험 최소화와 경감에 목표를 둔다. (ISO/TS 15066 : 협동 로봇에 대한 안전 요구 사항)

 

물체가 움직이고 변화하는 세상을 마주함에 따라, 로봇은 이제 인간과 함께 협동해서 이러한 물체들을 매니퓰레이트 하도록 기대된다. 상호작용적이고 협동적인 매니퓰레이션으ㅡㄴ 로봇 매니퓰레이션에 새로운차원을 더하지만, 다양한 문제를 보여준다. 예를 들어, 로봇이 사람에게 물건을 건네주거나 혹은 큰 물체를 누군가와 공동으로 옮길 때, 로봇이 어디로 인간이 움직일 건지 그리고 인간이 다치지지 않을 지 추론하기 위해, 로봇은 반드시 신중함을 가지고 물체를 조심스럽게 잡고 움직여야 한다. 단순하게 보일 지 몰라도, 로봇이 물체를 다루는 행동은 복잡한 문제를 포함하고 있고, 어떻게 로봇이 적절히 이런 작업을 가능하게 할 것인지에 대한 연구에 영감을 주었다. 이 질문들은 시선의 역할, 사회적 단서, 사용자 상태에 대한 인식과 같은 사회적 요인과 관련된 다른 사람들에게 최적의 인간 파악을 위한 대상을 제시하는 방법에 이르기까지 다양합니다. 로봇과 사람 사이는 고사하고, 두 사람 사이에 인수인계가 이루어지는 방식을 결정하는 데 가장 중요한 요소가 무엇인지에 대해서는 의견이 일치하지 않습니다. 비록 대부분의 연구가 로봇이 인간에게 물체를 건네주는 연구에 집중했지만, 로봇이 인간으로부터 물체를 받는연구도 진행중이다. 게다가, 몇몇 연구는 로봇이 인간과 함께 물체를 매니퓰레이트하는 것에 집중했고, 인간과 공동으로 물체를 옮기는 행동은 휴머노이드 로봇과 모바일 매니퓰레이터를 사용해 설명되고 있다. 주목할 만한 최근의 노력은 변형가능한 물체의 인간-로봇 공동 매니퓰레이션, 인간의 옷입기 도와주기, 보저적인 도움 을 탐험하고 있다. 그러므로, 로봇이 인간과 아무렇지도 않게 일하기 위해서는, 연구자들은 인간의 더 나은 인식을 위한 도구와 더 적응적인 제어 모드를 가지는 로봇 장비를 갖추려 노력하고 있다.

 

[Outlook]

1960년대부터, 로봇 매니퓰레이션 분야에서 많은 연구가 진행되고 있다. 우리는 예측되지 않는 상황에 적응할 수 있는 제어 알고리즘, 잡기의 안정성을 평가하는 기본 이론을 확립했고, 적절한 센서 피드백이 있을 때 다이나믹스의 변경이 상태 예측을 수행하게 가능하게 해 준다. 최근에, 심지어 손재주가 있는 손 안의 매니퓰레이션에서 데이터-기반 방법이 발전해왔지만, 매우 특별한 문제와 맞춰진 환경을 위해서이다. 강인하고, 유연하고, 적응적인 물과 기름같은 환경에서의 완전히 알 수 없는 물체의 잡기와 매니퓰레이션은 중대한 제조 혁신을 일으킬 것이고, 그것은 좋은 매니퓰레이션과 높은 dexterity에 의존하는 대부분에 작업에 영향을 미칠 것이다. 그러나 인간의 손재주와 미세한 조작 능력을 충족시키고 이를 능가하기 위해 필수적인 여러 기술을 향한 체계적인 개발이 진행되고 있습니다. 

 

첫 번째로, 여전히 기본적인 이론 발전이 필요하다. 우리는 반드시 모델의 접촉점을 찾고, 접촉점과 접촉면 모두에게 안정성 규칙을 제공해야 한다. 또한 상대가 매니퓰레이션 이후에 눈에 띄게 변화하는 물체의 모델링에 더 나은 방법을 개발해야 한다.(예. 절단 이후 오이) 매니퓰레이션과 작업 목표에 대한 전체적인 설명이 적절한 잡기와 매니퓰레이션 액션을 계획하고 생성하는데 요구될 것이다. 이 이론과 계획의 중요성은 또한 데이터 기반 방법과도 연관된다, 왜냐하면 우리는 힘과 토크 정보가 포함된 시나리오와 예제를 생성하고 부드러운 바디를 시뮬레이팅 하는데 더 나은 도구가 필요하기 때문이다.

 

앞서 언급한 모델링과 소프트웨어적 관점과 더불어서, 또한 상당한 하드웨어 개발과 디자인 달성이 요구된다. 특별히 관련된 분야는 로봇 센싱이다. 손 디자인과 잘 결합되면서도 추가적인 케이블이나 상당한 무게를 더하지 않는 피부와 유사한 센서의 개발이 필요하다. 이 센싱 기능은 힘과 토크 측정을 용이하게 하여 전단력을 결정하여 미끄러짐을 감지하고 대응해야 합니다. dexterous한 손 안에서의 매니퓰레이션을 달성하기 위해서는, 우리는 높은 주사율로 제어되는 손을 작동시키는 것이 필요하다. 이러한 손은 반드시 상처받거나 특별한 장갑이 씌워질 필요 없이, 공기, 물, 기름 같은 특별한 환경에서도 작동해야 한다. 전반적으로, 우리는 싸고, 가볍고, 강인하고, 어떤 로봇 팔과도 쉽게 결합될 수 있는 손이 필요하다. 

 

마지막으로, 중요한 산업적 도전은 로봇이 인간에게 근접하게 할 것이고, 물리적인 상호작용과 협업을 안전하게 가능하게 할 것이다. 인간과 로봇을 구분하는 경계는 점점 사라질 것이다. 그러므로 로봇은 예상하지못한 인간의 행동에 적응하면서 인간과 함께 공동으로 물체를 매니퓰레이트하는 작업에 협동적으로 임해야 할 필요가 있다. 기계와 인간 사이에서 안전하고 부드러운 일치화된 운동을 달성하기 위한 발전된 물리적 상호작용 기능을 가진 로봇이 여전히 주요 허들이다. 이 목표를 위해서는 계획과 직접적인 신체적 상호작용을 통해 인간이 어떻게 협력하고 공동의 목표를 달성하는 지에 대한 더 나은 이해 뿐만 아니라, 인간의 신체 움직임의 상세한 추적의 발전이 필요하다. 더군다나, 다중센서 피드백에 기반한 제어와 계획 방법론 뿐만 아니라, 부드럽고 가벼운 구조에 대해 집중하는 디자인에 의해 안전한 로봇에 대한 요구가 있다, 인간의 방식대로의 행동은 미래 로봇 시스템에 계속 영감을 주는 역할을 할 것이고, 로봇은 더 나은 인간 이해를 위한 도구로서 역할을 할 것이다.