MIT 연구원들은 생성 AI 모델을 사용하여 로봇이 다양한 물체로 상자를 포장하는 것과 같은 복잡한 물체 조작 문제를 보다 효율적으로 해결할 수 있도록 돕고 있습니다. 이미지: 연구원 제공.
작성자: Adam Zewe | MIT 뉴스
가족 단위의 짐을 세단 트렁크에 실어 본 적이 있는 사람이라면 이것이 어려운 문제라는 것을 알고 있을 것입니다. 로봇은 밀도가 높은 포장 작업에도 어려움을 겪습니다.
로봇의 경우 포장 문제를 해결하려면 여행 가방이 트렁크에서 떨어지지 않도록 짐을 쌓아두거나, 가벼운 물건 위에 무거운 물건을 올려 놓지 않거나, 로봇 팔과 자동차 범퍼의 충돌 등 많은 제약 조건을 충족해야 합니다. . 방지됩니다.
일부 전통적인 방법은 이 문제에 순차적으로 접근하여 한 번에 하나의 제약 조건을 충족하는 부분 솔루션을 추측한 다음 다른 제약 조건을 위반했는지 확인합니다. 취해야 할 일련의 작업과 짐을 싸야 하는 짐이 많기 때문에 이 프로세스에는 오랜 시간이 걸릴 수 있습니다.
MIT 연구진은 이 문제를 보다 효율적으로 해결하기 위해 확산 모델이라는 생성적 AI 형식을 사용했습니다. 그들의 방법은 기계 학습 모델 모음을 사용하며, 각 모델은 특정 유형의 제약 조건을 나타내도록 훈련되었습니다. 이러한 모델은 결합되어 모든 제한 사항을 동시에 고려하여 포장 문제에 대한 글로벌 솔루션을 생성합니다.
그들의 방법은 다른 기술보다 더 빠르게 효과적인 솔루션을 생성할 수 있었고 동일한 시간에 더 많은 수의 성공적인 솔루션을 생성했습니다. 중요한 것은 그들의 기술이 훈련 중에 모델이 볼 수 없었던 제약 조건과 더 많은 개체의 새로운 조합으로 문제를 해결할 수도 있다는 것입니다.
이러한 일반화로 인해 그들의 기술은 충돌 회피의 중요성이나 한 물체가 다른 물체 옆에 있어야 하는 욕구와 같은 포장 문제의 일반적인 제약 조건을 이해하고 충족하는 방법을 로봇에게 가르치는 데 사용될 수 있습니다. 이러한 방식으로 훈련된 로봇은 창고에서 주문을 처리하는 것부터 집에 선반을 정리하는 것까지 다양한 환경에서 광범위하고 복잡한 작업에 적용될 수 있습니다.
“나의 비전은 로봇이 기하학적 제약이 많고 더 지속적인 결정을 내려야 하는 더 복잡한 작업을 수행하도록 하는 것입니다. 이는 다양하고 구조화되지 않은 인간 환경에서 서비스 로봇이 직면하는 문제 유형입니다. 전기 및 컴퓨터 공학 대학원생이자 이 새로운 학습 기술에 대한 논문의 주요 저자인 Zhutian Yang은 “구성 확산 모델의 강력한 도구를 사용하여 이제 이러한 더 복잡한 문제를 해결하고 우수한 일반화 결과를 얻을 수 있습니다”라고 말합니다. .
그의 공동 저자로는 MIT 대학원생 Jiayuan Mao와 Yilun Du; 스탠포드 대학교 컴퓨터 과학 조교수 Jiajun Wu; Joshua B. Tenenbaum, MIT 뇌 및 인지과학과 교수이자 CSAIL(컴퓨터 과학 및 인공 지능 연구소) 회원; Tomás Lozano-Pérez, MIT 컴퓨터 과학 및 엔지니어링 교수이자 CSAIL 회원; 수석 저자인 Leslie Kaelbling, MIT 컴퓨터 과학 및 엔지니어링 교수이자 CSAIL 회원입니다. 해당 연구는 로봇학습컨퍼런스에서 발표될 예정이다.
제한 합병증
지속적인 제약 만족 문제는 로봇의 경우 특히 어렵습니다. 이러한 문제는 상자에 물품을 포장하거나 저녁 식사 테이블을 차리는 등 다단계 로봇 조작 작업에서 나타납니다. 로봇 팔과 환경 사이의 충돌을 피하는 것과 같은 기하학적 제약을 포함하여 일련의 제약을 달성하는 경우가 많습니다. 물체를 쌓아서 안정적으로 만드는 것과 같은 물리적 제한; 숟가락을 칼 오른쪽에 두는 것과 같은 질적 제약이 있습니다.
많은 제약 조건이 있을 수 있으며 개체의 기하학적 구조와 사람이 지정한 요구 사항에 따라 문제와 환경에 따라 달라집니다.
이러한 문제를 효율적으로 해결하기 위해 MIT 연구진은 Diffusion-CCSP라는 기계 학습 기술을 개발했습니다. 확산 모델은 출력을 반복적으로 개선하여 훈련 데이터 세트의 샘플과 유사한 새로운 데이터 샘플을 생성하는 방법을 학습합니다.
이를 위해 확산 모델은 잠재적인 솔루션을 약간 개선하는 절차를 학습합니다. 그런 다음 문제를 해결하기 위해 매우 좋지 않은 무작위 솔루션으로 시작한 다음 점차적으로 개선합니다.
MIT 연구원들은 생성 AI 모델을 사용하여 이 시뮬레이션에서 볼 수 있듯이 로봇이 충돌을 피하면서 물체를 상자에 포장하는 것과 같은 지속적인 제약 조건 만족 문제를 효율적으로 해결할 수 있는 기술을 만들었습니다. 이미지: 연구원 제공.
예를 들어 시뮬레이션된 테이블에 접시와 식기를 무작위로 배치하여 물리적으로 겹쳐질 수 있도록 한다고 상상해 보세요. 개체 간의 충돌 없는 제약 조건은 개체가 서로 밀도록 하는 반면, 정성적 제약 조건은 접시를 중앙으로 끌고 샐러드 포크와 디너 포크를 정렬하는 등의 작업을 수행합니다.
확산 모델은 물체의 자세에 대한 여러 모델의 영향이 결합되어 모든 제약 조건의 만족을 촉진할 수 있기 때문에 이러한 유형의 연속 제약 조건 만족 문제에 매우 적합하다고 Yang은 설명합니다. 매번 무작위 초기 추측을 통해 모델은 다양한 좋은 솔루션 세트를 얻을 수 있습니다.
같이 일하다
Diffusion-CCSP의 경우 연구원들은 제약 조건의 상호 연결성을 포착하고 싶었습니다. 예를 들어 패키징할 때 한 제약 조건에서는 특정 객체가 다른 객체 옆에 있어야 한다고 요구할 수 있고, 두 번째 제약 조건에서는 해당 객체 중 하나가 위치해야 하는 위치를 지정할 수 있습니다.
Diffusion-CCSP는 각 제약 유형에 대해 하나씩 확산 모델 계열을 학습합니다. 모델은 함께 훈련되므로 패키징할 객체의 형상과 같은 일부 지식을 공유합니다.
그런 다음 모델은 함께 작동하여 제약 조건을 공동으로 충족하는 솔루션(이 경우 배치할 객체의 위치)을 찾습니다.
“우리가 항상 처음에 해결책에 도달하는 것은 아닙니다. 그러나 솔루션을 계속 개선하고 일부 위반이 발생하면 더 나은 솔루션으로 이어질 것입니다. 뭔가 잘못하면 지침을 얻을 수 있습니다.”라고 그는 말합니다.
각 제약 조건 유형에 대해 개별 모델을 훈련한 다음 이를 결합하여 예측을 수행하면 다른 접근 방식에 비해 필요한 훈련 데이터의 양이 크게 줄어듭니다.
그러나 이러한 모델을 교육하려면 여전히 문제 해결을 보여주는 많은 양의 데이터가 필요합니다. 인간은 전통적인 느린 방법으로 각 문제를 해결해야 하므로 그러한 데이터를 생성하는 데 드는 비용이 엄청나다고 Yang은 말합니다.
대신 연구진은 과정을 뒤집어 먼저 해결책을 제시했다. 그들은 빠른 알고리즘을 사용하여 분할된 상자를 생성하고 다양한 3D 객체 세트를 각 세그먼트에 맞춰 긴밀한 패키징, 안정적인 자세 및 충돌 없는 솔루션을 보장했습니다.
“이 프로세스를 사용하면 시뮬레이션에서 데이터 생성이 거의 즉각적으로 이루어집니다. 우리는 문제에 해결책이 있다는 것을 알 수 있는 수만 개의 환경을 생성할 수 있습니다.”라고 그는 말합니다.
이 데이터로 학습된 확산 모델은 함께 작동하여 로봇 그리퍼가 포장 작업을 수행하고 모든 제약 조건을 충족하기 위해 물체를 배치해야 하는 위치를 결정합니다.
그들은 타당성 조사를 수행한 후 2D 삼각형을 상자에 넣기, 공간 관계 제약 조건으로 2D 모양 채우기, 안정성 제약 조건으로 3D 개체 쌓기, 3D 개체 포장 등 일련의 어려운 문제를 해결하여 실제 로봇으로 Diffusion-CCSP를 시연했습니다. 로봇 팔.
이 그림은 2D 삼각형 패킹의 예를 보여줍니다. 이는 충돌 없는 구성입니다. 이미지: 연구원 제공.
이 그림은 안정성 제약이 있는 3D 개체의 스택을 보여줍니다. 연구원들은 적어도 하나의 개체가 여러 개체에 의해 지원된다고 말합니다. 이미지: 연구원 제공.
그들의 방법은 많은 실험에서 다른 기술보다 성능이 뛰어났으며 안정적이고 충돌이 없는 효과적인 솔루션을 더 많이 생성했습니다.
앞으로 Yang과 그의 동료들은 방 안을 돌아다닐 수 있는 로봇과 같은 더 복잡한 상황에서 Diffusion-CCSP를 테스트하고 싶어합니다. 또한 그들은 새로운 데이터를 재교육할 필요 없이 Diffusion-CCSP가 다양한 도메인의 문제를 해결할 수 있기를 원합니다.
“Diffusion-CCSP는 기존의 강력한 생성 모델을 기반으로 구축된 기계 학습 솔루션입니다.”라고 Georgia Institute of Technology의 대화형 컴퓨팅 학교 조교수이자 NVIDIA AI 연구 과학자인 Danfei Xu는 말합니다. 이 일로. “알려진 개별 제약 모델을 구성하여 여러 제약 조건을 동시에 충족하는 솔루션을 빠르게 생성할 수 있습니다. “아직 개발 초기 단계이지만 이 접근 방식의 지속적인 발전을 통해 다양한 애플리케이션에서 더욱 효율적이고 안전하며 신뢰할 수 있는 자율 시스템을 구현할 수 있을 것으로 기대됩니다.”
이 연구는 부분적으로 국립 과학 재단, 공군 과학 연구실, 해군 연구실, MIT-IBM Watson AI 연구소, MIT Quest for Intelligence, for Brains, Minds and Machines, Boston Dynamics 인공 지능 연구소, 스탠포드 인간 중심 인공 지능 연구소, Analog Gadgets, JPMorgan Chase and Co. 및 Salesforce.
MIT 뉴스
