▲장스치 뉴욕 빙햄튼대 조교수는 창고 및 다른 환경에서 인간 안전성을 강화하기 위해 로봇과 인간의 상호 작용을 모니터링하는 AR 시스템 개선 연구를 주도했다. (사진=뉴욕 빙햄튼대)

로봇과 인간이 창고, 공장, 병원 및 기타 환경에서 점점 더 같은 공간을 공유하며 상호작용해 가는 가운데 뉴욕 빙햄턴대 연구진이 증강현실(AR) 활용으로 인간의 안전성을 개선할 수 있다는 연구 결과를 내놓았다.

뉴욕 빙햄튼 대학교는 지난달 19일 발표 자료를 통해 이 대학 장스치 토마스 J. 왓슨 공학·응용과학대 컴퓨터 과학과 교수가 이 연구를 주도했다고 밝혔다.

이에 따르면 장교수와 잭 앨버트슨 2022년 졸업생, 키샨 찬단 박사과정 학생은 지난해 12월 뉴질랜드 오클랜드에서 열린 '로봇 학습 컨퍼런스(Conference on Robot Learning)'에서 발표한 논문에서 인간이 로봇과 그들의 작업을 추적하기 위해 AR을 사용할 때의 중요한 문제를 다뤘다.

AR은 실제 세계의 모습(예: 상자와 상자로 쌓은 공장 바닥) 위에 유용한 정보를 오버레이(중첩)한다. 이는 전적으로 컴퓨터로만 생성된 경험인 가상 현실(VR)과 다른 점이다.

장 교수는 “AR은 인간과 로봇 사이에 새로운 의사소통 양식을 가져온다. 인간은 태블릿이나 휴대폰을 들고, AR 안경을 쓰고, 로봇이 현재 무엇을 하고 있는지 볼 수 있다. 로봇이 장애물 뒤에 있을 때도 인간은 AR을 사용해 벽을 통과해 볼 수 있다”고 말했다.

다만 한 가지 과제는 인간이 알아야 할 가장 유용한 것이 무엇인지를 알아내는 것이다. 너무 적은 데이터는 근로자들이 최선의 결정을 내리는 것을 허용치 않게 되며, 너무 많은 데이터가 모아지면 근로자들이 이에 압도당해 버릴 수 있다. 또한 상황이 시시각각 변화함에 따라 해당 데이터도 동적이어야 한다.

이전까지의 AR 기반 인간-로봇 협업에 대한 모든 논문은 수동으로 정의된 시각화 전략을 가지고 있으며, 이는 사용자가 보여줄 정보를 결정한다는 것을 의미한다.

뉴욕 빙햄튼대 연구팀은 이 전략이 항상 최상의 구성을 제공하지 않을 수도 있다는 점을 들어 인간 전문가를 모방한 기계 학습 프로그램을 사용하기로 결정했다.

장 교수는 “전문가는 시뮬레이션 플랫폼을 사용하며, 우리는 로봇과 인간 아바타가 창고 환경에서 협업 전달 작업을 수행토록 한다. 전문가는 이를 잠시 멈추고 ‘이 상황에서 AR은 이것, 이것, 이것을 시각화해야 한다’고 말하고 나면 시뮬레이션이 계속된다. 이 같은 수천 가지 시연을 통해 모방 학습 알고리즘은 기계학습 정책을 만들고, 시간이 지나면 디스플레하기에 유용한 것을 동적으로 설계할 수 있다”고 말했다.

예를 들어 사고를 피할 수 있도록 창고내 로봇 위치를 아는 게 좋다. 재고, 필요한 수리들, 또는 다른 사람에 대한 정보는 때때로 도움이 될 수 있다.

▲장스치 뉴욕 빙햄튼대 조교수(오른쪽)와 키샨 찬단 ‘장 자율지능로봇연구소’ 연구원이자 박사과정 학생은 인간이 로봇과 그들의 작업을 추적하기 위해 AR을 사용할 때 중요한 문제를 다루고 있다. (사진=뉴욕 빙햄튼대)

장 교수는 작업장에서 로봇에 무엇을 보여줄지, 언제 보여줘야 할지 알면 인간-로봇 관계를 개선하고 강화할 수 있다고 믿는다.

그의 다음 단계 연구는 시뮬레이션이나 실습을 위해 엔지니어링 빌딩에 설치된 상자 더미를 사용하는 것이 아니라 실제 창고에서 AR 시스템을 시도하는 것이다. 그는 또한 이 연구가 널리 시행될 수 있도록 안전에 대한 우려가 완화되기를 원한다.

장 교수는 “우리는 현재의 시뮬레이션 플랫폼을 확장하고 로봇 커뮤니티의 벤치마크로 만들고 싶다. 우리는 통합 플랫폼을 사용해 다양한 시각화와 다양한 AR 에이전트(상황 발생시 스스로 갖고 있는 자료를 기초로 적절한 처리를 자동적으로 할 수 있는 반독립적인 프로그램)를 비교할 수 있다”고 말했다.