▲ 소니가 기계학습(머신러닝)을 적용한 인공지능(AI)기반 스마트 이미지 센서를 개발해 보급에 들어갔다고 발표했다. 사용자의 필요에 따라 동영상 속의 필요한 이미지 부분만 도려내 전송해 주거나 사람의 영상대신 사람 수만 전송해 주기도 한다. (사진=소니)

소니가 기계학습(머신러닝)을 적용한 인공지능(AI)기반의 스마트 이미지 센서를 개발해 보급에 들어갔다고 발표했다. 이 스마트 이미지 센서는 자신이 본 것을 스스로 해석해 내기 위해 기계 학습(머신러닝) 알고리즘으로 디지털 신호를 처리(DSP) 한다. 사용자의 필요에 따라 동영상 이미지를 모두 전송하지 않고 필요한 이미지 부분만 도려내 전송해 주거나 사람의 영상대신 사람 수만 전송해 주는 말 그대로 스마트한 센서다.

IEEE스펙트럼은 14일(현지시간) 소니의 발표를 인용, 기계학습을 통해 포착한 이미지를 스스로 처리하는 AI기반 스마트 이미지 센서를 개발했다고 보도했다.

스마트 이미지 센서는 포착한 이미지를 바탕으로 관련 이미지만, 또는 이미지의 일부만을 선택해 클라우드 기반 시스템이나 로컬 허브로 전송한다.

마크 핸슨 미국 소니 기술 및 비즈니스 혁신 담당 부사장은 “이 기술은 이미지 캡처와 처리 사이의 대기 시간을 사실상 제로(0)로 만들어 준다”며 “이는 배터리 하나로 사물인터넷(IoT) 기기를 수 개월 동안 작동할 수 있는 낮은 전력 소비, 개인 정보 보호 강화, 그리고 전통적 이미지 센서와 별도의 프로세서를 사용하는 기존 스마트 카메라보다 훨씬 낮은 비용이 든다는 것을 의미한다”고 설명했다.

소니의 새너제이 연구소는 미래의 고객들에게 시연하기 위해 이러한 센서를 사용한 시제품을 개발했다. 이 칩들은 일본 소니의 아츠기(厚木)기술센터에서 설계됐다. 핸슨 부사장은 다른 조직들도 비슷한 기술을 개발하고 있지만 이 센서들을 고객에게 출시하는 것은 소니가 처음이라고 말했다.

소니는 이 칩 제작 방식에 대해 두 개의 웨이퍼를 얇게 만든 다음 이를 본딩해 만들었다고 말했다. 이 가운데 하나는 감광 화소를 가진 칩으로, 다른 하나는 신호처리회로를 포함하는 회로와 메모리를 포함하는 칩으로 구성됐다. 이런 형태의 디자인은 소니가 역광 이미지센서를 사용하고 있기 때문에 가능하다.

기존의 표준 상보성 금속산화물 반도체(CMOS) 이미지 센서에서는 광검출기에서 신호를 수집하는 전자 트레이스(electronic traces)가 검출기 위에 놓여 있다. 이 방식으로 이미지 센서를 만들기는 쉽지만 그 트레이스들이 외부 빛의 일부를 차단하기 때문에 효율성이 떨어진다. 반면 역광 센서는 판독회로와 내부 연결부를 광검출기 밑에 넣어 제조원가가 올라가게 된다.

핸슨 부사장은 “우리는 원래부터 후면광 방식으로 갔고 그래서 우리 센서에 더 많은 화소를 넣을 수 있었다”고 말했다. 그는 “그것이 우리에게 회로를 추가하게 해 주는 촉매제였다”며 “ 그 다음 문제는 이를 통해 만들 수 있는 기기가 뭐냐는 것이었다”고 설명했다.

소니의 스마트 이미지 프로세서는 물체를 식별하고 추적할 수 있으며 이상 징후가 발견될 때만 데이터를 클라우드로 전송한다.

핸슨은 이 기술이 초기에는 보안에 적용될 것이라며 특히 많은 카메라가 상점을 덮어야 하는 대형 소매점의 상황에서 더욱 그럴 것이라고 말했다. 그는 이 경우 수집되는 데이터의 양이 급속히 엄청나게 늘어나므로, 엣지 단에 있는 이미지를 처리하는 것이 이를 단순화하면서 비용이 훨씬 적게 먹힐 것이라고 말했다.

예를 들어, 센서들은 사람들을 찾아내고 그 사람이 포함된 이미지의 부분만을 잘라내고, 더 많은 처리를 위해 이 잘라낸 부분만을 전송하도록 프로그램될 수 있다.

그는 또 센서들이 단순히 이미지 그 자체들을 보내는 대신 메타데이터를 보낼 수도 있다고 말했다. 예를 들면 빌딩에 들어가는 사람들의 이미지 자체를 보내는 대신 사람 수만을 보내 줄 수 있다.

이 스마트 센서들은 예를 들어 식료품점에서 캡처된 동영상 속 물체를 프레임에서 프레임까지 추적할 수도 있다. 예를 들어 식료품점의 물품이 카트에서 계산대를 거쳐 가방으로 들어가는 과정을 추적할 수 있다.

핸슨 부사장은 “원격 감시는 배터리 전원으로 작동하는 기기들은 물론 로봇과 사람들이 함께 있는 곳에서 이미지 센서로 안전성을 향상시키고 싶어하는 제조기업들에게도 관심받고 있는 응용분야”라고 말했다. 또 “이 기술을 사용하는 가전제품은 나중에 출시되겠지만 개발자들이 샘플을 가지고 실험을 시작할 것으로 기대한다”고 덧붙였다.