판교미래포럼과 지능정보산업협회가 주최하고 KAIST산학협력단, 경기도경제과학진흥원, 기계지능및로봇공학다기관지원연구단이 주관한 ‘4차 산업혁명과 AI 대한민국’ 컨퍼런스가 20일 판교밸리내 경기창조경제혁신센터 국제회의장에서 개최되었다.

▲1부 행사인 KAIST 첨단 AI 기술 발표 및 AI 기술이전 설명회에서 김종환 KAIST 공과대학장이 개회사를 하고 있다.

▲1부 행사인 KAIST 첨단 AI 기술 발표 및 AI 기술이전 설명회에서 최경철 KAIST 산학협력단장이 축사를 하고 있다.

▲1부 행사인 KAIST 첨단 AI 기술 발표 및 AI 기술이전 설명회에서 김경훈 산업부 로봇PD가 축사를 하고 있다.

이날 컨퍼런스는 1부 카이스트 첨단 AI기술발표 및 AI기술 이전 설명회, 2부 4차산업 혁명 관련 특별 강연과 패널 토론으로 진행됐다. 행사에는 판교미래포럼 곽덕훈 회장, 지능정보산업협회 장홍성 협회장 대행, 김경진 국회의원, 김병관 국회의원, 신성철 카이스트 총장, 김종환 카이스트 공대학장, 최경철 카이스트 산학협력단장, 문전일 한국로봇산업진흥원 원장, 김경훈 산업통상자원부 PD 등 주요 인사와 900여명의 산학연 관계자들이 참석해 4차산업혁명과 인공지능의 미래 기술에 관해 뜨거운 관심을 보였다.

▲ 4차 산업혁명과 AI 대한민국 컨퍼런스 1부 행사는 KAIST 명현 교수의 사회로 시작하였다.

이날 1부 행사에선 카이스트 명현 교수의 사회로 카이스트 권인소 교수, 김준모 교수 등 인공지능 분야 카이스트 교수 10명이 각각 발달학습, 평생학습, 강화학습 등을 주제로 발표했다. 주요 발표 내용을 간추려 소개한다.

발달학습(Developmental Learning) 및 정서 지능 섹션

◇동적 네트워크 확장 기반-황성주 교수

데이터 증가와 복잡한 인공지능 기술 발전을 따라가기 위해서 지속적으로 새로운 데이터 및 작업을 학습할 수 있는 신경망이 필요하다. 일반적으로 단순한 신경망은 한 가지 작업에 대해 집중적으로 훈련해서 한 작업을 수행하는 데 능하다. 새 작업을 학습할 때 이전 작업에 필요한 핵심 정보를 잊어버리는 치명적인 망각(catastrophic forgetting) 문제를 겪는다.

또한, 작업 순서에 따라 전체 작업의 평균 성능과 각 작업의 성능이 차이가 발생해 작업 간의 공정성을 잃는 문제도 존재한다. 이전에 학습한 작업을 잊지 않으면서 새 작업을 배울 수 있으며 작업의 학습 순서에 영향받지 않는 신경망을 위한 점진적 학습(continual learning)을 소개했다.

점진적 학습의 근본적인 망각 문제를 해결하는 Dynamically Expandable Networks(DEN)와 DEN에서 더 나아가 작업의 학습 순서에 영향받지 않는 Order-Robust Adaptive Continual Learning (ORACLE) 점진적 학습 모델들을 개발하였다. DEN은 새로운 작업을 학습하는 데 필요한 파라미터를 현 네트워크에 동적으로 추가해 확장하고 이전 작업의 파라미터 일부분을 공유해 선택적 재학습이 가능한 모델이다. 기존 동적 네트워크 확장 모델보다 성능이 뛰어날 뿐 아니라 적은 파라미터의 수로 동일한 수준의 성능을 달성했다.

네트워크의 용량을 동적으로 결정할 수 있으므로 최적의 네트워크 구조를 추정하는 데 사용될 수 있다. ORACLE은 작업 간의 공유 파라미터를 통해 이전 작업과 새 작업이 공통으로 갖는 특징값을 구하고 새 작업에 맞도록 sparse low-rank matrices로 분해되는 작업별 적응 파라미터를 학습하는 모델이다. 공유 파라미터와 작업별 적응 파라미터를 분리해 작업 순서 의존성 문제를 완화하며 sparse low-rank matrices의 곱으로 작업별 적응 파라미터를 나타내어 네트워크 용량을 최소화했다.

기존 점진적 학습 모델에 비해 네트워크 용량이 적으며, 학습이 빠르다. 그리고 성능 면에서도 기존 모델들을 능가한다. 또한, 작업 학습 순서에 따른 전체 작업의 평균 성능과 각 작업의 성능의 불균형을 줄여 작업 순서에 견고한 점진적 학습임을 보였다. ORACLE은 인공지능 기반기술로서 단순 제조업뿐 아니라 의료, 법률 등의 전문 서비스업까지도 다양한 분야에서 활용될 수 있다. 개발한 점진적 학습 모델을 통해 지속해서 새로운 작업을 학습해 자율적으로 기술과 지식 습득이 가능한 인공지능 모델과 서비스를 기대한다.

▲ KAIST 김병형 교수

◇일상 생활에서의 정서적 지능과 잠재성(Affective Intelligence and Its Potential in Daily Life)-김병형 교수

정서적 지능이란 같은 말이라도 다른 감정으로 할 수 있다는 점에 착안해 보다 ‘사람같은’ AI 기술이 가능토록 하는 기술이다. 데이터 중심의 감정 인식 시스템에서 한층 진화한 기술이라고 볼 수 있다.

연구 결과 생체 신호 센서로 전두엽 부분에서 발생하는 뇌전도(EEG)를 검출하고, 혈류가 흐르는 귓불에 심장 박동 수 센서를 붙여서 생체 신호를 감지할 수 있다. 감지한 생체 신호를 감정 유발성이나 흥분 상태 등 9단계로 나눠 딥러닝으로 분석한 뒤 행복, 흥분, 기쁨, 평온, 슬픔, 지루함, 졸림, 분노, 짜증 등 총 12가지 감정으로 구분할 수 있다. 인간의 감정 체계가 복잡해 한 번에 여러 감정을 느낄 수도 있다는 점을 고려해 영향력이 가장 큰 감정 하나를 도출하도록 하는 기법이다. 강하게 나타나는 감정 신호의 격차가 크지 않으면 딥러닝 모델에 벌점을 가하는 한편 자체 고안한 함수를 가미해 구분하고 성능을 높일 수 있다.

이같은 기술을 바탕으로 ‘어펙티브 라이프롱 시스템(ALIS)’을 개발했다. 시중 저가 장비를 활용해 학생들의 일상생활에 적용토록 해 패턴을 분석하고 있다. 또 딥러닝 기술을 통해 감정을 인지하는 디판(DPAN, Deep Physiological affect network) 모델을 통해 감정 인식률과 실생활에서의 유효성을 최대 15% 이상 상승시켰다. 특히 장비의 소형화를 통해 마케팅, 헬스케어, 엔터테인먼트 등 여러 분야에 적용할 수 있을 것으로 기대하고 있다.

이 같은 기술을 활용하면 잠재적 고객이 광고를 보고 어떤 감정을 느끼는 가에 활용하거나 환자가 병원에 가지 않더라도 소형화된 장비를 통해 스스로 우울증 등 상태 진단도 가능할 것이다. 감정을 공유할 수 있는 여러 분야에 적용이 가능하다고 본다. 이미 서울대병원에서 고가 장비를 대체하는 방안에 대한 연구도 진행 중이다.

평생학습(Lifelong Learning) 및 최적화 섹션

▲ KAIST 김준모 교수

◇3중 연관 그래프 규칙화를 접목한 비감독 도메인 적응(Unsupervised Domain Adaptation with 3-Walk Associative Graph Regularization)’-김준모 교수

‘3중 연관 그래프 규칙화를 접목한 비감독 도메인 적응(Unsupervised Domain Adaptation with 3-Walk Associative Graph Regularization)’ 기술은 AI 제품의 공장 소스와 실제 사용 데이터간 차이를 극복해 적응하는 기법이다. 딥러닝의 데이터 비효율성과 데이터셋 편향 문제는 실제 시스템을 적용할 테스트 도메인의 데이터를 구하기 힘들고 학습에 쓰인 데이터와 테스트 데이터의 도메인이 다를 경우 문제가 된다. 자율주행 시스템의 경우 자율주행차 시스템을 구하기 어렵다는 이유로 도로 주행 데이터 대신 시뮬레이션 데이터로 학습한 시스템도 실제 도로에서 동작할 수 있도록 해야 한다.

이런 문제를 바로 ‘도메인 적응’이라고 지적할 수 있다. 딥 네트워크를 학습하기 위해 양질의 레이블이 달린 많은 데이터가 필요하며 이런 데이터를 만들기 위해 큰 비용이 든다. 하지만 이렇게 만들어진 데이터로 학습된 네트워크는 여전히 학습에 사용된 데이터셋에 편향돼 있고 데이터셋이 포함하지 못하는 도메인의 데이터에 대한 일반화를 잘 못한다. 즉 레이블이 달린 충분한 양질의 데이터인 소스 데이터를 이용하여 학습한 네트워크를 레이블이 없는 실제 시스템을 적용할 테스트 도메인의 데이터에 대하여 잘 동작하도록 해야 한다는 것이다.

이를 위해 특징 공간 자체를 조절하는 새로운 적응형 학습 기법을 제안한다. 분류자에 의해 왜곡된 공간을 조정하기 위해 데이터 특징과 클래스 사이의 관계를 정의하고 이를 최적화했다. 소스 도메인 데이터와 테스트 도메인 데이터 그리고 클래스 사이의 연결로 구성된 3-분 그래프를 정의하고, 이들 사이의 연결은 각 그룹 간의 전환 확률 함수로 정의했다. 여기에 그래프 내 클래스 사이에서 자기 자신으로만 연결되도록 최적화하는 정규화 기법을 이용한다.

여러 숫자 데이터 세트 사이의 적응형 학습 실험 결과, 좋은 성능을 보이고 특징 공간 내에서 두 도메인이 분리돼 분류자의 결정 경계선을 변경하는 방식임을 보여준다. 이런 방식은 소스 도메인에 대한 테스트 성능 향상을 보여줘 소스 도메인에 대한 일반화를 강화하고 있음을 증명할수 있다.

▲ KAIST 윤세영 교수

◇딥러닝 분산 최적화 알고리즘-윤세영 교수

최근 데이터의 양이 늘어나고 해당 데이터로 학습시키는 딥러닝 구조의 복잡도 역시 계속 증가하고 있다. 이에 많은 연구자와 기업은 분산적으로 딥러닝을 학습시키는 방법에 대한 중요도를 인지하고 많은 연구를 진행하고 있다.

이 기술은 딥러닝 모델을 분산적으로 학습시킬 때, 모델을 구성하는 파라미터의 업데이트 정보를 분산 노드 간에 교환하는 방법에 대한 내용이다. 많은 노드가 학습에 참여하게 되면 정보를 주고받는 상황에서 병목현상(Bottleneck)이 발생하는데 이 연구에서는 이를 랜덤 프로젝션(Random Projection)이라는 방법을 이용하여 해결한다. 모델의 파라미터를 업데이트하는 정보의 사이즈가 상당히 크기 때문에 이 정보를 분산 노드 간에 송수신하는 과정에서 많은 시간이 소요된다. 따라서 이 기술은 이 업데이트 정보를 랜덤 프로젝션을 사용하여 압축함으로써 송수신량을 줄인다.

딥러닝 분산 환경에서 분산 노드 간의 파라미터 업데이트 정보를 줄이는 기술은 다른 해외 유수 학회에서도 많이 소개되고 있다. 기존의 양자화(Quantization)기법은 실수와 같은 연속적인 혹은 큰 집합의 값들을 이산적인 집합의 값들로 대응시키는 기술인데, 이는 다른 기술들에 비해 다소 압축률이 낮다는 단점이 있다.

또한 희소화(Sparsification)는 파라미터 업데이트 정보의 요소들 중에서 중요한 부분을 제외한 나머지를 0으로 만들어서 압축하는 기술인데, 이를 파라미터 서버라고 불리는 중앙서버에서 압축된 정보들을 취합했을 때 다시 압축률이 낮아져 정보 송수신에 대한 효율성을 극대화하지 못한다는 제한이 있다. 이 기술은 비록 아주 약간의 정확도 손실은 있지만, 양자화보다는 높은 압축률을 보이면서 파라미터 서버에서 압축된 정보를 취합하여도 압축률이 낮아지지 않는다는 장점이 있다.

최근 딥러닝의 모델은 그 복잡도와 학습할 수 있는 데이터의 양이 증가하면서 딥러닝 모델을 학습하는데 많은 시간이 걸린다. 이러한 현상은 특정 산업군에 종속적인 현상이 아닌 딥러닝을 사용하는 모든 분야에서 발생한다. 이기술은 딥러닝 모델을 분산 노드를 이용하여 빠르게 학습하고자 하는 모든 분야에 적용해 볼 수 있다. 특히 모바일이나 무선 인터넷과 같이 Bandwidth가 낮은 환경에서 분산적으로 딥러닝 모델을 학습시킬 때 유용하다. 결론적으로 이 기술을 통하여 학습해야 할 데이터가 많더라도 분산 환경에서 여러 노드를 이용하여 더 이른 시간에 딥러닝 모델을 학습할 수 있게 될 것이다.

강화학습(Reinforcement Learning) 섹션

▲ KAIST 이상완 교수

◇메타 강화학습(Meta Reinforcement Learning)-이상완 교수

딥러닝 기반의 강화학습 강화를 위한 신경과학-AI 융합 기술을 소개했다. 이 기술의 핵심은 계산 신경과학 연구로부터 얻어지는 전두엽의 메타 강화학습 제어 메커니즘을 알고리즘으로 이식시키고, 이를 다시 딥러닝 기반의 강화학습 알고리즘의 학습에 이용하는 것이다.

딥러닝 기반 강화학습 알고리즘은 최근 알파고와 같은 전략 탐색 문제, 제어기 비의존적인 로봇 제어 문제, 응급실 비상 대응 시스템과 같은 의료 진단 문제 등 다양한 분야에 적용돼 왔다. 하지만 여전히 많은 종류의 작업에 대해 알고리즘은 인간에 비해 훨씬 느린 초기 학습 속도를 내고 작업의 목적이 조금만 달라지거나 컨텍스트가 변화하는 상황에서는 알고리즘의 성능이 보장되지 못한다는 문제가 있다.

이에 사람처럼 유연한 머신러닝 기술을 위해 메타강화학습을 이용할 수 있다. 핵심 기술로서 인간의 추론 능력 제어, 인간의 강화학습 제어, 그릭 BCI 기술을 제시했다.

기존 인공지능 기술은 빅데이터로부터 정보를 발견해 내거나 사람의 특정 작업을 대체/보조하는데 집중돼 있다. 구글 딥마인드에서 AI 알고리즘을 이용해 뇌 계산 모델을 근사화 하는 시도를 하고 있으나 학습과 추론에 관한 뇌 계산 모델은 이 연구팀이 독자적 기술을 보유했다. 특히 이번 연구와 같이 뇌 계산모델을 이용해 뇌 상태와 학습전략을 제어하는 시도는 전례가 없다.

이 같은 기술은 교육 콘텐츠 개발, 차세대 의료정보 시스템 스마트 교육 등에 적용이 가능하다. 또 인간과 AI가 상호작용하는 온라인 게임, 게임 중독 치료, 카지노 이상행동 실시간 분석 등 환경에도 적용 가능하며 차세대 뇌 기반 인공지능의 새로운 패러다임을 제시할 기술적 기반이 될 것으로 기대한다.

▲ KAIST 정송 교수

◇베이시언 최적화와 네트워크 전이를 접목한 네트워크 구조 탐색(Network Architecture Search with Bayesian Optimization and Network Transformation)-정송 교수

지난 10여 년간 아키텍처 탐색 기술이 발전해 왔지만 자동화가 필수적인 상황이다. 이를 위한 ‘베이지언 최적화(Bayesian Optimization)’ 기법을 제안했다.

수많은 아키텍처 옵션에 대한 평가에 너무 많이 시간이 든 다는 점을 고려, 수회의 추출과 가치평가 결과값을 토대로 환경적 예측 모델을 만들어 좋은 예측값을 지닌 모델만 트레이닝함으로써 최적의 모델을 찾아낼 수 있는 기법이다.

예측 모델 수립이 가능해지면서 수 천개의 아키텍처 중에서도 100개의 아키텍처를 추출, 트레이닝시키고 가치평가 후 지식 전이를 거쳐 트레이닝했던 파라미터를 재사용할 수 있는 후보군을 재추출하는 것이다. 이를 ‘네트워크 간 전이 조작기(Network Transformation Net2Net Operator)’라고 부를 수 있다. 시스템적으로 후보를 고르기 때문에 수 천개의 모델을 일일이 원점에서 트레이닝하는 것 보다 더 빨라질 것이다. 예측 모델을 지속적으로 강화함으로써 정확도를 높일 수 있다.

AI 응용(Application) 섹션

▲ KAIST 이수영 교수

◇감정과 윤리 의식을 가진 대화 에이전트-이수영 교수

아직 스마트 스피커는 ‘음악 틀어줘’, ‘오늘 날씨 어때’ 같은 단순한 질의응답에 그치고 있다. 현재 사람처럼 감성적 대화를 나누고 서로의 개인적 상황까지 이해할 수 있는 AI 기술을 개발하고 있다.

현재의 인공지능은 아직 ‘상황인식’ 수준에 이르지 못했다. 지식이 지능의 백본으로 동작해야 하며 스스로 부족한 점을 알아 사람처럼 배워나갈수 있다. 이를 ‘프로액티브 모델’이라고 할수 있다.

또 시각적인 내용을 보고 그 안의 감정을 파악할 수 있어야 한다. 감정에 따라 대화를 구성해나가는 과정에서 사람의 감정에 따라 같은 말이라도 반응을 달리할 수 있어야 한다.

인식을 위해 멀티 모델로서 텍스트, 스피치, 비디오를 인식해 7가지 감정에 대한 인식률을 80%대 까지 끌어올렸다. 기존 60~70%이던 감정 인식률을 크게 높인 것이다. 이를 위해 톱다운 패스를 통해 멀티모델을 결합해내는 메커니즘을 연구했다. 오디오와 비디오가 같이 들어오면 인식률을 높이고 텍스트까지 더해지면 인식률이 85%까지 높아져 대화에 쓸 수 있는 상황이다. 더 나아가 특정 목소리를 통한 감정 표현도 가능하다. 또 홍채 인식을 대신할 수 있는 ‘선호도 기반의 눈동자 추적(peference based eye trajectory)’ 기술도 개발하고 있는데 보다 짧은 시간에 사용자를 인증해낼 수 있는 기술이라고 본다.

▲ KAIST 권인소 교수

◇딥러닝 시각-권인소 교수

매킨지의 인공지능 연구 보고서에 따르면 머신러닝에 관한 연구가 압도적으로 많고 머신러닝의 절반 정도 수준이 바로 시각지능에 관한 것이다. 인간도 뇌의 70%가 시각지능에 관련되어 있을 정도로 시각 지능이 중요하다.

딥러닝 기술은 알렉스넷(Alexnet)을 계기로 큰 전환기를 맞았다. 특히 레즈넷(ResNet)의 등장이후 현재 대부분 딥러닝 기술이 레즈넷을 백본으로 하고 있으며 에러가 기하급수적으로 줄고 있다.

레즈넷을 극복하기위해 KAIST-RCV를 연구중이다. 중요 정보를 강조하는 방식으로 소통 방식을 바꿨다. 이를 활용해 시각지능의 정확도를 눈에 띄게 높일 수 있었다.

▲KAIST-RCV 연구성과로 인공지능 재활용품 자판기를 국내 기업에 기술이전하였다.

KAIST-RCV의 연구 성과를 인공지능 재활용품 분류 및 회수장치에 적용했는데 의외의 에러가 발생했다. 실험실 조건에서는 99% 이상의 인식률을 보였지만 실제 환경에 설치되었을 때에는 70% 내외의 인식률을 보이는 실패를 경험했다. 사용자들이 속임수를 쓰는 문제가 생긴 것이다. 연구 과정에서 인간의 속임수 문제를 전혀 고려하지 않았는데 실제 일상 생활 현장에 적용하면 데이터와 Robust의 문제 뿐 아니라 사용자의 속임수가 큰 문제점으로 다가온다는 점을 인식할 수 있다. 이 같은 실패의 원인을 규명하고 실환경에서도 95% 이상의 높은 인식률을 달성하게 되었다.

KAIST-RCV는 처음 직면하는 원샷 러닝 문제를 해결하기 위해 스스로 적응 학습할 수 있는 기술을 개발했다. 이를 고속 고출력 '휴보2' 로봇에도 적용했다.