출원번호 10-2021-7013553 출원일인 2019년 10월 10일 출원인 테슬라, 잉크. 공개번호 (일자) 10-2021-007 2048 (2021년 06월 16일) 발명의 명칭 증강 데이터로 기계 모델을 훈련하기 위한 시스템과 방법 일반적인 기계 학습 애플리케이션에서 데이터는 훈련 데이터를 얻기 위해 사용되는 캡처 장비의 특성에 모델과 적합함 예를 들어 동일 객체에 대해 다양한 스케일, 다양한 초점 거리, 다양한 렌즈 타입, 다양한 전처리 또는 후처리, 다양한 소프트웨어 환경, 센서 어레이 하드웨어 등 다양한 센서 특성에 따라 캡처된 이미지를 학습시키면 훈련된 모델의 견고성을 높일 수 있다.
그림 1 자율주행 자동차 테슬라의 본 발명에 따라 자율주행 자동차의 이미지를 식별하기 위해 사용되는 증강 데이터 기법을 제시한다. 해당 실시 예는 하나 이상의 이미지 수집 시스템에 부착된 사이에 캡처된 이미지 세트를 식별하는 단계, 각 이미지에 대한 훈련 출력을 식별하는 단계, 각 이미지의 카메라 속성을 유지하는 이미지 조작 함수에 이미지를 수정하여 증강 이미지 세트를 식별하는 단계, 각 이미지에 대한 훈련 출력을 식별하는 단계, 각 이미지의 카메라 속성을 유지하는 이미지 조작 함수에 의해 이미지를 수정하여 증강 훈련하는 단계 생성하는 단계그림 2는 실시 예에 따른 컴퓨터 모델 훈련 및 배치를 위한 환경이다. 이미지 수집시스템(140)은 모델 어플리케이션 시스템에 의해 배치되어 사용 가능한 컴퓨터 모델을 훈련할 때 모델 훈련시스템(130)에 의해 사용 가능한 이미지를 캡처한다. 이러한 시스템은 이러한 디바이스가 통신하는 다양한 무선 또는 유선통신 링크를 나타내는 인터넷과 같은 네트워크(120)를 통해 접속된다. 모델 어플리케이션 시스템(110)은 이미지 수집 시스템과 동일하거나 실질적으로 동일한 센서 특성을 갖는 센서 세트를 갖는 시스템이며 모델 적용 후 모델 어플리케이션 시스템(110)은 모델 출력을 다양한 목적으로 사용할 수 있다.
그림 2 실시 예에 따른 컴퓨터 모델 훈련 및 배치를 위한 환경의 블록 그림 3은 실시 예에 따른 모델 훈련 시스템(130)의 구성 요소를 도시한다. 모델 교육 시스템은 컴퓨터 모델 교육을 위한 다양한 모듈과 데이터 저장소로 구성된다. 데이터 입력 모듈(310)은 이미지 수집 시스템(140)으로부터 이미지를 수신하여 데이터 저장소(350)에 저장한다. 라벨링 모듈(320)은 이미지 데이터(350) 내의 이미지에 라벨을 식별하거나 적용한다. 이미지 증강 모듈(330)은 이미지 수집시스템(140)에 의해 캡처된 이미지를 바탕으로 추가 이미지를 생성한다. 모델 훈련 모듈(340)은 이미지 수집 시스템(140)에 의해 캡처된 이미지 및 이미지 증강 모듈(330)에 의해 생성된 증강 이미지를 바탕으로 컴퓨터 모델을 훈련한다. 훈련 후, 모델 분배 모듈 (380)은 훈련된 모델을 시스템에 분배하여 훈련된 모델을 적용시킨다.
그림3 실시 예에 따른 모델 훈련 시스템 구성 요소의 블록 그림4는 실시 예에 따른 라벨링된 훈련 이미지(400)에 따른 증강 이미지의 예시적인 생성을 그림으로 나타낸다. 훈련 이미지(410)는 라벨링된 훈련 이미지(400)의 라벨링 데이터에 대응하는 관련 훈련 출력(420A)을 가진 증강되지 않은 훈련 이미지(410A) 및 이미지 조작 함수를 적용해 생성된 증강 이미지(410B, 410C)와 관련된 훈련 출력(420B, 420C)으로 구성된다. 이미지조작 함수는 카메라의 물리적 캡처특성 또는 카메라의 위치에 영향을 받을 수 있는 환경뷰의 배율, 원근, 방향 및 기타 특성을 유지하고 캡처하는 카메라의 속성을 유지하면서 이미지를 조작한다. 그 예로서는, 잘라내기, 색도, 채도, 색의 조절, 흑백 노이즈의 도입, 흐림이나 도메인의 이전등이 있다.다양한 실시예에서 시작은 다양한 파라미터 및 구성으로 적용할 수 있으며, 이는 훈련 이미지 및 이미지의 훈련출력 위치에 따라 달라질 수 있다. 예를 들어 자르기 함수는 유사한 크기의 복수 자르기를 적용하거나, 범위 내에서 다른 반무작위 크기의 복수 자를 적용할 수 있다. 여러 개의 잘라내기를 사용하여 크기를 변경함으로써 잘라내기는 오브젝트 뷰에 대한 다양한 크기의 실제 장애물의 효과를 보다 밀접하게 시뮬레이션 할 수 있어 훈련된 모델이 특정 크기의 잘라내기를 보상하는 방법을 배우는 것을 방지할 수 있다. 잘라내기 영역에 대한 대체 이미지 데이터는 단색이거나 가우스 노이즈와 같은 일정 패턴이거나 폐쇄 또는 다른 장애물을 나타내기 위해 동일한 이미지 타입 또는 라벨을 갖는 다른 이미지 데이터 패치일 수 있다. 또한 절단이 이루어진 경계는 주변영역과 푸아송블렌딩과 같은 블렌딩으로 대체데이터를 환경과 구별하기 어렵게 하고 실제 장애물과 유사한 예를 제공할 수 있다.
그림 4 실시 예에 따른 라벨링된 훈련 이미지에 근거해 증강 이미지를 생성하는 예를 나타내는 데이터 플로우도, 이러한 테슬라의 증강 데이터 기반 기계학습은, 보다 다양한 상황에서도 자율주행 자동차가 완강하게 기능을 수행할 수 있도록 한다. 각국에서 자율주행자동차의 실시단계를 높이고 있는 오늘날, 더욱 강력하고 돌발적인 상황에 안전하게 대응할 수 있는 안전시스템 및 안전한 학습모델이 필요한 시점이다.
특허법인 ECM변리사 김시우 [email protected] 02-568-2670
서울특별시 강남구 테헤란로70길 13 3층 1호