Provided are a port monitoring device and port monitoring method for monitoring the perimeter of a vessel and a port. The port monitoring method performed by a computing means comprises the following steps of: acquiring a port image having a first view; generating a display image having a second view through viewpoint transformation of the port image having the first view; generating a segmentation image of the first view including a target area indicating a target object from the port image of the first view by using an artificial neural network; generating a transformed segmentation image of a third view including a transformed target area corresponding to the target area through viewpoint transformation of the segmentation image of the first view; calculating monitoring information based on positions of at least some of pixels included in the transformed target area on the transformed segmentation image; and outputting at least one of the monitoring information and the display image.
본 발명은 컴퓨팅 수단에 의해 수행되는 항만 모니터링 방법에 관한 것으로, 본 발명의 일 양상에 따른 항만 모니터링 방법은, 서로 다른 방향을 향하도록 항만에 설치되어 이미지를 촬상하는 제1 카메라 및 제2 카메라를 이용하여 선박 및 바다 중 적어도 하나를 포함하는 제1 항만 이미지 및 상기 제1 항만 이미지와 모니터링 영역이 적어도 일부 다른 제2 항만 이미지를 획득하는 단계; 입력 이미지로부터 상기 입력 이미지에 포함된 오브젝트의 종류 및 거리에 대한 정보를 출력하도록 학습된 인공 신경망을 이용한 이미지 세그멘테이션을 수행하여 상기 제1 항만 이미지에 대응되는 제1 세그멘테이션 이미지 및 상기 제2 항만 이미지에 대응되는 제2 세그멘테이션 이미지를 생성하는 단계 - 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지는 상기 선박에 대응되도록 라벨링되되 상기 선박의 거리에 대한 정보를 포함하는 제1 픽셀 및 상기 바다에 대응되도록 라벨링된 제2 픽셀 중 적어도 하나를 포함함 - ; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출된 제1 시점 변환 정보를 이용하여 상기 제1 항만 이미지 및 상기 제2 항만 이미지 각각에 대응되고 제1 뷰 속성을 가지는 제1 디스플레이 이미지 및 제2 디스플레이 이미지를 생성하는 단계; 상기 제1 카메라 및 상기 제2 카메라의 설치 위치 및 자세 중 적어도 하나를 고려하여 산출되되 상기 제1 시점 변환 정보와 상이한 제2 시점 변환 정보를 이용하여 상기 제1 세그멘테이션 이미지 및 상기 제2 세그멘테이션 이미지 각각에 대응되되 상기 제1 뷰와 상이한 제2 뷰 속성을 가지는 제1 변환 세그멘테이션 이미지 및 제2 변환 세그멘테이션 이미지를 생성하는 단계; 상기 제1 디스플레이 이미지 및 상기 제2 디스플레이 이미지를 정합하여 파노라마 이미지를 생성하는 단계; 상기 제1 변환 세그멘테이션 이미지 및 상기 제2 변환 세그멘테이션 이미지를 정합하여 정합 세그멘테이션 이미지를 생성하는 단계; 상기 정합 세그멘테이션 이미지에 기초하여 상기 선박의 접안 가이드 정보를 산출하는 단계 - 상기 접안 가이드 정보는 상기 선박의 안벽과의 거리 및 상기 안벽으로의 접근 속도 중 적어도 하나를 포함함 - ; 및 상기 접안 가이드 정보를 상기 파노라마 이미지와 함께 출력하는 단계;를 포함한다.
HARBOR MONITORING DEVICE AND HARBOR MONITORING METHOD
항만 모니터링 장치 및 항만 모니터링 방법
2021-04-05
Patent
Electronic Resource
Korean