고려대학교 SW 아카데미 Team Project 5조 고수현, 김서현, 백광현, 유장현, 정성연
겨울철 고질적 문제이자 도로 위 살인마인 블랙아이스. 이 블랙아이스로 인한 사고를 예방하는데 도움이 되고자 한다.
레이더, 라이다 등 센서가 탑재된 자동차들도 많지만, 가격적 측면에서 부담이 크다.
이에 전국적으로 상용화되었다고 할 수 있는 블랙박스 영상을 이용해서 블랙아이스를 탐지하고자 한다.
이는 운전자의 인지 향상에 직결되어 블랙아이스 사고 예방에 도움이 될 수 있다.
달리는 차의 블랙박스 영상을 이용해서 블랙아이스를 탐지하고, 이를 운전자에게 알리는 서비스를 개발
실시간으로 달리는 차량에서 블랙아이스 탐지 알림을 주어야 효과가 있을 것이라 판단했다.
또한 블랙박스라는 비교적 작은 디바이스에 서비스를 탑재한다고 가정하여 모델의 경량화가 필수적이라 판단했다.
웹 검색을 이용하여 오픈되어 있는 블랙아이스 이미지 데이터 수집
- 팀에서 기준을 정하여 블랙아이스라고 판단될 수 있는 이미지 선별.
- 블랙박스 영상과 비슷한 구도의 이미지
- 얼음처럼 빛이 반사되고 있는가
- 매끄러운 표면을 하고 있는가
- CVAT 을 이용한 데이터 라벨링 (polygon)
albumentations 라이브러리를 이용하여, 실제 운전하면서 볼 수 있을 법한 상황을 고려하여 증강 기법 선택.
예를 들어, 차체의 높이가 다르기 때문에 translation 을 이용하거나, 얼음의 모양이나 길의 모양이 일정하지 않기 때문에 distortion 사용
우리가 풀고자 하는 문제와 비슷한 task 가 transparent object detection 혹은 camouflaged object detection 이라고 판단.
transparent object detection 은 유리와 같은 투명한 물체를 찾는 목적의 task 이고,
camouflaged object detection 은 배경과 동화된 위장 물체를 잘 찾기 위한 목적을 가지고 있다.
도로 위 자동차는 햇빛, 가로등 내지는 터널 내 불빛 으로 인해서 앞 유리창에 빛 반사가 일어남을 고려하여, transparent object detection 은 적절하지 않을 것이라 판단.
따라서 camouflaged object detection task 에서 주요한 모델들을 survey 하고, 동일한 조건에서 실험해보았다.
실험 결과, 어느정도의 성능과 fps 를 기준으로 판단했을 때 SOTA 였던 BGNet(Boundary Guided Network) 이 가장 만족스러웠고, BGNet 을 기반으로 fine-tuning 하여 학습을 진행했다.
BGNet 은 3개의 module 을 가지고 있는데, 이 module 중 어디까지를 freezing 시켜야 하는지 실험을 통해 확인했다.
flask 를 이용하여 웹페이지에 간단하게 배포했다.