나홀로편의점

시각장애인분들의 편의성 증진을 위한 품목 구별 앱서비스입니다.

---

📹 Demonstration video

• https://youtu.be/CI2B0MH9_zg

---

🌱 Background

• 뉴스기사 및 유튜버 ‘원샷한솔’님의 컨텐츠들을 보면서 점자 표시 미흡으로 인한 시각장애인분들의 불편함을 인지
• https://www.youtube.com/watch?v=fq5xQaWaMO0 (과자)
• https://www.youtube.com/watch?v=PDDyhWiIZsE (음료)
• https://www.youtube.com/shorts/z5ywaMWtQys (라면)
• 점자표시가 되어있는 품목들도 있지만, 미흡하거나 없는 품목들이 다수
• 따라서 핸드폰을 사용하여 어떤 품목인지 알려주는 서비스를 생각하게 되었음.

🌱 Service

• 음성을 활용하여 어플 실행 및, 안내
• 카메라를 활용하여 실시간으로 화면에 노출되어있는 품목의 정보를 음성으로 출력
• 음성으로 입력한 품목이 탐지될경우 알려주는 기능

🌱 System Architecture

---

🌱 DataSet

• AI Hub '상품 이미지' 데이터 사용
• roboflow를 활용하여 yolov5-pytorch용 데이터셋 구축
• python을 활용하여 학습 전 데이터 전처리작업 수행
• yolov5_train_ptl.ipynb을 활용하여 학습진행
• ptl모델로 변환 후 android에서 사용

🥤 Beverage DataSet

순번	품목	순번	품목	순번	품목	순번	품목
1	한국쥬맥스)모구모구리치맛	14	롯데게토레이240ML	27	롯데마운틴듀250ML	40	코카콜라)킨사이다185ML
2	한국쥬맥스)모구모구복숭아향	15	코카콜라190ML	28	롯데마운틴듀400ML	41	코카콜라)코카콜라350ML
3	롯데트로피카나스파클링파인애플355ML	16	일화맥콜250ML	29	코카콜라제로500ML	42	코카콜라오리지널300ML
4	동아포카리스웨트(캔)340ML	17	롯데핫식스더킹파워355ML	30	롯데펩시콜라600ML	43	동아포카리스웨트500ML
5	해태)코코팜복숭아300ML	18	코코팜망고코넛340ML	31	코카토레타500ML	44	해태갈배사이다238ML
6	롯데)미린다오렌지355ML	19	농심)파워오투애플키워향	32	코카콜라355ML	45	롯데핫식스자몽250ML
7	해태)복숭아봉봉340ML	20	농심)파워오투오렌지레몬향	33	롯데)2%부족할때아쿠아500ML	46	해태갈배사이다355ML
8	롯데)펩시콜라210ML	21	코카)제로코카콜라215ML	34	농심)파워오투아이스베리향	47	코카콜라제로250ML
9	코카환타오렌지250ML	22	코카)스프라이트215ML	35	코카스프라이트500ML	48	롯데마운틴듀355ML
10	해태갈아만든배340ML	23	코카환타오렌지185ML	36	동아오츠카데미소다자몽250ML	49	롯데레쓰비175ML
11	농심웰치스포도355ml	24	해태갈배사이다210ML	37	롯데사랑초톡톡스파클링330ML	50	롯데밀키스500ML
12	코카파워에이드MB520ML	25	코카환타오렌지215ML	38	조지아고티카빈티지블랙390ML	51	코카환타포도250ML
13	코카파워에이드MB600ML	26	해태갈배사이다500ML	39	롯데칸타타아메리카노200ML	52	일화)맥콜500ML

🍭 Snack DataSet

순번	품목	순번	품목	순번	품목	순번	품목
1	농심켈로그)프링글스마늘감자구이맛110G	14	오리온촉촉한초코칩240G	27	크라운초코하임142G	40	농심오징어집83G
2	농심켈로그)프링글스버팔로윙맛110G	15	롯데)롯샌파인애플315G	28	롯데야채크래커249G	41	롯데석기시대90G
3	오리온)포카칩오리지널66G	16	농심수미칩오리지널85G	29	롯데빠다코코낫300G	42	해태오예스360G
4	스모키베이컨칩매콤불맛70G	17	프링글스오리지날110G	30	꼬깔콘고소한맛72G	43	롯데ABC밀크65G
5	농심)프링글스클래식110G	18	해태롤리폴리초코196G	31	농심매운새우깡90G	44	농심)프링글스버터캬라멜110G
6	농심칩포테토오리지날125G	19	크라운쫀득초코칩240G	32	매일킨더초코렛T4	45	롯데)롯샌화이트크림깜뜨315G
7	오리온후레쉬베리딸기336G	20	오리온초코칩쿠키256G	33	롯데초코파이420G	46	켈로그)프링글스사워크림
8	해태오예스쿠키앤크림360G	21	크라운빅파이딸기324G	34	삼립누네띠네500G	47	오리온)예감치즈그라탕2P64G
9	농심)프링글스클래식53G	22	해태)허니버터칩38G	35	크라운쿠크다스화이트토르테64G	48	삼양)사또밥갈릭버터맛52G
10	롯데마가렛트오리지널88G	23	농심수미칩어니언85G	36	크라운)콘초66G	49	해태)맛동산90G
11	오리온)초코파이(12입)468G	24	롯데몽쉘오리지날생크림케이크384G	37	농심알새우칩68G
12	크라운국희땅콩샌드155G	25	롯데)오징어땅콩90G	38	농심바나나킥75G
13	동서오레오초콜릿샌드위치쿠키100G	26	프링글스치즈맛110G	39	오리온고소미80G

🍜 Noodle DataSet

순번	품목	순번	품목	순번	품목	순번	품목
1	오뚜기참깨라면(컵)	21	팔도김치도시락86G	41	오뚜기스파게티컵120G	61	오뚜기)쇠고기미역국라면100G
2	삼양크림까르보불닭볶음면큰컵120G	22	농심신라면컵65G	42	농심)사리곰탕컵61G	62	농심오징어짬뽕큰사발115G
3	삼양미트스파게티불닭볶음면110G	23	오뚜기컵누들얼큰쌀국수37.8G	43	농심순한너구리컵63G	63	삼양큰컵불닭볶음면105G
4	오뚜기)컵누들김치쌀국수34.8G	24	오뚜기진라면순한맛컵110G	44	오뚜기새우탕면110G	64	오뚜기참깨라면용기110G
5	오뚜기컵누들잔치쌀국수37.8G	25	오뚜기열라면컵105G	45	오뚜기진진짜라120G	65	오뚜기진라면매운맛65G(작은용기)
6	팔도더왕뚜껑컵순한맛101G	26	오뚜기육개장컵110G	46	농심생생우동면276G	66	오뚜기육개장용기면86G
7	오뚜기진라면매운맛컵110G	27	팔도삼선짜장	47	농심)감자면92G	67	농심육개장큰사발110G
8	삼양짜장불닭볶음면105G	28	농심신라면건면	48	팔도왕뚜껑110G	68	농심무파마큰사발112G
9	농심사천짜파게티컵115G	29	팔도일품해물라면	49	삼양라면110g	69	농심우육탕큰사발115G
10	농심짜파게티큰사발123G	30	오뚜기부대찌개라면	50	팔도비빔면컵	70	오뚜기진라면컵순65G
11	농심새우탕컵(소)67G	31	농심참치마요큰사발면	51	종가집얼큰쌀국수	71	농심짜파게티범벅70G
12	오뚜기오동통면컵100G	32	삼양)까르보불닭볶음면큰컵105G	52	농심짜왕큰사발면	72	농심튀김우동컵62G
13	오뚜기짜장볶이컵120G	33	삼양)치즈불닭볶음면큰컵105G	53	농심너구리큰사발면111G	73	팔도도시락용기86G
14	오뚜기컵누들매콤37.8G	34	삼양)쫄볶이불닭볶음면120G	54	농심쌀국수	74	얼큰한쌀국수92G
15	오뚜기컵누들우동38.1G	35	삼양)삼양라면매운맛110G	55	오뚜기스낵면컵	75	오뚜기)굴진짬뽕
16	농심오징어짬뽕컵67G	36	농심)신라면큰사발면114G	56	농심김치큰사발면	76	삼양)나가사끼짬뽕
17	오뚜기김치면컵105G	37	농심사리곰탕큰사발111G	57	종가집)멸치쌀국수	77	농심새우탕큰사발115G
18	팔도짬뽕왕뚜껑110G	38	삼양)불닭볶음탕면120G	58	농심볶음너구리큰사발면	78	오뚜기튀김우동컵110G
19	오뚜기진짜장컵115G	39	농심)신라면블랙101G	59	농심보글보글부대찌개큰사발면	79	농심김치사발면86G
20	오뚜기라면볶이120G	40	오뚜기크림진짬뽕105G	60	농심)앵그리짜파구리큰사발108G	80	멸치맛쌀국수92G

---

📌 Train Result

---

📱 In App

---

🌱 Reference

• https://github.com/ultralytics/yolov5
• https://github.com/pytorch/android-demo-app/tree/master/ObjectDetection
• https://aihub.or.kr/aihubdata/data/view.do?currMenu=115&topMenu=100&aihubDataSe=realm&dataSetSn=64