2023 경북대 종합설계프로젝트1, 오픈소스 기반의 사이니지 솔루션 개발

사용자 얼굴을 인식하여 메뉴 추천 및 메뉴 목록을 실시간으로 변경해 주는 사용자 맞춤형 키오스크 개발
Customized Next Generation Kiosks

🛠️ Tech Stacks

1. 과제 목적

• 본 프로젝트의 주요 목적은 소상공인들에게 저렴하면서도 효율적인 디지털 사이니지 솔루션을 제공하는 것입니다.

• 이를 위해 오픈소스 기반 webOS와 저렴한 하드웨어인 라즈베리 파이를 활용하여 얼굴 인식 기능을 통한 로그인 및 사용자의 알레르기나 종교에 따라 메뉴를 필터링하여 보여주는 기능을 갖춘 키오스크 시스템을 개발하고자 합니다.

• 이 시스템은 매장 운영의 효율성을 증가시킬 수 있고, AI 기술을 통해 기존 키오스크 시스템보다 뛰어난 경험을 사용자에게 제공할 수 있습니다.

• 이러한 장점들은 장기적으로 보았을 때, 고객 충성도와 가게 매출에 긍정적인 영향을 줄 수 있으며 오픈소스와 라즈베리 파이 등을 이용한 비용 절감으로 사업 창업 비용 부담을 줄일 수 있습니다.

2. 과제 내용

2-1. Use Case Diagram

2-2. Sequence Diagram

• 회원가입

  

• 로그인

  

• 메뉴 추천 및 필터링

  

• 메뉴/카테고리/옵션 추가 및 삭제

  

2-3 시스템 아키텍처

• Hardware : Raspberry PI 4 Model B 8GB

• OS : WebOS 2-24

• 프론트엔드 : React Framework, HTML, Js, css

  인식한 사용자의 얼굴 정보가 데이터베이스에 있다면 사용자의 맞춤 메뉴를 선정하여 화면에 출력하고, 그렇지 않다면 맞춤 메뉴 없이 전체 메뉴를 출력하여 주문을 진행할 수 있습니다.
  주문 후에 별도의 QR코드를 통해 사용자가 웹 페이지에 접속하여 회원가입할 수 있습니다.
  키오스크 화면과 회원 가입 화면은 React 개발 환경에서 JavaScript와 CSS를 이용하여 제작하였습니다.

• 백엔드 : Django Framework

  데이터베이스 : SQLite3

  SQLite를 이용하여 데이터베이스(DB)를 설계하고, Django 프레임워크를 활용하여 웹 애플리케이션 서버 구축을 하였습니다.
  MVT(Model-View-Template)패턴을 통해 데이터들의 객체인 Model, 로직들을 처리하는 View, UI 부분을 담당하는 Template 세 가지 관점으로 개발하였습니다.
  딥러닝 모델을 이용한 사용자 식별 및 사용자별 메뉴 추천 기능이 포함되어 있습니다.

• AI : DeepFace Framework

  키오스크 카메라로 인식된 얼굴 사진을 딥러닝 기반 모델인 VGG-Face에 통과시켜 임베딩을 추출합니다. 이를 데이터베이스에 있는 임베딩들과 대조하여 회원 여부를 확인합니다.
  kaggle의 얼굴 데이터와 Keras 라이브러리를 사용하여 마스크 인식 모델을 개발하였고, 이미지에 Homomorphic Filter를 적용하여 보다 정확한 얼굴 정보를 얻을 수 있게 하였습니다.

• 협업 툴 : Github, Notion, Figma, WebEX

2-4 화면 구성

• 회원가입

  

• 로그인

  

3. 과제 성과

LG open-source software platform WebOS의 기술 블로그에 기술문서를 작성하여 open-source contribution을 하였습니다.
https://www.webosose.org/samples/2023/12/28/advanced-kiosk-face-recognition-and-menu-recommendations/

4. 참여인력

컴퓨터학부

김다훈	박준석	신동혁	신영재	이승운
프론트엔드, 라즈베리파이 테스팅	얼굴 인식 모델 개발, 백엔드	백엔드	총괄, 백엔드	프론트엔드