1. 프로젝트 소개

🥈 PNU 정보컴퓨터공학과 졸업과제 은상 수상(14개 팀)

Steel See

💡 Steel See 는 철강 이미지에서 불량 부분을 검출하는 서비스 입니다.
💡 자체적으로 개발한 불량 검출 인공지능 모델을 사용하여 앱 서비스 형태로 배포하였습니다.

README 링크

➡️ AI 모델: 링크

➡️ Spring Boot: 링크

➡️ Camera App: 링크

➡️ Tablet App: 링크

➡️ IPad App: 링크

2. 팀 소개

강준우	김태경	여지수
• 촬영용 어플리케이션 제작(Flutter) • 테블릿용 어플리케이션 제작(Flutter) • DBMS(mysql) 서버 구축 • DB 연동 Rest API(Spring JPA) 개발	• 데이터 분석 및 전처리 • 이미지 증강 모델(DCGAN, PGGAN, StyleGAN) 연구 • 이미지 세그멘테이션 모델(U-Net) 연구 • 모델 학습을 위한 쿠버네티스 도커 환경 연구 • DBMS(mysql) 서버 구축 • DB 연동 Rest API(Spring JPA) 개발	• 데이터 분석 및 전처리 • 이미지 분류 모델(CNN, ResNet, EfficientNet) 연구 • 이미지 세그멘테이션 모델(U-Net) 연구 • 이미지 증강 모델 (DCGAN) 연구 • 모델 서빙 Rest API(Flask) 개발 • figma를 활용하여 UI 및 UX 디자인 • 아이패드용 어플리케이션 제작(Flutter)
[email protected]	[email protected]	[email protected]

3. 구성도

촬영용 App

🐥 먼저 사용자는 촬영용 app에서 철강 사진을 촬영하여 업로드합니다.
🐥 해당 사진은 웹 서버에 올라간 Flask 기반 REST API로 전달됩니다.
🐥 API는 학습 모델에 사용자의 사진을 넣어 예측을 한 후, 결함이 검출 및 분류된 데이터들을 DB에 저장합니다.

테블릿 App

🐥 사용자는 태블릿용 어플리케이션에서 자신이 업로드했던 사진을 조회합니다.
🐥 이때 Spring 기반 REST API가 데이터베이스에 저장된 데이터들을 가져옵니다.
🐥 해당 데이터들은 태블릿용 어플리케이션 화면상에서 보여지게 됩니다.
🐥 사용자는 자신이 올린 철강 사진에 대한 결함 정보를 얻을 수 있게 됩니다.

4. 동작 과정

1) 소개

App을 사용하는 User가 사용하기 편리한 App, 데이터를 관찰 및 관리하기 쉬운 App을 목표로 진행하였습니다.

2) 역할

• 촬영용
  • 표면 이미지의 촬영
  • 실시간 확인
  • 데이터 베이스로 전송
• 태블릿용
  • 데이터베이스로부터 load
  • 그래프 모드
• 아이패드용
  • GAN 모델 이미지 생성 결과 확인
  • 전처리&분류 모델 보기

3) 동작 영상

• 촬영용 App

• 태블릿 App

대쉬보드 모드

> 설정한 조건에 따른 이미지 데이터를 조회하고 관리하는 스크린

그래프 모드

> 설정한 날짜에 따른 이미지 데이터를 그래프 형식으로 조회하는 스크린

• 아이패드 App

5. 사용법

사용법

• 촬영용 App

1. 사용자의 이름을 입력한다. (파일이름으로 저장됨 => 추후에 누가 관리하고 있는 시점이였는가를 확인)
2. 입력 버튼을 누른다.
3. 미리보기 화면으로 사진 위치를 잘 확인한 다음 촬영 버튼을 누른다.
4. 편집을 한다.
5. 다시 편집이 필요한 경우 편집 버튼을 누른다.
6. 전송 버튼을 누른 뒤 기다린다.

• 태블릿 App

대쉬보드 모드

1. 조회하고 싶은 날짜를 달력 모양 아이콘을 눌러 설정한다.
2. 결함 유무 및 Label 2개의 조회 필터를 설정한다.
3. 조회 버튼을 누른다.
4. 원하는 이미지를 클릭한다.
5. 오른쪽에서 확대하여 자세히 본다.

그래프 모드

1. 대쉬보드 모드에서 우측 상단 그래프 모드 버튼을 눌러 화면을 전환한다.
2. 조회하고 싶은 날짜를 달력 모양 아이콘을 눌러 설정한다.
3. 막대를 눌러 날짜별 결함의 수만을 비교해 본다.

• 아이패드 App

tech week 시연 때 연구에 대한 이해를 돕기 위해 제작한 앱이다.

1. 결함 이미지 생성 모델을 통해 생성된 진짜 이미지와 가짜 이미지를 확인한다.
2. 데이터 전처리와 결함 분류 모델의 흐름을 확인한다.
3. 스크롤하여 나오는 철강 이미지들을 촬영용 App으로 찍어서 결과를 태블릿 App으로 확인한다.

https://www.youtube.com/watch?v=neZY_eSCWkQ&t=45s

6. 시연 소개 영상