Be/refactor/#454 aws 마이그레이션 #455

kimyu0218 · 2023-12-31T13:36:12Z

변경 사항

깃헙 시크릿 변경
- ec2 인스턴스의 호스트, 키 페어로 변경
도커 파일 리팩토링
- 빌드/배포용 컴포즈 파일 분리
- 배포 스크립트 개선 (사용하지 않는 도커 컨테이너와 이미지 삭제)

고민과 해결 과정

aws 세팅

aws 프리티어 계정 생성
ec2 인스턴스 생성 (+ 키 페어/ 보안그룹)
vpc 네트워크 acl 설정
swap space 설정
mysql rds 생성

ec2 개발환경 세팅

1️⃣ 도커 설치 : Install Docker Engine on Ubuntu

+) docker-compose 도 같이 설치

2️⃣ MySQL 컨테이너 띄우기 : How to use MySQL image

프라이빗 서브넷의 DB는 vpc 외부에서 접근할 수 없기 때문에 웹 어플리케이션과 동일한 인스턴스에서 도커 컨테이너로 띄우기로 결정했다.

개발용 DB : mysql-dev

도커 컨테이너 띄우기

# dev
sudo docker run --name mysql-dev -e MYSQL_ROOT_PASSWORD=${PASSWD} -p 3307:3306 -d mysql:8.2.0

MySQL 일반 사용자 추가 및 권한 부여

sudo docker exec -it ${CONTAINER_ID} /bin/bash
# mysql -p 후 SQL문 실행

3️⃣ coturn 설치 : coturn 세팅 관련 PR

(선택) 테스트 결과

aws 아키텍처

ec2 인스턴스에서 실행중인 도커 컨테이너

차례로 nginx, signal, was, 개발용 db 컨테이너

package.json 파일을 먼저 복사하여 빌드 타임 줄이기

- package-lock.json은 의존성 패키지의 정확한 버전을 기록함 - 정확한 의존성 버전을 보장하기 위해 package-lock.json도 함께 복사하도록 수정 - package.json이나 package-lock.json이 변경되면 의존성을 다시 설치하도록 구현

- docker layer caching을 이용하여 빌드 타임 최적화 - 의존성 관련 파일을 먼저 복사 - 기존에는 소스코드만 변경되어도 의존성을 재설치했지만, 레이어를 쪼개서 의존성이 변경된 경우에만 재설치하도록 수정

빌드용/배포용 도커 컴포즈 분리 예정

- 도커 허브에 업로드 되는 이미지는 was 서비스와 signal 서비스 -> 허브에 올라가지 않는 nginx, cerbot 이미지 제거 - environment 대신 env_file을 활용하여 외부에 어떤 환경변수가 사용되는지 알 수 없도록 설정

- build와 image 옵션을 같이 쓰면 빌드를 수행함 - 배포 환경에서는 빌드된 이미지를 pull 받아서 사용해야 하므로 build 옵션 제거

- 빌드 시에 사용하는 도커 컴포즈 파일명 수정 - 원격 서버에 전달하는 도커 컴포즈 파일명 및 도커 파일 수정

- 더 이상 사용하지 않는 변수 삭제 - 변경된 도커 컴포즈 파일명 반영

도커 컨테이너들을 같은 네트워크에 배치 -> 컨테이너 간에 쉽게 통신할 수 있도록 설정 -> ip 대신 컨테이너 이름을 사용하여 통신 가능

중지된 컨테이너의 자원 사용 방지

cloudflare-workers-and-pages · 2024-01-05T10:48:24Z

Deploying with Cloudflare Pages

Latest commit:	`c39b42c`
Status:	✅ Deploy successful!
Preview URL:	https://6f3a37eb.web09-magicconch.pages.dev
Branch Preview URL:	https://be-refactor--454-aws.web09-magicconch.pages.dev

View logs

패스워드 대신 비밀키를 이용하여 접속하도록 수정

- ssh 연결 시도 중에 타임아웃 발생 - github actions가 연결을 시도하는 ec2 인스턴스에 대한 known hosts 파일이 없어서 발생 - ssh-keyscan을 이용하여 호스트 공개키를 수집하고 ~/.ssh/known_hosts에 추가 - ssh-keyscan -t rsa -p [PORT] [HOST] - [HOST]:PORT [KEY_TYPE] SSH_PUBLIC_KEY

- 도커 이미지 빌드 과정 중에 undefined network 에러 발생 - networks 추가하여 해결

ssh 접속하는 사용자가 root 계정이 아니기 때문에 permission denied 문제 발생

nginx 서비스의 build 누락

- network를 backend로 지정했는데 원격 서버에서 backend_backend라는 네트워크를 사용함 - 네트워크 이름이 충돌하여 backend_backend로 설정됨 - external: true를 이용하여 컴포즈 파일 외부에서 생성한 네트워크를 사용하도록 수정함

리팩토링 중에 누락된 경로 추가 /var/log -> /var/log/nginx

- synchronize 옵션은 어플리케이션 시작 시 엔터티와 DB 스키마를 동기화하는 데 사용함 - synchronize가 false여서 데이터베이스에 테이블이 없다는 오류가 발생했음 -> true로 변경하여 테이블을 자동으로 생성하도록 수정

로그 파일명을 수정할 수 없으므로 ormlogs.log 싱글 파일을 마운트하도록 변경

리소스 소비를 절약하기 위해 0.3 정도로 낮춤

사용하지 않는 도커 이미지를 삭제하여 디스크 공간 낭비를 방지

- 프론트엔드와 백엔드 파일이 하나의 레포에 들어있음 - dev 브랜치에 push 이벤트가 발생할 때마다 백엔드가 다시 배포됨 - paths를 지정하여 backend 하위 파일이 변경되었을 때만 트리거되도록 수정

- docker image prune은 dangling* 이미지만 제거함 *dangling : 태그가 없는 이미지 - 이미지 태그로 서비스와 버전을 구분하기 때문에 해당 명령어는 적절하지 않음 - `-a` 옵션을 사용하여 컨테이너에서 참조하지 않는 이미지를 삭제하도록 변경 - `-f` 옵션을 추가하여 확인 프롬프트를 사용하지 않고 곧바로 삭제하도록 변경

- 더 이상 사용하지 않는 변수 삭제 - 함수가 코드 가독성을 떨어뜨려서 삭제

kimyu0218 added 8 commits December 29, 2023 23:58

refactor: docker 캐싱 활용

b1dc420

package.json 파일을 먼저 복사하여 빌드 타임 줄이기

remove: 기존 도커 컴포즈 파일 삭제

66ba3c7

빌드용/배포용 도커 컴포즈 분리 예정

fix: 배포용 도커 컴포즈 수정

f43213c

- build와 image 옵션을 같이 쓰면 빌드를 수행함 - 배포 환경에서는 빌드된 이미지를 pull 받아서 사용해야 하므로 build 옵션 제거

refactor: 빌드/배포용 도커 컴포즈 분리에 따른 배포 액션 수정

e4d815c

- 빌드 시에 사용하는 도커 컴포즈 파일명 수정 - 원격 서버에 전달하는 도커 컴포즈 파일명 및 도커 파일 수정

refactor: 원격 서버에서 실행되는 배포 스크립트 수정

0c4f55f

- 더 이상 사용하지 않는 변수 삭제 - 변경된 도커 컴포즈 파일명 반영

kimyu0218 self-assigned this Jan 3, 2024

kimyu0218 added BE DevOps refactor task labels Jan 3, 2024

kimyu0218 added 2 commits January 5, 2024 19:44

refactor: networks 옵션 추가

2f736d3

도커 컨테이너들을 같은 네트워크에 배치 -> 컨테이너 간에 쉽게 통신할 수 있도록 설정 -> ip 대신 컨테이너 이름을 사용하여 통신 가능

refactor: 도커 컨테이너 종료 후 삭제

b3b55d7

중지된 컨테이너의 자원 사용 방지

kimyu0218 added 2 commits January 5, 2024 19:49

refactor: 불필요한 변수 삭제

c39cf28

refactor: 비밀키를 이용하여 SSH 접속

5221679

패스워드 대신 비밀키를 이용하여 접속하도록 수정

kimyu0218 force-pushed the BE/refactor/#454-AWS-마이그레이션 branch 8 times, most recently from c633ed8 to 789235f Compare January 6, 2024 07:58

kimyu0218 added 2 commits January 6, 2024 17:01

fix: undefined network 해결

cf38ada

- 도커 이미지 빌드 과정 중에 undefined network 에러 발생 - networks 추가하여 해결

kimyu0218 force-pushed the BE/refactor/#454-AWS-마이그레이션 branch from 789235f to cf38ada Compare January 6, 2024 08:07

fix: sudo 추가

210febb

ssh 접속하는 사용자가 root 계정이 아니기 때문에 permission denied 문제 발생

kimyu0218 added 2 commits January 6, 2024 17:52

fix: 블루 버전 배포 컴포즈 수정

03b2156

nginx 서비스의 build 누락

kimyu0218 force-pushed the BE/refactor/#454-AWS-마이그레이션 branch from c1d10fb to 106d6ad Compare January 6, 2024 10:18

kimyu0218 added 6 commits January 6, 2024 19:28

fix: nginx 로그 경로 오류 수정

8c3ccbe

리팩토링 중에 누락된 경로 추가 /var/log -> /var/log/nginx

fix: typeorm 로그 파일 수정

f4088fb

로그 파일명을 수정할 수 없으므로 ormlogs.log 싱글 파일을 마운트하도록 변경

refactor: sentry 샘플링 비율 조절 (1.0 -> 0.3)

3fe1bce

리소스 소비를 절약하기 위해 0.3 정도로 낮춤

refactor: 사용하지 않는 도커 이미지 삭제

1cfa39b

사용하지 않는 도커 이미지를 삭제하여 디스크 공간 낭비를 방지

kimyu0218 force-pushed the BE/refactor/#454-AWS-마이그레이션 branch 2 times, most recently from 293e570 to 4ac3e08 Compare January 6, 2024 17:06

kimyu0218 marked this pull request as ready for review January 6, 2024 17:11

kimyu0218 linked an issue Jan 6, 2024 that may be closed by this pull request

🔄 AWS로 마이그레이션하기 #454

Closed

kimyu0218 added 3 commits January 7, 2024 03:17

refactor: 원격 서버로 파일 전송하는 스텝 하나로 합치기

0ab4095

refactor: deploy.sh 내의 불필요한 변수 및 함수 제거

c39b42c

- 더 이상 사용하지 않는 변수 삭제 - 함수가 코드 가독성을 떨어뜨려서 삭제

kimyu0218 force-pushed the BE/refactor/#454-AWS-마이그레이션 branch from 85bf1cd to c39b42c Compare January 7, 2024 15:14

kimyu0218 requested review from Doosies and HeoJiye January 8, 2024 09:21

HeoJiye approved these changes Jan 8, 2024

View reviewed changes

Doosies approved these changes Jan 8, 2024

View reviewed changes

kimyu0218 merged commit 4de117a into dev Jan 8, 2024
1 check passed

kimyu0218 deleted the BE/refactor/#454-AWS-마이그레이션 branch January 8, 2024 11:10

HeoJiye mentioned this pull request Feb 17, 2024

release v1.0.0 #543

Merged

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Be/refactor/#454 aws 마이그레이션 #455

Be/refactor/#454 aws 마이그레이션 #455

kimyu0218 commented Dec 31, 2023 •

edited

Loading

cloudflare-workers-and-pages bot commented Jan 5, 2024 •

edited

Loading

Be/refactor/#454 aws 마이그레이션 #455

Be/refactor/#454 aws 마이그레이션 #455

Conversation

kimyu0218 commented Dec 31, 2023 • edited Loading

변경 사항

고민과 해결 과정

aws 세팅

ec2 개발환경 세팅

(선택) 테스트 결과

aws 아키텍처

ec2 인스턴스에서 실행중인 도커 컨테이너

cloudflare-workers-and-pages bot commented Jan 5, 2024 • edited Loading

Deploying with Cloudflare Pages

kimyu0218 commented Dec 31, 2023 •

edited

Loading

cloudflare-workers-and-pages bot commented Jan 5, 2024 •

edited

Loading