Be/feature/#522 데이터베이스 최적화 #523

kimyu0218 · 2024-02-06T09:06:56Z

변경 사항

커버링 인덱스를 활용하기 위해 정말 필요한 컬럼만 조회하도록 수정
불필요한 쿼리 삭제 (ex. save시 INSERT 후 SELECT가 수행됨)
트랜잭션 오버헤드 방지
데이터 타입 수정

고민과 해결 과정

1️⃣ 트랜잭션 적용하기

mysql은 기본적으로 AUTOCOMMIT이 1로 설정되어 있다. 이로 인해 개별 sql문이 트랜잭션으로 취급되고 트랜잭션의 시작과 끝에 오버헤드가 발생하여 성능이 저하될 수 있다.

따라서 연관된 쿼리를 하나의 트랜잭션으로 묶어 오버헤드를 줄여줄 것이다. 다음 코드는 한 번에 여러 개의 쿼리를 일괄로 실행하는 함수인데, 트랜잭션을 사용하지 않아 각각의 save 작업이 개별적인 트랜잭션으로 처리된다. 실행 시 약 395 밀리초가 소요된다.

async saveMessages(
  room: ChattingRoom,
  createMessageDtos: CreateChattingMessageDto[],
): Promise<void> {
  const startTime = new Date();
  for (const createMessageDto of createMessageDtos) {
    const message: ChattingMessage = ChattingMessage.fromDto(
      createMessageDto,
      room,
    );
    await this.chattingMessageRepository.save(message);
  }
  const endTime = new Date();
  const diff = endTime.getTime() - startTime.getTime();
  console.log(`findOneBy execution time: ${diff} milliseconds`);
}

[QUERY]: START TRANSACTION
[QUERY]: INSERT INTO `chatting_message`(`id`, `is_host`, `message`, `created_at`, `updated_at`, `room_id`) VALUES (?, ?, ?, DEFAULT, DEFAULT, ?) 
[QUERY]: SELECT `ChattingMessage`.`id` AS `ChattingMessage_id`, `ChattingMessage`.`created_at` AS `ChattingMessage_created_at`, `ChattingMessage`.`updated_at` AS `ChattingMessage_updated_at` FROM `chatting_message` `ChattingMessage` WHERE `ChattingMessage`.`id` = ? 
[QUERY]: COMMIT
[QUERY]: START TRANSACTION
[QUERY]: INSERT INTO `chatting_message`(`id`, `is_host`, `message`, `created_at`, `updated_at`, `room_id`) VALUES (?, ?, ?, DEFAULT, DEFAULT, ?) 
[QUERY]: SELECT `ChattingMessage`.`id` AS `ChattingMessage_id`, `ChattingMessage`.`created_at` AS `ChattingMessage_created_at`, `ChattingMessage`.`updated_at` AS `ChattingMessage_updated_at` FROM `chatting_message` `ChattingMessage` WHERE `ChattingMessage`.`id` = ? 
[QUERY]: COMMIT
[QUERY]: START TRANSACTION
[QUERY]: INSERT INTO `chatting_message`(`id`, `is_host`, `message`, `created_at`, `updated_at`, `room_id`) VALUES (?, ?, ?, DEFAULT, DEFAULT, ?) 
[QUERY]: SELECT `ChattingMessage`.`id` AS `ChattingMessage_id`, `ChattingMessage`.`created_at` AS `ChattingMessage_created_at`, `ChattingMessage`.`updated_at` AS `ChattingMessage_updated_at` FROM `chatting_message` `ChattingMessage` WHERE `ChattingMessage`.`id` = ?
[QUERY]: COMMIT
[QUERY]: START TRANSACTION
[QUERY]: INSERT INTO `chatting_message`(`id`, `is_host`, `message`, `created_at`, `updated_at`, `room_id`) VALUES (?, ?, ?, DEFAULT, DEFAULT, ?) 
[QUERY]: SELECT `ChattingMessage`.`id` AS `ChattingMessage_id`, `ChattingMessage`.`created_at` AS `ChattingMessage_created_at`, `ChattingMessage`.`updated_at` AS `ChattingMessage_updated_at` FROM `chatting_message` `ChattingMessage` WHERE `ChattingMessage`.`id` = ?
[QUERY]: COMMIT
[QUERY]: START TRANSACTION
[QUERY]: INSERT INTO `chatting_message`(`id`, `is_host`, `message`, `created_at`, `updated_at`, `room_id`) VALUES (?, ?, ?, DEFAULT, DEFAULT, ?) 
[QUERY]: SELECT `ChattingMessage`.`id` AS `ChattingMessage_id`, `ChattingMessage`.`created_at` AS `ChattingMessage_created_at`, `ChattingMessage`.`updated_at` AS `ChattingMessage_updated_at` FROM `chatting_message` `ChattingMessage` WHERE `ChattingMessage`.`id` = ? 
[QUERY]: COMMIT
[QUERY]: START TRANSACTION
[QUERY]: INSERT INTO `chatting_message`(`id`, `is_host`, `message`, `created_at`, `updated_at`, `room_id`) VALUES (?, ?, ?, DEFAULT, DEFAULT, ?) 
[QUERY]: SELECT `ChattingMessage`.`id` AS `ChattingMessage_id`, `ChattingMessage`.`created_at` AS `ChattingMessage_created_at`, `ChattingMessage`.`updated_at` AS `ChattingMessage_updated_at` FROM `chatting_message` `ChattingMessage` WHERE `ChattingMessage`.`id` = ? 
[QUERY]: COMMIT

EntityManager의 트랜잭션을 사용하여 모든 쿼리를 하나의 트랜잭션으로 묶었다. 모든 쿼리가 성공하면 커밋되고, 하나라도 실패하면 롤백하도록 수정했다. 트랜잭션을 활용함으로써 약 140밀리초가 줄어들었다.

async saveMessages(
  room: ChattingRoom,
  createMessageDtos: CreateChattingMessageDto[],
): Promise<void> {
  return this.entityManager.transaction(async (manager) => {
    try {
      const startTime = new Date();
      const messages: ChattingMessage[] = createMessageDtos.map(
        (createMessageDto: CreateChattingMessageDto): ChattingMessage =>
          ChattingMessage.fromDto(createMessageDto, room),
      );
      await manager.save(ChattingMessage, messages);
      const endTime = new Date();
      const diff = endTime.getTime() - startTime.getTime();
      console.log(`findOneBy execution time: ${diff} milliseconds`);
    } catch (err: unknown) {
      throw err;
    }
  });
}

[QUERY]: START TRANSACTION
[QUERY]: INSERT INTO `chatting_message`(`id`, `is_host`, `message`, `created_at`, `updated_at`, `room_id`) VALUES (?, ?, ?, DEFAULT, DEFAULT, ?) 
[QUERY]: SELECT `ChattingMessage`.`id` AS `ChattingMessage_id`, `ChattingMessage`.`created_at` AS `ChattingMessage_created_at`, `ChattingMessage`.`updated_at` AS `ChattingMessage_updated_at` FROM `chatting_message` `ChattingMessage` WHERE `ChattingMessage`.`id` = ? 
[QUERY]: INSERT INTO `chatting_message`(`id`, `is_host`, `message`, `created_at`, `updated_at`, `room_id`) VALUES (?, ?, ?, DEFAULT, DEFAULT, ?) 
[QUERY]: SELECT `ChattingMessage`.`id` AS `ChattingMessage_id`, `ChattingMessage`.`created_at` AS `ChattingMessage_created_at`, `ChattingMessage`.`updated_at` AS `ChattingMessage_updated_at` FROM `chatting_message` `ChattingMessage` WHERE `ChattingMessage`.`id` = ? 
[QUERY]: INSERT INTO `chatting_message`(`id`, `is_host`, `message`, `created_at`, `updated_at`, `room_id`) VALUES (?, ?, ?, DEFAULT, DEFAULT, ?) 
[QUERY]: SELECT `ChattingMessage`.`id` AS `ChattingMessage_id`, `ChattingMessage`.`created_at` AS `ChattingMessage_created_at`, `ChattingMessage`.`updated_at` AS `ChattingMessage_updated_at` FROM `chatting_message` `ChattingMessage` WHERE `ChattingMessage`.`id` = ?
[QUERY]: INSERT INTO `chatting_message`(`id`, `is_host`, `message`, `created_at`, `updated_at`, `room_id`) VALUES (?, ?, ?, DEFAULT, DEFAULT, ?) 
[QUERY]: SELECT `ChattingMessage`.`id` AS `ChattingMessage_id`, `ChattingMessage`.`created_at` AS `ChattingMessage_created_at`, `ChattingMessage`.`updated_at` AS `ChattingMessage_updated_at` FROM `chatting_message` `ChattingMessage` WHERE `ChattingMessage`.`id` = ?
[QUERY]: INSERT INTO `chatting_message`(`id`, `is_host`, `message`, `created_at`, `updated_at`, `room_id`) VALUES (?, ?, ?, DEFAULT, DEFAULT, ?) 
[QUERY]: SELECT `ChattingMessage`.`id` AS `ChattingMessage_id`, `ChattingMessage`.`created_at` AS `ChattingMessage_created_at`, `ChattingMessage`.`updated_at` AS `ChattingMessage_updated_at` FROM `chatting_message` `ChattingMessage` WHERE `ChattingMessage`.`id` = ? 
[QUERY]: INSERT INTO `chatting_message`(`id`, `is_host`, `message`, `created_at`, `updated_at`, `room_id`) VALUES (?, ?, ?, DEFAULT, DEFAULT, ?) 
[QUERY]: SELECT `ChattingMessage`.`id` AS `ChattingMessage_id`, `ChattingMessage`.`created_at` AS `ChattingMessage_created_at`, `ChattingMessage`.`updated_at` AS `ChattingMessage_updated_at` FROM `chatting_message` `ChattingMessage` WHERE `ChattingMessage`.`id` = ? 
[QUERY]: COMMIT

아까와 달리 모든 쿼리가 끝난 후에 커밋이 이루어지는 것을 확인할 수 있다.

2️⃣ 불필요한 쿼리 삭제하기

위의 쿼리 로그를 보면 INSERT 후에 불필요한 SELECT가 발생하고 있다. 이는 TypeOrm의 save 때문이다. save는 insert 후에 select를 실행하여 삽입한 엔티티를 반환한다. select가 불필요한 경우 insert 메서드를 사용하여 불필요한 조회 작업을 하지 않아야 한다. 아래는 insert로 바꾼 후의 쿼리 로그다.

[QUERY]: START TRANSACTION
[QUERY]: INSERT INTO `chatting_message`(`id`, `is_host`, `message`, `created_at`, `updated_at`, `room_id`) VALUES (?, ?, ?, DEFAULT, DEFAULT, ?), (?, ?, ?, DEFAULT, DEFAULT, ?), (?, ?, ?, DEFAULT, DEFAULT, ?), (?, ?, ?, DEFAULT, DEFAULT, ?)
[QUERY]: COMMIT

3️⃣ 데이터 타입 수정하기

데이터 크기를 최적화하여 디스크에 저장되는 데이터 양을 줄여야 한다. 따라서 작은 크기의 데이터 타입을 사용하여 디스크 공간과 메모리를 확보하도록 수정했다.

파일 확장자를 나타내는 ext 컬럼에 enum 적용
- sqlite에서 enum을 지원하지 않아 tinyint와 ts의 enum으로 대체
-128~127을 범위 내의 정수형에 대해 tinyint 적용
text 대신 varchar 사용

(선택) 테스트 결과

트랜잭션으로 연관된 작업을 묶어 불필요한 오버헤드 방지
insert를 사용하여 불필요한 SELECT 작업 제거

트랜잭션 적용 전 & `save` 사용	트랜잭션 적용 후 & `save` 사용	트랜잭션 적용 후 & `insert` 사용
약 395 밀리초	약 255 밀리초	약 89 밀리초

- findBy -> find, findOneBy -> findOne으로 수정하고 select 옵션을 작성하여 엔티티 전체를 불러오는 것이 아니라 필요한 컬럼만 가져오도록 변경 - mysql 스토리지 엔진으로 innoDB를 사용하는데, 버퍼풀이 캐싱 기능을 효율적으로 사용하기 위해서는 버퍼풀에 정말 필요한 정보만 가져와야 함

연관 있는 작업을 하나의 트랜잭션으로 처리하여 불필요한 오버헤드 방지

- TypeORM의 save 메서드는 insert 후 select를 실행함 - 불필요한 조회 작업을 수행하므로 select가 필요 없는 경우 insert만 수행하도록 insert 함수로 변경함

cloudflare-workers-and-pages · 2024-02-07T11:25:06Z

Deploying with Cloudflare Pages

Latest commit:	`d42e1be`
Status:	✅ Deploy successful!
Preview URL:	https://613fc8a9.web09-magicconch.pages.dev
Branch Preview URL:	https://be-feature--522.web09-magicconch.pages.dev

View logs

- 데이터 크기를 최적화하여 디스크에 저장되는 데이터 양 절약 - int 대신 tinyint 사용 - text 대신 varchar 사용

- enum을 적용하여 varchar 대신 tinyint를 사용하도록 수정 - 처음엔 타입을 enum으로 적용하려 하였으나 e2e 테스트에서 사용하는 sqlite에 enum 타입이 없어 e2e 테스트를 패스할 수 없었음 -> tinyint와 타입스크립트의 enum 타입을 사용

- 데이터베이스에서는 tinyint가 사용됨 - tinyint를 올바른 문자열로 매핑하여 반환하도록 수정

kimyu0218 · 2024-02-14T09:50:40Z

신규 버전 배포 전에 DB 자료형 업데이트 필요

HeoJiye

👍👍👍

kimyu0218 added 6 commits February 6, 2024 15:24

style: deletedAt -> deleted_at

8ee4eee

refactor: 레포지토리 함수 변경에 따른 spyOn 수정

57270fc

refactor: ChattingInfo 인터페이스 별도의 파일로 분리

c7e0e4b

refactor: 트랜잭션 적용

0f70792

연관 있는 작업을 하나의 트랜잭션으로 처리하여 불필요한 오버헤드 방지

refactor: save에서 insert로 변경

3371bfa

- TypeORM의 save 메서드는 insert 후 select를 실행함 - 불필요한 조회 작업을 수행하므로 select가 필요 없는 경우 insert만 수행하도록 insert 함수로 변경함

kimyu0218 added feature BE labels Feb 6, 2024

kimyu0218 added this to the version 1.0.0 milestone Feb 6, 2024

kimyu0218 self-assigned this Feb 6, 2024

refactor: try~catch 위치 수정

8d7032d

refactor: 트랜잭션 적용에 따른 단위 테스트 수정

fab20a4

kimyu0218 linked an issue Feb 12, 2024 that may be closed by this pull request

✅ 데이터베이스 최적화 #522

Closed

kimyu0218 added 5 commits February 12, 2024 22:44

refactor: 데이터 타입 및 사이즈 수정

29d668d

- 데이터 크기를 최적화하여 디스크에 저장되는 데이터 양 절약 - int 대신 tinyint 사용 - text 대신 varchar 사용

refactor: 결과를 반환하는 DTO에서 enum 키 적용

ec3a83a

- 데이터베이스에서는 tinyint가 사용됨 - tinyint를 올바른 문자열로 매핑하여 반환하도록 수정

feat: enum 타입 선언

f211fe0

style: enum 적용

d42e1be

kimyu0218 marked this pull request as ready for review February 14, 2024 09:49

kimyu0218 requested review from Doosies and HeoJiye February 14, 2024 11:05

HeoJiye approved these changes Feb 14, 2024

View reviewed changes

Doosies approved these changes Feb 14, 2024

View reviewed changes

kimyu0218 merged commit 85e56b3 into dev Feb 14, 2024
3 checks passed

kimyu0218 deleted the BE/feature/#522-데이터베이스-최적화 branch February 14, 2024 11:20

HeoJiye mentioned this pull request Feb 17, 2024

release v1.0.0 #543

Merged

Provide feedback

Saved searches

Use saved searches to filter your results more quickly

Be/feature/#522 데이터베이스 최적화 #523

Be/feature/#522 데이터베이스 최적화 #523

kimyu0218 commented Feb 6, 2024 •

edited

Loading

cloudflare-workers-and-pages bot commented Feb 7, 2024 •

edited

Loading

kimyu0218 commented Feb 14, 2024

HeoJiye left a comment

Be/feature/#522 데이터베이스 최적화 #523

Be/feature/#522 데이터베이스 최적화 #523

Conversation

kimyu0218 commented Feb 6, 2024 • edited Loading

변경 사항

고민과 해결 과정

1️⃣ 트랜잭션 적용하기

2️⃣ 불필요한 쿼리 삭제하기

3️⃣ 데이터 타입 수정하기

(선택) 테스트 결과

cloudflare-workers-and-pages bot commented Feb 7, 2024 • edited Loading

Deploying with Cloudflare Pages

kimyu0218 commented Feb 14, 2024

HeoJiye left a comment

Choose a reason for hiding this comment

kimyu0218 commented Feb 6, 2024 •

edited

Loading

cloudflare-workers-and-pages bot commented Feb 7, 2024 •

edited

Loading