Kafka 적용 : DB 간 데이터 동기화

[yooniversal]

Kafka 적용

생성일, 최종 수정일 필드 추가

생성일 created_at, 최종 수정일 updated_at 필드를 모든 테이블에 추가했습니다. 해당 내용은 BaseEntity에 설정했습니다.
상품 엔티티 Product에서 updated_at의 최댓값은 크롤링 DB에서 가져오는 상품 기준으로 활용됩니다.

public class BaseEntity {

    @CreatedDate
    @Column(updatable = false, name = "created_at")
    private LocalDateTime createdAt;

    @LastModifiedDate
    @Column(name = "updated_at")
    private LocalDateTime updatedAt;
}

//상속해서 필드 추가
public class Product extends BaseEntity { ... }

• feat: 모든 엔티티에 생성 날짜, 최종 업데이트 날짜 필드 추가

Kafka

프로젝트에 Kafka를 적용해 DB 간 데이터 동기화를 수행하는데 활용합니다.
서비스에서 직접적으로 사용하는 운영 DB와 크롤링 상품을 담는 크롤링 DB에서 차이가 없도록 2주마다 동기화 처리를 수행합니다.
크롤링 DB에서 가져올 상품들은 ML 서버에서 구현된 API를 통해 가져오게 되며 새 상품은 신규 등록을, 기존 상품은 가격 및 비활성화 여부를 업데이트합니다.

@Component
@RequiredArgsConstructor
public class CrawlingScheduler {

    private final KafkaProducer kafkaProducer;

    private final int TWO_WEEK = 1000 * 60 * 60 * 24 * 14;

    @Scheduled(fixedDelay = TWO_WEEK) //2주마다 호출
    public void updateCrawledProducts() throws JsonProcessingException {
        //ML 서버 API를 호출해 크롤링 상품 정보를 얻는 API를 호출
        //얻은 상품 정보들을 운영 DB에 초기화까지 한 번에 수행
        kafkaProducer.callCrawledProductCountAPI();
    }
}

• 팀 내 회의를 통해 업데이트 주기를 2주로 설정
• 📄 : [Spring] Kafka 적용하기
• feat: Kafka로 크롤링/운영 DB 간 동기화 로직 구현
• feat: 스케쥴러에 DB 동기화 메소드 등록

S3 객체 이동

크롤링한 상품이 저장되는 S3 버킷은 서비스에서 활용할 S3 버킷과 다릅니다.
때문에 서비스용 S3 버킷에 크롤링 상품 정보를 옮겨주는 작업이 필요해 S3에 접근할 수 있도록 설정 클래스 추가 후 옮기는 로직을 적용했습니다.

• 📄 : [Spring] AWS S3에 저장된 파일 다운로드/업로드 구현
• feat: S3 의존성 및 설정 클래스 추가
• feat: S3 서비스 로직 추가

ML 서버 API를 통해 가져오는 상품 정보는 웹 배포된 URI가 아니기 때문에
프론트에서 활용할 수 있도록 웹 배포된 URI로 전처리 후 DB에 저장됩니다.

CLOUDFRONT_URL는 AWS CloudFront를 통해 웹 배포된 URI를, productDescriptionUrl는 S3 경로를 의미합니다.

• Before : productDescriptionUrl
• After : CLOUDFRONT_URL + productDescriptionUrl
• fix: 웹 배포 URL을 DB에 저장하도록 설정