fastapi

Spotify 데이터 파이프라인에서 ETL 작업을 수행합니다.

Structure

Before Start

# install FastAPI
pip install fastapi "uvicorn[standard]" requests

# run FastAPI
nohup python3 main.py &

Router Endpoints

# Postgres 서버에 API 파라미터 적재
/sql/new_release
/sql/featured_playlists
/sql/related_artists
/sql/artist_albums

# .json 데이터 수집
/json/albums
/json/artists

# Kafka 메세지 발행 -> Spark Streaming 앱 스케줄링
/kafka/albums
/kafka/artists

# .parquet 파일 백업 (AWS S3)
/parquet/albums
/parquet/artists

Results