Spotify API의 response 데이터(.json)을 가공하여 .parquet 데이터를 생성하는 상시 동작 어플리케이션입니다.
Kafka 채널을 구독하고 있으며, 해당 채널에 발행된 메세지를 기반으로 데이터 가공 작업을 수행합니다.
- Ubuntu v22.04 LTS
- Python v3.12.0
- Spark v3.5.0
생성된 .parquet 데이터는 AWS S3 버킷 내부에 적재됩니다.
-
Notifications
You must be signed in to change notification settings - Fork 0
Spotify-DemoProject/spark
Folders and files
| Name | Name | Last commit message | Last commit date | |
|---|---|---|---|---|
Repository files navigation
About
Kafka Streaming Application. Transform JSON Datas to Parquet.
Topics
Resources
Stars
Watchers
Forks
Releases
No releases published
Packages 0
No packages published