Cache.md

캐시 (Cache)

자주 사용하는 데이터나 값을 미리 복사해 놓는 임시 장소

메모리 계층 구조

이미지 출처 : 나무위키 - 메모리 계층 구조

• 메모리의 속도와 용량은 반비례 관계이며 저장 매체도 비슷하다.

• 즉 속도가 빠른 만큼 가격이 비싸진다.

• 속도와 용량을 둘 다 잡기는 어렵다.

따라서 데이터 저장 공간은 속도와 용량에 따라 특성에 맞게 역할을 나눠서 사용

파레토의 법칙

• 상위 20% 원인으로 전체 결과의 80%를 만든다는 법칙

• 2 대 8 법칙이라고도 불림.

ex) 백화점의 20% VIP 고객의 지출이 백화점의 전체 매출의 80%를 차지한다.

상위 소득 20%의 국민이 전체 국가 세금의 80%를 차지한다.

데이터 지역성의 원리

• 자주 쓰이는 데이터는 시간적 혹은 공간적으로 한 곳에 몰려 있을 가능성이 높다.

• 마찬가지로 프로그래밍 역시 자주, 반복 사용하는 데이터들을 관리하면 프로그램의 성능을 향상시키기 위 탄생한 것이 캐시(Cache)

소수의 데이터 선별

• 모든 데이터를 캐시에 담기에는 저장 공간도 부족하며 비용도 많이 들어간다.

• 따라서 파레토 법칙에 해당하는 소수의 데이터를 선별해야한다.

• 이를 위해 사용되는 것이 바로 지역성이다.

이미지 출처 : 캐시가 동작하는 아주 구체적인 원리

시간적 지역성

최근에 참조된 주소의 내용은 가까운 미래에 다시 참조되는 특성

• 메모리 상 같은 주소에 여러 차례 쓰기를 수행할 경우, 상대적으로 작은 크기의 캐시를 사용해도 높은 효율성을 보여준다.

공간적 지역성

기억장치 내에 서로 인접하여 저장되어 있는 데이터들은 연속적으로 액세스 될 가능성이 높아지는 특성

• CPU 캐시나 디스크 캐시 - 한 메모리 주소에 접근할 때 주소 뿐만 아니라 해당 블록을 전부 캐시에 가져온다.

• 이때 메모리 주소를 오름차순이나 내림차순으로 접근 시, 캐시에 저장된 같은 블록의 데이터에 접근하므로 효율성이 향상된다.

캐시의 동작 방식

이미지 출처 : 캐시(Cache)와 Redis

1. 원본 데이터와는 별개로 자주 쓰이는 데이터들을 복사해둘 캐시 공간을 마련한다.

   캐시 공간 - 강수 시간 등 낮은 시간 복잡도로 접근 가능한 곳을 주로 사용

2. 데이터를 달라는 요청이 들어오면 원본 데이터가 담긴 곳에 접근하기 전에 먼저 캐시 내부부터 찾는다.

3. 캐시가 원하는 데이터가 없거나 오래되어 최신성을 잃었으면 그때서야 원본 데이터가 있는 곳에 접근하여 데이터를 가져온다.

   이때 데이터를 가져오면서 캐시에도 해당 데이터를 복사하거나 갱신한다.

4. 캐시에 원하는 데이터가 있으면 원본 데이터가 있는 공간에 접근하지 않고 캐시에서 바로 해당 데이터를 제공한다.

   캐시 공간은 작으므로, 공간이 모자라게 되면 안쓰는 데이터부터 삭제하여 공간을 확보한다.

캐시 사용 사례

CPU의 캐시 메모리

• 현대의 CPU는 1초에 수십억 번 정도 작동하는데 이를 주 기억장치가 따라가기 어렵다.

• SRAM이라는 특수한 메모리를 CPU에 넣어 캐시 메모리로 사용한다.

하드디스크, 데이터베이스

• 주기억장치에 비해 10만 배 이상 느린 장치

• 처리 효율을 올리려면 자주 쓰이는 데이터를 캐싱해두는 방법을 사용한다.

• 데이터베이스 또한 쿼리를 실행하여 하드디스크에서 데이터를 읽고 쓰는 것 -> 시간 오래 걸리는 작업

• 데이터베이스는 쓰기보다 읽기가 많으므로 자주 요청받는 쿼리의 결과를 캐싱해두면 효율이 상승한다.

따라서 데이터베이스 자체에서 별도의 캐시를 운영한다.

JPA의 영속성 켄텍스트도 실은 캐시의 일종이다.

CDN (Content Delivery Network)

• YouTube 메인 서버는 미국에 존재하며 한국과 미국을 연결하는 국제 인터넷 회선은 비싸고 용량을 늘리기 어렵다.

• 구글은 각 통신사마다 Google Global Cache를 두어 인기있는 영상을 국내 서버에서 처리하도록 설정했다.

• 비싼 국제 회선 비용은 절감되고 버퍼링이 줄어 고화질 서비스의 이용 경험이 개선되었다.

세계 각지에 캐시 서버를 두어 전송 속도를 높이고 부하를 분산하는 시스템

웹 캐시

• 네트워크를 통해 데이터를 가져오는 것이 하드디스크보다 느릴 때가 많다.

• 브라우저 캐시 : 웹 브라우저에서 웹 페이지에 접속할 때 HTML, CSS, 자바스크립트, 이미지 등을 하드디스크나 메모리에 캐싱해 뒀다가 다음 번에 다시 접속할 때 이를 재활용한다.

• 응답 캐시 : 웹 서버에서 상당수의 경우 동적 웹 페이지라 할지라도 매번 내용이 바뀌지 않는 경우가 더 많으므로, 서버에서 생성한 HTML을 캐싱해뒀다가 다음 요청에 재활용한다.

• 프록시 캐시 : 클라이언트에서 자주 요청받는 내용은 웹 서버로 전달하지 않고 웹서버 앞단의 프록시 서버에서 캐싱해둔 데이터를 바로 제공하기도 한다.

브라우저 캐시

• 웹 서버에서 클라이언트에 보내는 HTTP 헤더에 캐시 지시자를 삽입하면, 클라이언트 웹 브라우저에서는 해당 지시자에 명시된 캐시 정책에 따라 캐싱을 실시한다.

• 캐시의 유효 시간이 지나도 캐시된 데이터가 바뀌지않는 경우를 확인하기 위해 ETag라는 유효성 검사 토큰을 사용한다.

• 때로는 캐시 유효 시간을 최대한 길게 잡으면서도 정적 파일의 업데이트를 신속히 적용하기 위해 정적 파일의 이름 뒤에 별도의 토큰이나 버전 번호를 붙여야 하는 경우도 있다.

• 캐시 정책은 해당 웹페이지의 전반적인 상황에 따라 각 파일마다 다르게 적용되어야하며 적어도 정적 파일과 동적인 부분의 브라우저 캐싱 정책이 달라야한다.

• 비공개 정보가 담긴 페이지는 보안상 아예 캐싱을 막아야 할 수도 있다.

Redis

Remote Dictionary Server

• 메모리 기반 오픈소스 NoSQL DBMS의 일종으로 웹 서비스에서 캐싱을 위해 많이 사용

• Dictionary은 Java의 HashMap<Key, Value> 로 생각하면 된다.

• 기본적으로 모든 데이터를 메모리에 저장하여 처리하므로 속도가 빠르다.

• 서버 재부팅 때 메모리의 데이터가 휘발되지 않게끔 데이터를 하드디스크에 기록할 수 있다.

• DBMS의 일종이므로, 명시적으로 삭제하지 않는 한 메모리에서 데이터를 삭제하지 않는다.

• 자체적으로 여러 가지 자료형을 지원한다.

EHcache

Java의 표준 캐싱 API 명세인 JSR-107을 따르는 오픈소스 캐시 구현체

• Spring 프레임워크나 Hibernate ORM 등에서 바로 사용 가능하다.

• Java 진영에서 가장 널리 사용된다.

• 캐시 저장공간을 속도에 따라 여러 등급으로 나누어 메모리 계층 구조 적용 가능하다.

• 메모리에 캐시된 내용을 하드디스크에 기록 가능하다.

• 대규모 서비스에서 캐시 서버 여럿을 클러스터로 묶을 수 있는 기능을 제공한다.

---

참고

캐시란 무엇인가

캐시(Cache)와 Redis

캐시란? Cache is Cash

우아한 테크 - 큰곰의 Cache