NLB for MCIS

[seokho-son]

CB-TB NLB 개요

• CB-TB는 2가지 종류의 NLB 기능을 제공
  • Global NLB (G-NLB)
  • Regional NLB (R-NLB)

---

Regional NLB (R-NLB) 개요

• CSP가 제공하는 NLB를 MCIS에 추가하여, 사용자가 고속(SW NLB 대비)의 NLB를 활용할 수 있도록 지원.
  • CSP가 HW를 기반으로 직접 제공하는 서비스이므로 고성능 (이용료 과금)
  • Layer 4 NLB: Layer 4 (TCP, UDP)에서 IP와 Port를 활용하여 네트워크 부하를 연결된 서버들로 분산하는 것을 의미
• CB-TB는 CSP의 NLB 자원을 CB-TB의 오브젝트로 관리함 (생성 , 조회 , 삭제 등)

MCIS 연동 형상

• CSP NLB에는 포함될 수 있는 VM에 제약이 있음.
• 따라서, CB-TB에서는 MCIS의 subGroup 단위로 NLB를 생성 및 연동할 수 있도록 구성함. (CSP에 종속된 NLB 서비스는 일반적으로 동일 CSP 및 리전(VPC) 내의 자원들만 연동 가능하므로, 편의성을 고려)

• 하기 예시와 같이, subGroup 단위로 NLB를 생성하여 쉽게 연동할 수 있음

관련 API

• NLB 생성: https://cloud-barista.github.io/cb-tumblebug-api-web/?url=https://raw.githubusercontent.com/cloud-barista/cb-tumblebug/main/src/api/rest/docs/swagger.yaml#/%5BInfra%20resource%5D%20NLB%20management/post_ns__nsId__mcis__mcisId__nlb
  • 요청시, targetGroup에 subGroupId 를 명시하면, subGroup의 VM 멤버 모두가 targetGroup에 포함됨
  • 사용자 편의를 위해 명세를 최대한 간소화하였음
    • 중복 항목 제거 및 자동화 (Tidy TbNLBReq fields #1197)
    • NLB의 ID는 자동으로 subGroupId와 동일한 ID가 부여됨

  {
    "description": "string",
    "healthChecker": {
      "interval": "default",
      "threshold": "default",
      "timeout": "default"
    },
    "listener": {
      "port": "80",
      "protocol": "TCP"
    },
    "scope": "REGION",
    "targetGroup": {
      "port": "80",
      "protocol": "TCP",
      "subGroupId": "g1"
    },
    "type": "PUBLIC"
  }
  

• 개발자 용도로 개별 VM 단위의 처리를 지원하는 API가 노출되어 있음. (일반 사용자의 사용을 권장하지 않음)
  • https://cloud-barista.github.io/cb-tumblebug-api-web/?url=https://raw.githubusercontent.com/cloud-barista/cb-tumblebug/main/src/api/rest/docs/swagger.yaml#/%5BInfra%20resource%5D%20NLB%20management%20(for%20developer)/post_ns__nsId__mcis__mcisId__nlb__nlbId__vm

관련 설정

• NLB Health check 관련 req body에 CSP별로 허용하지 되지 않거나 적용되지 않은 값이 있어서, CSP 별로 처리가 필요
• https://github.com/cloud-barista/cb-tumblebug/blob/main/conf/cloud_conf.yaml 를 통해 default 값을 제공하며, 내부적으로 자동 처리하여, 사용자는 CSP 무관하게 API를 사용할 수 있도록 처리하였음.

CSP별 NLB 기능 및 제약 사항

• Ref) https://docs.google.com/spreadsheets/d/1z4-H-rmbuPLS93JxQwY4prmT9CFLr2TT/edit#gid=1051610479 (by CB-Spider lead)]

---

Global NLB (G-NLB) 개요

• CSP가 제공하는 NLB를 MCIS에 추가하여, 사용자가 고속(SW NLB 대비)의 NLB를 활용할 수 있도록 지원.
• CB-TB는 CSP의 NLB 자원을 CB-TB의 오브젝트로 관리함 (생성 , 조회 , 삭제 등)

MCIS 연동 형상

• MCIS 내의 모든 VM을 Public IP를 기반으로 연동
• SW 기반 NLB를 배포하여 서비스 형태로 제공 (L4)
  • Script 기반으로 HAProxy 제공
  • Script 변경을 통해 사용자 선호 SW로 변경 가능
• PoC 단계 (Global DNS인 GSLB와 다름)

• 최적 배치 기능을 통한, 최적의 NLB Host 배포
  • https://github.com/cloud-barista/cb-tumblebug/blob/main/assets/cloudlatencymap.csv 의 리전간 응답속도 맵 데이터를 활용
  • 리전간 응답속도 맵 데이터는 https://cloud-barista.github.io/cb-tumblebug-api-web/?url=https://raw.githubusercontent.com/cloud-barista/cb-tumblebug/main/src/api/rest/docs/swagger.yaml#/%5BInfra%20service%5D%20MCIS%20Provisioning%20management/post_systemMcis 를 통해 모든 리전에 probe 용 VM을 배포하고, https://cloud-barista.github.io/cb-tumblebug-api-web/?url=https://raw.githubusercontent.com/cloud-barista/cb-tumblebug/main/src/api/rest/docs/swagger.yaml#/%5BInfra%20service%5D%20MCIS%20Performance%20benchmarking%20(WIP)/get_ns__nsId__benchmarkLatency_mcis__mcisId_ 를 통해 RTT를 측정한 결과이며, cloudlatencymap.csv 의 데이터를 이미 확보한 경우 추가로 RTT 측정을 수행할 필요는 없음.

관련 API

• NLB 생성: https://cloud-barista.github.io/cb-tumblebug-api-web/?url=https://raw.githubusercontent.com/cloud-barista/cb-tumblebug/main/src/api/rest/docs/swagger.yaml#/%5BInfra%20resource%5D%20NLB%20management/post_ns__nsId__mcis__mcisId__mcSwNlb

관련 설정

• https://github.com/cloud-barista/cb-tumblebug/tree/main/scripts/nlb 에 SW NLB 설치 스크립트, 노드 추가 스크립드 등이 포함되어 있으며 이를 수정하여 사용자가 원하는 형태로 변경 가능

NLB 기능 및 제약 사항

• PoC 단계이므로 구동 안정성이 보장되지 않음