Add storage, network policy and ingress support to the Kubernetes

[jugatsu]

PR к ДЗ №30

Добавил манифест-файлы для конфигурации следующих компонентов Kubernetes:

1. Network Policy
2. Storage
3. Ingress-контроллера

Ниже подробнее.

Реорганизовал структуру директории kubernetes. Теперь манифесты расположенные в отдельных директориях:

├── app
├── dashboard.yaml
├── ingress
├── namespace
├── netpol
├── secrets
└── storage

И соответственно app/:

app
├── deployment
│   ├── comment.yaml
│   ├── mongo.yaml
│   ├── post.yaml
│   └── ui.yaml
└── service
    ├── comment.yaml
    ├── mongodb.yaml
    ├── post.yaml
    └── ui.yaml

Для развертывания используется ключ -R для рекурсии:

$ kubectl apply -f storage/ -R
$ kubectl apply -f app/ -R

Network Policy

1. Добавил опцию Network Policy в конфигурацию terraform. Сделал включение Network Policy опциональным при помощи ternary оператора, по дефолту она выключена.

network_policy {
    provider = "CALICO"
    enabled  = "${var.gke_network_policy ? 1 : 0}"
  }

2. Добавил конфигурацию для всех микросервисов. Манифест-файлы находятся в директории netpol/.

Подам разрешено только ходить по определённым портам. Проверял с использованием nmap.

Ниже пример comment --> post до включения и после:

$ kubectl exec -it comment-676db49d44-zv2pg sh
/app # apk add --no-cache nmap
/app # nmap post -Pn -p 5000
Starting Nmap 7.40 ( https://nmap.org ) at 2017-12-09 08:44 UTC
Nmap scan report for post (10.47.251.61)
Host is up (0.00012s latency).
rDNS record for 10.47.251.61: post.default.svc.cluster.local
PORT     STATE SERVICE
5000/tcp open  upnp

Nmap done: 1 IP address (1 host up) scanned in 0.27 seconds

$ kubectl apply -f app/netpol/

/app # nmap post -Pn -p 5000

Starting Nmap 7.40 ( https://nmap.org ) at 2017-12-09 08:45 UTC
Nmap scan report for post (10.47.251.61)
Host is up.
rDNS record for 10.47.251.61: post.default.svc.cluster.local
PORT     STATE    SERVICE
5000/tcp filtered upnp

3. Пришлось сменить тип виртуальных машин на n1-standard-2. Иначе не хватало ресурсов

Storage

Вся конфигурация стораджа находится в директории storage/

Ingress

1. Для примера манифест-файл для объекта Secret создан в директории secrets/. Для создания использовал хак)

kubectl create secret tls ui-ingress --cert=tls.crt --key=tls.key --dry-run -o yaml > ui-ingress.yaml

Возможность шифрования не прорабатывал ) Вот интересный проект https://github.com/shyiko/kubesec

2. Также экспериментально добавил в kebernetes настройку tls-сертификатов и объекта Secret.

// Ensure secret with tls keys for ingress is created
resource "kubernetes_secret" "ingress" {
  metadata {
    name = "ui-ingress"
  }

  data {
    tls.key = "${tls_private_key.ingress.private_key_pem}"
    tls.crt = "${tls_locally_signed_cert.ingress.cert_pem}"
  }

  type       = "kubernetes.io/tls"
  depends_on = ["google_container_cluster.cluster"]
}

Остановился лишь на создании сертификатов с произвольными CN и т.д.

Но схема рабочая полностью. Единственно, что при первом terraform apply, нужно выполнить:

terraform apply --target=google_container_cluster.cluster

Затем уже штатный terraform apply. Это связано с тем, что провайдер Kubernetes при первом apply ничего не знает про кластер hashicorp/terraform#14073 (comment)

[jugatsu]

/сс @vitkhab @chromko @Nklya

[jugatsu]

README.md сделаю после последнего дз по Kubernetes)

[chromko]

Работа выполнена круто. Единственное - я думаю, не стоит разбивать директории по типам ресурсов deployment/service/ingress/etc. Лучше по самим приложениям comment/post/ui.
Тогда очевидны зависимости конкретного приложения в k8s. (грубо говоря структура helm-чарта уже образована).

[jugatsu]

По разбивке понял, спасибо 👍

В следующем дз исправим)