5주차 - LoadBalancer(MetalLB)

0. 목적성

• 온프레미스에서 사용할 수 있는 LoadBalancer인 MetalLB 의 네트워크 흐름을 이해합니다.

0.1 LoadBalancer

• 온프레미스에서는 로드밸런서 파드를 생성해서 직접 부하분산을 진행합니다.

• aws 나 클라우드 환경에서는 managed service인 로드밸런서를 사용해서 부하분산을 하게 됩니다.

NodePort 방식

Pod 방식

• NodePort 방식

  • 외부 로드 밸런서에서 1번 부하분산되고 그 이후 추가로 서비스에서 부하분산 과정이 수행되어서 성능이 저하됩니다.

• Pod 방식

  • 외부 로드밸런서가 목적지 pod로 직접 부하분산을 하게되어 1번의 부하분산과정으로 수행됩니다.

1. MetalLB

1.1 MetalLB 소개

• 온프레미스 환경에서 LoadBalancer 서비스를 구현하게 됩니다.

1.1.1 동작원리

• 쿠버네티스 데몬셋으로 스피커 파드 생성으로 ExternalIP를 전파합니다.

• 이 덕분에, 외부에서 쿠버네티스 서비스로 접근이 가능해집니다.

• ARP 테이블 모드와 BGP 모드가 있습니다.

1.2 MetalLB - 네트워크 흐름 layer 2 모드

• SVC1 IP 로 접속하게 되면, Node에 배포된 speaker 파드를 통해 iptables로 각 파드로 DNAT이 됩니다.

• 리더 파드(호스트네트워크사용)를 선출해서 리더 파드가 있는 노드로만 트래픽 인입이 됩니다.

• 하지만, 다른 파드가 리더로 선출되는데 10초가 소요됩니다 하지만, 그 사이에 장애가 발생할 수 있습니다.

1.2.1 [실습] 환경구성

// 1. KIND를위한EC2 생성
curl -O https://s3.ap-northeast-2.amazonaws.com/cloudformation.cloudneta.net/kans/kans-5w.yaml
aws cloudformation deploy --template-file kans-5w.yaml --stack-name mylab --parameter-overrides KeyName=kp-gasida SgIngressSshCidr=$(curl -s ipinfo.io/ip)/32 --region ap-northeast-2

// 2. K8S 클러스터 생성 및 기본 툴들 설치
cat <<EOT> kind-svc-2w.yaml
kind: Cluster
apiVersion: kind.x-k8s.io/v1alpha4
featureGates:
  "InPlacePodVerticalScaling": true  #실행 중인 파드의 리소스 요청 및 제한을 변경할 수 있게 합니다.
  "MultiCIDRServiceAllocator": true  #서비스에 대해 여러 CIDR 블록을 사용할 수 있게 합니다.
nodes:
- role: control-plane
  labels:
    mynode: control-plane
    topology.kubernetes.io/zone: ap-northeast-2a
  extraPortMappings:  #컨테이너 포트를 호스트 포트에 매핑하여 클러스터 외부에서 서비스에 접근할 수 있도록 합니다.
  - containerPort: 30000
    hostPort: 30000
  - containerPort: 30001
    hostPort: 30001
  - containerPort: 30002
    hostPort: 30002
  - containerPort: 30003
    hostPort: 30003
  - containerPort: 30004
    hostPort: 30004
  kubeadmConfigPatches:
  - |
    kind: ClusterConfiguration
    apiServer:
      extraArgs:  #API 서버에 추가 인수를 제공
        runtime-config: api/all=true  #모든 API 버전을 활성화
    controllerManager:
      extraArgs:
        bind-address: 0.0.0.0
    etcd:
      local:
        extraArgs:
          listen-metrics-urls: http://0.0.0.0:2381
    scheduler:
      extraArgs:
        bind-address: 0.0.0.0
  - |
    kind: KubeProxyConfiguration
    metricsBindAddress: 0.0.0.0
- role: worker
  labels:
    mynode: worker1
    topology.kubernetes.io/zone: ap-northeast-2a
- role: worker
  labels:
    mynode: worker2
    topology.kubernetes.io/zone: ap-northeast-2b
- role: worker
  labels:
    mynode: worker3
    topology.kubernetes.io/zone: ap-northeast-2c
networking:
  podSubnet: 10.10.0.0/16  #파드 IP를 위한 CIDR 범위를 정의합니다. 파드는 이 범위에서 IP를 할당받습니다.
  serviceSubnet: 10.200.1.0/24  #서비스 IP를 위한 CIDR 범위를 정의합니다. 서비스는 이 범위에서 IP를 할당받습니다.
EOT


# k8s 클러스터 설치
kind create cluster --config kind-svc-2w.yaml --name myk8s --image kindest/node:v1.31.0

# 노드에 기본 툴 설치
docker exec -it myk8s-control-plane sh -c 'apt update && apt install tree psmisc lsof wget bsdmainutils bridge-utils net-tools dnsutils ipset ipvsadm nfacct tcpdump ngrep iputils-ping arping git vim arp-scan -y'
for i in worker worker2 worker3; do echo ">> node myk8s-$i <<"; docker exec -it myk8s-$i sh -c 'apt update && apt install tree psmisc lsof wget bsdmainutils bridge-utils net-tools dnsutils ipset ipvsadm nfacct tcpdump ngrep iputils-ping arping -y'; echo; done

## mypc 컨테이너를 기동해 둡니다. (src ip 가 될 컨테이너입니다.)
docker run -d --rm --name mypc --network kind --ip 172.18.0.100 nicolaka/netshoot sleep infinity

• 각 노드의 IP 정보를 확인할 수 있습니다.

// 1. pod를 생성합니다.
cat <<EOF | kubectl apply -f -
apiVersion: v1
kind: Pod
metadata:
  name: webpod1
  labels:
    app: webpod
spec:
  nodeName: myk8s-worker
  containers:
  - name: container
    image: traefik/whoami
  terminationGracePeriodSeconds: 0
---
apiVersion: v1
kind: Pod
metadata:
  name: webpod2
  labels:
    app: webpod
spec:
  nodeName: myk8s-worker2
  containers:
  - name: container
    image: traefik/whoami
  terminationGracePeriodSeconds: 0
EOF

1.2.2 [실습] 서비스 접속 테스트

// 1. Kubernetes manifests 로 MetalLB 설치
kubectl apply -f https://raw.githubusercontent.com/metallb/metallb/refs/heads/main/config/manifests/metallb-native-prometheus.yaml

// 2. metallb crd 확인
bfdprofiles.metallb.io                      2024-10-05T12:02:54Z
// metallb 네트워크 장애 custom Resource DEFINITION
bgpadvertisements.metallb.io                2024-10-05T12:02:54Z
// bgp 정의 설정 (metallb가 클러스터의 ip를 bgp를 통해 광고하는데 필요한 정보입니다.)
bgppeers.metallb.io                         2024-10-05T12:02:54Z
// bgp 피어 설정 (bgp를 사용해서 다른 라우터와 연결하기 위해 설정하는 피어 정보를 포함)
communities.metallb.io                      2024-10-05T12:02:54Z
ipaddresspools.metallb.io                   2024-10-05T12:02:54Z
// MetalLB 가 할당할 수 있는 IP 주소 풀을 설정 합니다. (LB에서 설정할 수 있는 IP 주소 범위 설정)
l2advertisements.metallb.io                 2024-10-05T12:02:54Z
servicel2statuses.metallb.io                2024-10-05T12:02:54Z

## metallb 데몬셋으로 배포되는 스피커 파드는 hostNetwork 를 사용함
kubectl get ds -n metallb-system -o yaml
          
          name: speaker
          ports:
          - containerPort: 7472
            name: monitoring
            protocol: TCP
          - containerPort: 7946
            name: memberlist-tcp
            protocol: TCP
          - containerPort: 7946
            name: memberlist-udp
            protocol: UDP
          readinessProbe:
            failureThreshold: 3
            httpGet:
              path: /metrics
              port: monitoring
              scheme: HTTP
            initialDelaySeconds: 10
            periodSeconds: 10
            successThreshold: 1
            timeoutSeconds: 1
          resources: {}
          securityContext:
            allowPrivilegeEscalation: false
            capabilities:
              add:
              - NET_RAW
              drop:
              - ALL
            readOnlyRootFilesystem: true
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
          volumeMounts:
          - mountPath: /etc/ml_secret_key
            name: memberlist
            readOnly: true
          - mountPath: /etc/metallb
            name: metallb-excludel2
            readOnly: true
        dnsPolicy: ClusterFirst
        hostNetwork: true

// 서비스(External-IP) 대역을 노드가 속한 eth0의 대역이 아니여도 상관없다!
// GW 역할의 라우터에서 노드들로 라우팅 경로 지정합니다

# IPAddressPool 생성 : LoadBalancer External IP로 사용할 IP 대역
## MetalLB는 서비스를 위한 외부 IP 주소를 관리하고, 서비스가 생성될 때 해당 IP 주소를 동적으로 할당할 수 있습니다.
cat <<EOF | kubectl apply -f -
apiVersion: metallb.io/v1beta1
kind: IPAddressPool
metadata:
  name: my-ippool
  namespace: metallb-system
spec:
  addresses:
  - 172.18.255.200-172.18.255.250
EOF
# L2Advertisement 생성 : 설정한 IPpool을 기반으로 Layer2 모드로 LoadBalancer IP 사용 허용
## Kubernetes 클러스터 내의 서비스가 외부 네트워크에 IP 주소를 광고하는 방식을 정의
cat <<EOF | kubectl apply -f -
apiVersion: metallb.io/v1beta1
kind: L2Advertisement
metadata:
  name: my-l2-advertise
  namespace: metallb-system
spec:
  ipAddressPools:
  - my-ippool
EOF

# LoadBalancer 타입의 서비스 생성 확인 : EXTERNAL-IP가 서비스 마다 할당되며, 실습 환경에 따라 다를 수 있음
## LoadBalancer 타입의 서비스는 NodePort 와 ClusterIP 를 포함함 - 'allocateLoadBalancerNodePorts : true' 기본값
## ExternalIP 로 접속 시 사용하는 포트는 PORT(S) 의 앞에 있는 값을 사용 (아래의 경우는 TCP 80 임)
## 만약 노드의 IP에 NodePort 로 접속 시 사용하는 포트는 PORT(S) 의 뒤에 있는 값을 사용 (아래는 30485 임)
kubectl get service,ep

# LoadBalancer 타입은 기본적으로 NodePort를 포함 사용. NodePort는 ClusterIP를 포함 사용.
## 클라우드사업자 LB Type이나 온프레미스환경 HW LB Type 경우 LB 사용 시 NodePort 미사용 설정 가능
kubectl describe svc svc1

## 아래 처럼 LB VIP 별로 이던 speaker 배포된 노드가 리더 역할을 하는지 확인 가능
kubectl describe svc | grep Events: -A5

• external ip 할당 확인할 수 있습니다.

• arp table에도 externalIP 할당되어있는것을 확인할 수 있습니다.

// EXTERNAL IP 를 통해 ETAL LB 스피커가 잘 동작하는지 확인해봅시다.

// 1. PING을 던져봅시다.
for i in $SVC1EXIP $SVC2EXIP $SVC3EXIP; do docker exec -it mypc ping -c 1 -w 1 -W 1 $i; done
# arp scan 해두기
// 2. docker control plane 의 arp scan을 해보면, lb에서 mac address로 매칭되는것을 볼 수 있습니다.
docker exec -it myk8s-control-plane arp-scan --interfac=eth0 --localnet

// 부하분산 접속 확인
docker exec -it mypc zsh -c "for i in {1..100}; do curl -s $SVC1EXIP | grep Hostname; done | sort | uniq -c | sort -nr"
docker exec -it mypc zsh -c "for i in {1..100}; do curl -s $SVC2EXIP | grep Hostname; done | sort | uniq -c | sort -nr"
docker exec -it mypc zsh -c "for i in {1..100}; do curl -s $SVC3EXIP | grep Hostname; done | sort | uniq -c | sort -nr"

1.2.3 [실습] MetalLB Failover

## 지속적으로 반복 접속 
SVC1EXIP=$(kubectl get svc svc1 -o jsonpath='{.status.loadBalancer.ingress[0].ip}')
docker exec -it mypc zsh -c "while true; do curl -s --connect-timeout 1 $SVC1EXIP | egrep 'Hostname|RemoteAddr'; date '+%Y-%m-%d %H:%M:%S' ; echo ;  sleep 1; done"

# 장애 재연
## 리더 Speaker 파드가 존재하는 노드(실제는 컨테이너)를 중지
docker stop <svc1 번 리더 Speaker 파드가 존재하는 노드(실제는 컨테이너)> --signal 9
docker stop myk8s-worker --signal 9

## 지속적으로 반복 접속 상태 모니터링
### curl 연속 접속 시도 >> 대략 10초 이내에 정상 접근 되었지만, 20초까지는 불안정하게 접속이 되었다
### 실제로는 다른 노드의 speaker 파드가 리더가 되고, 이후 다시 노드(컨테이너)가 정상화되면, 다시 리더 speaker 가 됨
docker exec -it mypc zsh -c "while true; do curl -s --connect-timeout 1 $SVC1EXIP | egrep 'Hostname|RemoteAddr'; date '+%Y-%m-%d %H:%M:%S' ; echo ;  sleep 1; done"

# mypc/mypc2 에서 arp 테이블 정보 확인 >> SVC IP별로 리더 파드(스피커) 역할의 노드를 확인!
docker exec -it mypc ip -c neigh | sort
kubectl get node -owide # mac 주소에 매칭되는 IP(노드) 찾기

• 잠시동안, 통신이 안되는것을 확인할 수 있습니다.

• 다시 리더가 존재하는 노드를 생성했을때, 원복된것을 확인할 수 있었다.

1.3 MetalLB - BGP 모드

• Speaker 파드가 BGP 로 서비스 정보를 전파합니다. 외부에서 ECMP 라우팅으로 부하분산 접속합니다.

• 클라이언트 IP 보존이 가능합니다.

• BGP 모드는 외부의 라우터가 트래픽을 분산해서 효율적입니다.