2주차 [2] - 파드와 PAUSE 컨테이너

• Pause 컨테이너가 무엇이고, 파드의 네트워크 구성은 어떻게 되는것인지 알아보자

1. 파드 & Pause 컨테이너

• 파드는 1개 이상의 컨테이너로 구성된 컨테이너의 집합이다.

• PAUSE 컨테이너가 Network/IPS/UTS 네임스페이스를 생성하고 공유하여 POD간 동일한 네트워크 네임스페이스를 가지게 됩니다.

1.1 k8s CRI

https://kubernetes.io/blog/2018/05/24/kubernetes-containerd-integration-goes-ga/

• CRI란?

  • 쿠버네티스 컨테이너 런타임 인터페이스로, kubelet과 컨테이너와의 결합도를 낮추기 위해 도입되었습니다.

  • 1.0 에서는 cri-containerd와 containerd1.0 은 여전히 2개의 다른 데몬으로 구현되었고, 불필요한 통신 오버헤드가 발생했습니다.

• 이에 대해 CRI-Containerd가 플러그인으로 리팩토링되어서, CRI 플러그인은 직접 함수 호출을 통해 containerd와 상호 작용할 수 있게 변경되 었습니다.

• 이렇게 kubelet 클라이언트는 UNIX 소켓을 통해 CRI와 통신하고, 컨테이너 수명 주기와 POD를 관리하게 됩니다.

1.2 파드란?

• 파드란, 컨테이너 애플리케이션의 기본 단위로 불리며, 1개 이상의 컨테이너로 구성된 컨테이너의 집합입니다.

• Pod 내에 실행되는 컨테이너들은 동일한 노드에 할당 된다.

• Pod IP 는 노드 IP와 별개로 클러스터 내에서 접근 가능한 IP를 할당 받는다.

  • 다른 노드에서도 POD에 NAT 없이 접근이 가능하다 (CNI의 기능)

• IP 공유는 어떻게 일어날까?

  • PAUSE 컨테이너가 부모 처럼 Network 네임스페이스를 생성한다.

  • 해당 네임스페이스를 내부 컨테이너들이 공유하게 된다.

• PAUSE 컨테이너는 두가지 핵심 책임이 있습니다.

  • 첫째, 포드에서 Linux 네임스페이스 공유의 기반 역할을 한다.

  • 둘째, PID 네임스페이스 공유가 활성화 되면, 각 포드에 대한 PID 1역할을 한다.

1.3 배포후 NET, IPC, UTS 네임스페이스 공유 확인

1.3.1 Pod 배포 및 격리 확인

# kind 클러스터 설치 확인
docker port myk8s-worker
(⎈|kind-myk8s:N/A) root@kind:~# docker port myk8s-worker
30000/tcp -> 0.0.0.0:30000
30001/tcp -> 0.0.0.0:30001


# kube-ops-view
(⎈|kind-myk8s:N/A) root@kind:~# helm repo add geek-cookbook https://geek-cookbook.github.io/charts/
helm install kube-ops-view geek-cookbook/kube-ops-view --version 1.2.2 --set service.main.type=NodePort,service.main.ports.http.nodePort=30000 --set env.TZ="Asia/Seoul" --namespace kube-system
"geek-cookbook" has been added to your repositories
NAME: kube-ops-view
LAST DEPLOYED: Sun Sep  8 06:32:08 2024
NAMESPACE: kube-system
STATUS: deployed
REVISION: 1
TEST SUITE: None
NOTES:
1. Get the application URL by running these commands:
  export NODE_PORT=$(kubectl get --namespace kube-system -o jsonpath="{.spec.ports[0].nodePort}" services kube-ops-view)
  export NODE_IP=$(kubectl get nodes --namespace kube-system -o jsonpath="{.items[0].status.addresses[0].address}")
  echo http://$NODE_IP:$NODE_PORT
(⎈|kind-myk8s:N/A) root@kind:~# kubectl get deploy,pod,svc,ep -n kube-system -l app.kubernetes.io/instance=kube-ops-view
NAME                            READY   UP-TO-DATE   AVAILABLE   AGE
deployment.apps/kube-ops-view   0/1     1            0           9s

NAME                                 READY   STATUS              RESTARTS   AGE
pod/kube-ops-view-657dbc6cd8-h9s54   0/1     ContainerCreating   0          9s

NAME                    TYPE       CLUSTER-IP      EXTERNAL-IP   PORT(S)          AGE
service/kube-ops-view   NodePort   10.96.250.240   <none>        8080:30000/TCP   9s

NAME                      ENDPOINTS   AGE
endpoints/kube-ops-view   <none>      9s

# 설치 확인 myk8s-worker bash 진입해서 확인
root@myk8s-worker:/# crictl ps
CONTAINER           IMAGE               CREATED             STATE               NAME                ATTEMPT             POD ID              POD
f7f0fc62dbced       a645de6a07a3d       5 minutes ago       Running             kube-ops-view       0                   736c5d3b5d0ff       kube-ops-view-657dbc6cd8-h9s54
b0cd6fdb2a647       12968670680f4       16 minutes ago      Running             kindnet-cni         0                   48580ffa1480d       kindnet-nsfh4
8419bcab57746       af3ec60a3d89b       16 minutes ago      Running             kube-proxy          0                   786aa48c01215       kube-proxy-pgtrq


# 네임스페이스 특정 확인
pstree -aclnpsS
|-pause,1158,ipc,mnt,net,pid,uts  ## pause 컨테이너 1158번 프로세스 
|-python3,1222,cgroup,ipc,mnt,net,pid,uts -m kube_ops_view ## kubeops server 프로세스

# 루트의 네임스페이스 확인
root@myk8s-worker:/# lsns -p 1
        NS TYPE   NPROCS PID USER COMMAND
4026531834 time       16   1 root /sbin/init
4026531837 user       16   1 root /sbin/init
4026532229 mnt         9   1 root /sbin/init
4026532230 uts        14   1 root /sbin/init
4026532231 ipc         9   1 root /sbin/init
4026532242 pid         9   1 root /sbin/init
4026532243 net        14   1 root /sbin/init
4026532335 cgroup     14   1 root /sbin/init

# pause 컨테이너의 네임스페이스 확인
root@myk8s-worker:/# lsns -p 1158
        NS TYPE   NPROCS   PID USER  COMMAND
4026531834 time       15     1 root  /sbin/init
4026531837 user       15     1 root  /sbin/init
4026532335 cgroup     13     1 root  /sbin/init
4026532583 net         2  1158 65535 /pause
4026532642 mnt         1  1158 65535 /pause
4026532643 uts         2  1158 65535 /pause
4026532644 ipc         2  1158 65535 /pause
4026532645 pid         1  1158 65535 /pause

# kubeops 컨테이너의 네임스페이스 확인

root@myk8s-worker:/# lsns -p 1222
        NS TYPE   NPROCS   PID USER  COMMAND
4026531834 time       16     1 root  /sbin/init
4026531837 user       16     1 root  /sbin/init
4026532583 net         2  1158 65535 /pause
4026532643 uts         2  1158 65535 /pause
4026532644 ipc         2  1158 65535 /pause
4026532646 mnt         1  1222 1000  python3 -m kube_ops_view
4026532647 pid         1  1222 1000  python3 -m kube_ops_view
4026532648 cgroup      1  1222 1000  python3 -m kube_ops_view

• pause container가 가지고있는 net, uts, ipc 를 다른 컨테이너에서 사용하는 것을 확인

• mnt, pid, cgroup은 자신의 컨테이너 것을 사용하는 것을 확인

1.3.2 myweb2 파드 2개 배포후 공유 네임스페이스 확인

# 위의 그림의 파드를 생성합니다.
apiVersion: v1
kind: Pod
metadata:
  name: myweb2
spec:
  containers:
  - name: myweb2-nginx
    image: nginx
    ports:
    - containerPort: 80
      protocol: TCP

  - name: myweb2-netshoot
    image: nicolaka/netshoot
    command: ["/bin/bash"]
    args: ["-c", "while true; do sleep 5; curl localhost; done"] # 포드가 종료되지 않도록 유지합니다

  terminationGracePeriodSeconds: 0

#  생성
kubectl apply -f https://raw.githubusercontent.com/gasida/NDKS/main/3/myweb2.yaml

# 생성 확인
(⎈|kind-myk8s:N/A) root@kind:~# kubectl get pod -owide
NAME     READY   STATUS    RESTARTS   AGE     IP           NODE           NOMINATED NODE   READINESS GATES
myweb2   2/2     Running   0          7m13s   10.244.1.3   myk8s-worker   <none>           <none>


# 파드의 컨테이너 IP 확인
kubectl exec myweb2 -c myweb2-netshoot -- ip addr
kubectl exec myweb2 -c myweb2-nginx -- apt update
kubectl exec myweb2 -c myweb2-nginx -- apt install -y net-tools
kubectl exec myweb2 -c myweb2-nginx -- ifconfig

# NET SHOOT 의 IP ADDR
2: eth0@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 8e:16:40:c0:47:48 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.244.1.3/24 brd 10.244.1.255 scope global eth0
       valid_lft forever preferred_lft forever
# NGINX 의 ifconfig
eth0: flags=4163<UP,BROADCAST,RUNNING,MULTICAST>  mtu 1500
        inet 10.244.1.3  netmask 255.255.255.0  broadcast 10.244.1.255

# 두개의 ip가 같은것을 확인 가능하다.

# 각각 PID 를 변수에 지정
NGINXPID=$(ps -ef | grep 'nginx -g' | grep -v grep | awk '{print $2}')
echo $NGINXPID

NETSHPID=$(ps -ef | grep 'curl' | grep -v grep | awk '{print $2}')
echo $NETSHPID

PAUSEPID=<각자 자신의 pause PID>

# PAUSE 의 NET 네임스페이스 PID 확인 및 IP 정보 확인
pstree -aclnpsS
lsns -t net
nsenter -t $PAUSEPID -n ip -c addr
nsenter -t $NGINXPID -n ip -c addr
nsenter -t $NETSHPID -n ip -c addr

(⎈|kind-myk8s:N/A) root@kind:~# nsenter -t $PAUSEPID -n ip -c addr
nsenter -t $NGINXPID -n ip -c addr
nsenter -t $NETSHPID -n ip -c addr
# PAUSE 컨테이너
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0@if2: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 86:fa:97:cd:e8:43 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.244.1.2/24 brd 10.244.1.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::84fa:97ff:fecd:e843/64 scope link
       valid_lft forever preferred_lft forever
# NGINX PID
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 8e:16:40:c0:47:48 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.244.1.3/24 brd 10.244.1.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::8c16:40ff:fec0:4748/64 scope link
       valid_lft forever preferred_lft forever
# NETSH PID 
1: lo: <LOOPBACK,UP,LOWER_UP> mtu 65536 qdisc noqueue state UNKNOWN group default qlen 1000
    link/loopback 00:00:00:00:00:00 brd 00:00:00:00:00:00
    inet 127.0.0.1/8 scope host lo
       valid_lft forever preferred_lft forever
    inet6 ::1/128 scope host
       valid_lft forever preferred_lft forever
2: eth0@if3: <BROADCAST,MULTICAST,UP,LOWER_UP> mtu 1500 qdisc noqueue state UP group default
    link/ether 8e:16:40:c0:47:48 brd ff:ff:ff:ff:ff:ff link-netnsid 0
    inet 10.244.1.3/24 brd 10.244.1.255 scope global eth0
       valid_lft forever preferred_lft forever
    inet6 fe80::8c16:40ff:fec0:4748/64 scope link
       valid_lft forever preferred_lft forever

1.3.3 Pause 컨테이너는 왜 필요한가??

https://speakerdeck.com/devinjeon/containerbuteo-dasi-salpyeoboneun-kubernetes-pod-dongjag-weonri?slide=68

• 인프라 컨테이너로 불린 pause 컨테이너는 pod 간 유연한 통신을 위해 필요하다고 한다.