2주차 Networking - VPC CNI, AWS LB Ctrl, CoreDNS/ExternalDNS

이번주는2주차(3.10) : Networking - VPC CNI, AWS LB Ctrl, CoreDNS/ExternalDNS 에 대해 알아보자

인프런에서도 강의를 같이 진행하고 있다. 네트워크 내용들에 대해서 2, 3번 보게 되었다! 스터디에서 트러블 슈팅시에 꿀팁들을 난무하셔서 든든했다! 확실히 스터디에서 인프런에서 다루지 않은 심화내용들을 권장해주신다.

해당 스터디원들의 누적된 공헌들의 합을 내가 지금 받고 있는것으로 감개무량하다! (감사합니다!)

a. 기본 인프라 환경

b. AWS EKS 클러스터 설치

EC2의 User Data 스크립트 실행
- export | egrep 'ACCOUNT|AWS_|CLUSTER|KUBERNETES|VPC|Subnet | egrep -v SECRET|KEY 하면 환경 변수 정보 모두 확인 가능하다.
- k8s 사이드 툴들을 사용하기위해 1.28을 사용했다.
eks 클러스터 설치 (oidc, iam role, endpoint)

c. Amazon EKS 노드 그룹 구성

d. 추가 설치

Amazon EKS는 VPC CNI 플러그인을 통해 클러스터 네트워킹 환경을 구성

a. 소개
- AWS VPC와 유기적인 연결이 된다!!
- POD IP 네트워크 대역과 노드(워커)의 IP 대역이 같아서 직접 통신이 가능하다.
- 파드간 통신시 K8S CNI는 오버레이 통신함 그와 반면에 AWS CNI는 동일 대역으로 직접 통신한다. (오버헤드 발생 VS 오버헤드 없다)
- 다른 워커 노드들과 통신이 바로바로 된다.

b. 아키텍쳐

Primary IP Address가 무엇인가?
- 할당된 ENI다.
- 위화면에서 프라이빗 IPv4 주소로 나타난다
Secondary IP Address가 무엇인가?
- Kubelet을 통해 늘어난 pod 에게 secondary Ip들을 할당한다.
- 보조 프라이빗 IPv4 주소로 나타난다.

왜 CoreDNS는 Veth로 다른 ENI를 사용하는것처럼 보이냐? (그림은 공인 IP가 노출되서 제거했습니다.)
- 호스트의 네트워크 네임스페이스를 사용하지 않아서 다르다!
- 다른 파드들은 호스트의 네트워크 네임스페이스를 공유한다.
- 컨테이너 내용이라서 넘어가겠다!
실습사항 워커 노드에 파드를 여러개 띄우게 되면 그에따라 secondary IP들과 ENI 가 추가되었다.
- 해당 실습은 ip link를 watch 해두고 eksctl로 pod들을 생성했다.
- POD들을 삭제하니 ENI가 줄어들었다!

c. 통신 흐름

d. 구성의 최대 파드 개수 실습 (두번째 중요한 이슈)

          kube-ops-view를 통해 노드의 파드상태 정보를 웹페이지에서 실시간 출력되는것을 확인

위와 같은 iptables 로직을 거치지 않고 aws load balancer Controller의 장점은 효율적이다!
하지만 AWS 구성요소인 NLB에게 EKS의 구성요소가 있다는 것을 알리고 권한을 주려고하면 Load Balancer Controller 파드가 필요하다. (IAM ROLE을 주는것이 CONTROLLER)
- IAM Policy가 버전마다 달라지니 주의가 필요
설치 완료후 cluster role 확인 필요하다.

a. 서비스/파드 배포 테스트 with NLB 실습

b. Pod Readiness Gate

c. Ingress 실습 서비스/파드 배포 테스트 with Ingress(ALB)

d. ExternalDNS

접속 주소가 복잡하다 → 사용자가 편한 주소(도메인 주소)로 맵핑해준다.
LoadBalancer controller 처럼 role이 필요하다
- ExternalDNS CTRL 권한 주는 방법은 3가지가 있다.
  - Node IAM Role (보안적 취약함)
  - Static Credentials
  - IRSA (권고사항)
Controller 생성 실습:
- AWS Route 53 정보 확인 & 변수 지정
- externalDNS 배포진행
  - 권장사항 —policy=upsert-only (A/TXT레코드 설정 날라갈 수 있으니 필수로 지정하고 사용합시다)
- 도메인 체크시에 정상적으로 표기확인 (NLB 맵핑 + DNS 맵핑 확인)
  - kubectl annotate service tetris “external-dns.alpha.kubernetes.io/hostname=tetris.$MyDomain
- dig로 확인 했을때 됨
- 전세계 도메인 체커
- 으로 체크
- Ingress 의 annotation을 통해 domain추가가 가능해진다!
- tls 의 설정도 추가로 해주면 가능하다!