2023-09-18-TIL

2023-09-18-TIL

Today I Learned

Cloud Native

• https://aws.amazon.com/ko/what-is/cloud-native/

Node vs Pod vs Cluster

• https://www.cloudzero.com/blog/kubernetes-node-vs-pod
• https://www.vmware.com/topics/glossary/content/components-kubernetes.html
• https://medium.com/developerworld/pod-vs-node-in-kubernetes-26c858988f94

Kubernetes NoExecute vs NoSchedule

• https://stackoverflow.com/questions/50966318/what-is-the-difference-between-noexecute-noschedule-prefernoschedule

Amazon ECR

• https://docs.aws.amazon.com/ko_kr/AmazonECR/latest/userguide/what-is-ecr.html

Kubernetes Secrets

• https://kubernetes.io/docs/concepts/configuration/secret/

Kubernetes Vault

• https://developer.hashicorp.com/vault/docs/platform/k8s
• https://github.com/hashicorp/vault-k8s

HashiCorp

• https://local.hashicorp.com/ko

Docker Layering을 효율적으로 사용하여 빌드시간 단축하기

• https://www.baeldung.com/docker-layers-spring-boot
• https://jskim1991.medium.com/spring-boot-3-ways-of-dockerizing-spring-boot-application-29a905dd5a5a

Today I Studied

Schduling

• 스케줄링
• 실제로 할당하는것을 Kublet

Resource Requirements

Requests and Limits

Requests 최저 요구치, Limits 내가 어디까지 리소스를 가질 수 있을지에 대한 제한 Requests는 노드의 전체 할당량에 대하여 requests만큼은 무조건 할당이 되고, requests보다 많이 필요하면 할당이 안된다. cpu가 4개인데 2개만 쓸 수 있다면 그게 limits, 즉, limit인 2개가 되면 동작하지 못한다.

초기설정은 requests, 운영중에는 limits

노드의 메모리가 10 이고 파드의 메모리 request는 3, limit은 5일 때 노드에 배포할 수 있는 최대 파드의 개수는 3개입니다 근데 모든 파드가 모두 메모리를 5까지 사용할 수 있어요

limit 5, 5, 5인 경우가 발생할 수 있을까? 아마도 10이라면 찰나의 순간에 먼저 선점하는 두 개의 파드가 10을 차지하면 하나의 파드가 쫓겨나거나 할듯?

request는 정해두고, limit는 정하지 않는게 권장사항?

보통 request, limit는 동일하게 두고, cpu는 상황에 따라 변동성이 크기때문에 (예를들면, spring boot의 부팅 시 cpu를 많이 먹지만 이후에는 거의 안 먹음) request = 0.1, limit = 1로 준다

단위 = 코어 하나

여기에서 말하는 단위의 정확한 의미: CPU 스케줄링 가중치

처음에는 메모리처럼 물리적으로 영역이 나누어져있다고 생각했는데 그게아니라 cpu req/limit은 CPU를 점유할 수 있는 권한 가중치 느낌인 것 같아서 신기했어요

하이퍼쓰레드

메모리 단위 = 10^2, 2^2

Kubernetes (K8s)에서 `request`와 `limit`는 컨테이너의 리소스 사용에 관한 중요한 개념입니다. 이 두 가지 매개 변수는 리소스를 할당하고 제한하는 데 사용됩니다.

1. **Resource Requests (요청)**:
   - `request`는 컨테이너가 필요로 하는 최소 리소스 양을 나타냅니다.
   - 컨테이너에 할당되는 리소스의 최소값을 정의합니다. 예를 들어, CPU 요청이 0.5 CPU인 경우, 해당 컨테이너는 적어도 0.5 CPU를 가지게 할당될 것입니다.
   - `request`를 설정하면 Kubernetes 스케줄러가 컨테이너를 호스트 노드에 배치할 때 해당 요청에 맞는 노드를 선택하려고 노력합니다. 이를 통해 리소스가 부족한 상황에서도 컨테이너가 실행될 수 있도록 보장합니다.

2. **Resource Limits (제한)**:
   - `limit`는 컨테이너가 사용할 수 있는 최대 리소스 양을 나타냅니다.
   - 컨테이너가 할당된 리소스를 초과하여 사용하지 못하게 하려면 `limit`를 설정합니다. 예를 들어, 메모리 `limit`이 1GB로 설정된 경우, 컨테이너는 1GB를 초과하여 메모리를 사용할 수 없습니다.
   - `limit`를 설정하면 컨테이너가 너무 많은 리소스를 소비하여 다른 컨테이너들에게 영향을 주는 상황을 방지합니다.

`request`와 `limit`를 올바르게 설정하면 리소스 사용을 관리하고 클러스터의 안정성을 유지하는 데 도움이 됩니다. 요청과 제한을 잘 조절하면 리소스를 효율적으로 활용하면서도 컨테이너의 안정성을 보장할 수 있습니다.

• https://cloud.google.com/blog/products/containers-kubernetes/kubernetes-best-practices-resource-requests-and-limits
• https://itchain.wordpress.com/2018/05/16/kubernetes-resource-request-limit/

---

Affinity

affinity가 그양 nodeSelector보다 상세한 기능이라고만 이해했어요

---

Taints and Tolerence

mosquito pod 가 spray=에프킬라 테인트 노드에 못다가간다

특정 노드의 특정 파드에 트래픽이 몰리게되면 noexecute … 0개가 되는 경우가 발생해서 위험하기도 함.

노드별로 균등하게 할당하는 방법은 없는가? -> 옵션이 따로 있다.

• https://kubernetes.io/docs/concepts/scheduling-eviction/taint-and-toleration/

Node Selectors

affinity 설정한 경험, logstash pod인데 라벨링을 별도로 해준다. 예를들면, devops라는 라벨링이 된 노드에 affinity 설정을 했다. 그런데 devops 라벨링이 개발환경에는 안 걸려있었다. preffered로 걸어주었을 때 잘 옮겨가지 않아서 required로 바꾸려고 했으나, devops라는 라벨이 없으면 pending상태가 되는 문제가 있다.

fluentD…

influxDB

Tip:

로깅시스템의 로그보다 k8s의 로그를 보고있는데, 여러 pod의 로그를 deployment옵션으로 통합해서 볼 수 있다. 파드 쉘 안에서 터미널을 직접 열 수 있어서 그걸로 로그볼 수 있다. 단, 애플리케이션이 stdout으로 찍어야지 k8s로그로 볼 수 있다. Daemon set에서 fluentD가 붙어서 노드의 파일로그를 tail로 읽어서 ES로 쏘는 형태로 되어있다.

pod가 어느 노드에 들어가고, 들어가지 않을것인지를 결정하는 요소

---

도커 이미지를 만드는 방법에 대한 고민

빌드시간 단축을 위해서

jar를 통째로 올리면 docker의 layer를 제대로 활용하지 못 하는게 아닌지? layering을 효과적으로 하는 방법이 무엇이 있을까?

ECR

k8s도 GitHub action같은 빌드도구가 있지만 느려서 jenkins로 바꿈 환경변수나 시크릿 매니저 값은 애플리케이션에서 집어넣나? vault에 일원화 함

prod의 값들은 git에 안 남기고 secret

k8s 시크릿 오브젝트를 바꾸어 주어야하는데, k8s에 external secret에서 aws secret manager에서 발급한 키를 가져오는 식으로 조합해서 사용

하시코프