이 페이지에서는 Google Kubernetes Engine (GKE)의 수평형 포드 자동 확장 처리에서 내보내는 결정 이벤트에 대한 정보를 제공합니다. 이러한 이벤트를 분석하면 수평형 포드 자동 확장 처리 컨트롤러가 워크로드 확장을 관리하는 방식을 파악하고 작업의 의사결정 프로세스를 이해할 수 있습니다.
수평형 포드 자동 확장 처리는 Cloud Logging에 로그 항목으로 저장되는 결정 이벤트를 발생시킵니다.
시작하기 전에
다음 기본 요건을 완료해야 합니다.
프로젝트 선택 또는 생성
기존 프로젝트를 사용하거나 이 튜토리얼용으로 새 프로젝트를 만들 수 있습니다.
-
In the Trusted Cloud console, on the project selector page, select or create a Trusted Cloud project.
-
Make sure that billing is enabled for your Trusted Cloud project.
-
클러스터에서 수평형 포드 자동 확장 처리 이벤트 로깅을 사용 설정하려면 다음 단계를 따르세요.
Kubernetes Engine 클러스터 관리자 (
roles/container.clusterAdmin) -
로그에 액세스하고 로그 탐색기 및 로그 분석을 사용하려면 다음이 필요합니다.
로그 뷰어 (
roles/logging.viewer) - GKE 클러스터에서 버전
1.31.5-gke.1090000이상 또는1.32.1-gke.1260000이상을 실행해야 합니다. - GKE 클러스터에서 Cloud Logging을 사용 설정합니다. Cloud Logging 가격 책정이 적용됩니다.
CLUSTER_NAME: 생성하거나 업데이트하려는 클러스터의 이름입니다.PROJECT_ID: Trusted Cloud 프로젝트 IDLOCATION: 클러스터의 컴퓨팅 리전 또는 영역CLUSTER_NAME: 생성하거나 업데이트하려는 클러스터의 이름입니다.PROJECT_ID: Trusted Cloud 프로젝트 IDLOCATION: 클러스터의 컴퓨팅 리전 또는 영역원자적 추천: 수평형 포드 자동 확장 처리는 클러스터의 각 HPA 객체에서 모니터링하는 각 측정항목에 대해 15초마다 하나의 원자적 추천 이벤트를 생성합니다. 예를 들어 클러스터에 HPA 객체가 두 개 있고 각 HPA 객체가 측정항목 세 개를 모니터링하는 경우 15초마다 원자적 추천 6개가 로깅됩니다.
최종 추천: 수평형 포드 자동 확장 처리기는 클러스터의 각 HPA 객체에 대해 15초마다 하나의 최종 추천 이벤트를 생성합니다. 예를 들어 클러스터에 HPA 객체가 두 개 있는 경우 15초마다 두 개의 최종 추천이 로깅됩니다.
index:Spec metrics배열에 있는 측정항목의 색인입니다.type: MetricSourceType (예: 리소스, 외부)의 값이 있는 측정항목 유형입니다.spec: 측정항목의 이름과 해당 측정항목에 설정된 타겟입니다.status: 확장성 및 확장 제한과 관련된 상태 조건newest_sample_time: 가장 최신 측정항목 샘플의 타임스탬프입니다.newest_sample_age_seconds: 추천 계산이 시작된 이후 가장 최근 샘플의 기간(초)입니다. 음수 값은 측정항목 샘플이 계산 시작보다 이전임을 나타냅니다.dampening: HPA는 잠재적 확장 규모를 줄이기 위해 권장사항과 방향에 감쇠를 적용합니다. 감쇠는 다음과 같은 방식으로 발생할 수 있습니다.up: 상향 댐핑 방향은 HPA가 측정항목 사용률이 100% 인 누락된 측정항목 포드를 가정한다는 의미입니다.down: 하향 감쇠 방향은 HPA가 측정항목 사용률을 0% 소비하는 누락된 측정항목 포드 또는 준비되지 않은 포드를 가정함을 의미합니다.none: 감쇠가 적용되지 않습니다.
override: HPA에서 제안한 권장사항이 적용되지 않는 이유를 제공하는 메시지 (예: 허용 오차로 인해) 또는 재정의가 발생하지 않는 경우noneresult: 추천 결과입니다. 권장되는 복제본 수를 제안하거나 권장사항을 계산할 수 없는 경우 오류 메시지를 표시합니다.replicas: 안정화 후 복제본 번호입니다.reason: 적용된 안정화 유형(scaleUp또는scaleDown)stabilization_window: 연결된 안정화 기간(초)입니다.replicas_before_stabilization: 안정화 전 권장 복제본 수입니다.replicas: 제한 후 복제본 번호입니다.reason: 최소 또는 최대 복제본 수를 초과하여 확장하지 않는 이유입니다.scaling_policy: 적용된 확장 정책입니다.selectPolicy: 특정 방향으로 확장할 때 정책이 선택되는 방식을 지정합니다.MaxChange는 MaxChangePolicySelect에 해당하고MinChange는 MinChangePolicySelect에 해당합니다. 확장이 사용 중지되면selectPolicy필드가 표시되지 않습니다.replicas_before_limitation: 제한 전 권장 복제본 수입니다.- 클러스터에 Cloud Logging을 사용 설정했습니다.
- 클러스터에
KCP_HPA로그를 사용 설정했습니다. - 올바르게 구성된
hpa객체를 하나 이상 클러스터에 배포했습니다. - GKE 로그 정보를 참고하세요.
- GKE 로그를 이해합니다.
- 샘플 쿼리를 사용하여 특정 GKE 로그를 찾는 방법을 알아봅니다.
- 측정항목을 기반으로 포드 자동 확장을 최적화하는 방법을 알아보세요.
API 사용 설정
Enable the GKE, and Cloud Logging APIs.
Cloud Shell 설정
이 튜토리얼에서는 Cloud Shell을 사용하여 gcloud 및 kubectl 명령어를 실행합니다. Cloud Shell은 Trusted Cloud by S3NS에서 호스팅되는 리소스를 관리하는 데 사용되는 셸 환경입니다. Google Cloud CLI 및 kubectl 명령줄 도구가 사전 설치되어 있습니다.
In the Trusted Cloud console, activate Cloud Shell.
Console 하단의 프레임에서 Cloud Shell 세션이 열립니다.
이 튜토리얼에서 명령어를 실행하기 전에 기본 프로젝트가 샘플 앱을 배포할 프로젝트 ID로 설정되어 있는지 확인합니다. 아직 설정되지 않았으면 Cloud Shell에서 다음 명령어를 실행합니다.
gcloud config set project PROJECT_ID
여기서 PROJECT_ID를 프로젝트 ID로 바꿉니다.
필수 역할 및 권한
로그 생성을 사용 설정하고 로그에 액세스하여 처리하는 데 필요한 권한을 얻으려면 관리자에게 프로젝트에 대한 다음 IAM 역할을 부여해 달라고 요청하세요.
역할 부여에 대한 자세한 내용은 프로젝트, 폴더, 조직에 대한 액세스 관리를 참조하세요.
커스텀 역할이나 다른 사전 정의된 역할을 통해 필요한 권한을 얻을 수도 있습니다.
요구사항
수평형 포드 자동 확장 처리 결정 이벤트 사용 설정
KCP_HPA 결정 로그가 사용 설정된 새 클러스터를 만들려면 다음 명령어를 실행합니다.
gcloud container clusters create CLUSTER_NAME \
--location=LOCATION \
--project=PROJECT_ID \
--logging=SYSTEM,KCP_HPA
기존 클러스터에서 KCP_HPA 결정 로그를 사용 설정하려면 다음 명령어를 실행합니다.
gcloud container clusters update CLUSTER_NAME \
--location=LOCATION \
--project=PROJECT_ID \
--logging=SYSTEM,KCP_HPA
다음을 바꿉니다.
이러한 명령어는 KCP_HPA에서 생성된 로그를 내보내고 Cloud Logging 내의 대상 logName="projects/PROJECT_ID/logs/container.googleapis.com%2Fhpa-controller"에 저장합니다.
클러스터의 업데이트된 로깅 구성을 가져오고 로그 목록을 검토하여 KCP_HPA 로그가 사용 설정되어 있는지 확인합니다.
gcloud container clusters describe CLUSTER_NAME \
--location=LOCATION \
--flatten=loggingConfig \
--format='csv[delimiter=",",no-heading](componentConfig.enableComponents)'
출력은 다음과 비슷합니다.
SYSTEM_COMPONENTS,APISERVER,CONTROLLER_MANAGER,SCHEDULER,KCP_HPA
수평형 포드 자동 확장 처리 결정 이벤트 사용 중지
--logging 플래그에서 KCP_HPA 구성요소를 삭제하도록 클러스터를 업데이트합니다.
gcloud container clusters update CLUSTER_NAME \
--location=LOCATION \
--project=PROJECT_ID \
--logging=SYSTEM
다음을 바꿉니다.
이 명령어는 KCP_HPA에서 생성된 로그 내보내기를 사용 중지합니다. Cloud Logging 내에서 logName="projects/PROJECT_ID/logs/container.googleapis.com%2Fhpa-controller" 필터를 사용하여 검색할 수 없습니다.
클러스터의 업데이트된 로깅 구성을 가져오고 로그 목록을 검토하여 KCP_HPA 로그가 사용 중지되었는지 확인합니다.
gcloud container clusters describe CLUSTER_NAME \
--location=LOCATION \
--flatten=loggingConfig \
--format='csv[delimiter=",",no-heading](componentConfig.enableComponents)'
출력은 다음과 비슷합니다.
SYSTEM_COMPONENTS,APISERVER,CONTROLLER_MANAGER,SCHEDULER
로그 유형
수평형 포드 자동 확장 처리의 결정 이벤트는 GKE 클러스터와 동일한 프로젝트의 _Default 버킷에 있는 logName="projects/PROJECT_ID/logs/container.googleapis.com%2Fhpa-controller" 위치의 Cloud Logging에 저장됩니다.
로깅된 모든 이벤트는 JSON 형식이며, 로그 항목의 jsonPayload 필드에서 찾을 수 있습니다.
성능 또는 비용 영향 외에도 잠재적인 로그 볼륨의 스토리지 요구사항을 이해해야 합니다. 다음 예에서는 수평형 포드 자동 확장 처리가 각 유형의 결정 이벤트를 생성하는 빈도를 설명합니다.
3개의 측정항목을 각각 모니터링하는 2개의 HPA 객체를 사용하면 KCP_HPA 로그는 15초마다 총 8개의 결정 이벤트 항목을 수신합니다.
원자적 추천
원자적 추천 로그는 수평형 포드 자동 확장 처리기에 지정된 개별 측정항목을 기반으로 한 추천을 설명합니다.
원자 로그에는 다음 필드가 포함됩니다.
| 필드 | 설명 |
|---|---|
start_time |
HPA가 추천을 계산하기 시작한 시간을 나타냅니다. |
hpa |
추천과 연결된 HPA 객체의 이름입니다. |
pod_count |
추천을 할 때 HPA와 연결된 총 포드 수를 나타냅니다. 이 숫자에는 준비 상태, 준비되지 않은 상태, 무시된 포드도 포함됩니다. |
metric |
추천에 사용된 측정항목의 사양과 상태에 관한 정보를 제공합니다. metric 필드에는 다음과 같은 하위 필드가 포함됩니다.
|
summary |
요약 필드에는 추천 복제본 수를 비롯한 추천 결과에 관한 정보가 포함됩니다. 추천을 제안할 수 없는 경우 오류 메시지가 표시됩니다. summary 필드에는 다음과 같은 하위 필드가 포함됩니다.
|
원자적 추천 로그의 예:
{
"insertId": "xiu4bty9k5b279wu",
"jsonPayload": {
"instance": {
"vm_name": "my-unique-vm-identifier",
"zone": "us-central1-a"
},
"atomicRecommendation": {
"startTime": "2025-02-06T20:07:00.573419526Z",
"hpa": "gke-managed-cim/kube-state-metrics",
"metric": {
"newestSampleAgeSeconds": -39.573419526,
"status": {
"averageValue": "25849856"
},
"newestSampleTime": "2025-02-06T20:06:21Z",
"type": "Resource",
"spec": {
"target": {
"averageValue": "400Mi"
},
"name": "memory"
}
},
"podCount": {
"ready": 1,
"total": 1
},
"summary": {
"override": "none",
"replicas": 1,
"dampening": "none"
}
}
},
"resource": {
"type": "k8s_control_plane_component",
"labels": {
"project_id": "my-project-id",
"cluster_name": "my-cluster",
"location": "us-central1-a",
"component_location": "us-central1-a",
"component_name": "hpa-controller"
}
},
"timestamp": "2025-02-06T20:07:00.593777835Z",
"severity": "INFO",
"labels": {
"compute.googleapis.com/resource_name": "my-unique-vm-identifier"
},
"logName": "projects/my-project-id/logs/container.googleapis.com%2Fhpa-controller",
"sourceLocation": {
"file": "event_logger.go",
"line": "61"
},
"receiveTimestamp": "2025-02-06T20:07:05.284753647Z"
}
최종 추천
최종 권장사항 로그는 수평형 포드 자동 확장 처리에서 제안한 통합 권장사항을 설명합니다. 수평형 포드 자동 확장 처리는 다양한 측정항목의 모든 원자적 권장사항을 결합하여 최종 권장사항을 만들고 최종 권장사항을 실행합니다. 작동은 HPA가 권장 값과 일치하도록 복제본 수를 조정하도록 배포에 지시하는 것을 의미합니다. 최종 추천에서 실행 중인 포드 수와 다른 포드 수를 제안하는 경우 수평형 포드 자동 확장 처리에서 스케일 업 또는 스케일 다운 이벤트를 트리거하여 배포를 적절하게 조정합니다.
최종 추천 로그에는 다음 필드가 포함됩니다.
| 필드 | 설명 |
|---|---|
start_time |
HPA가 추천을 계산하기 시작한 시간을 나타냅니다. |
hpa |
추천과 연결된 HPA 객체의 이름입니다. |
target_ref |
추천과 연결된 HPA ScaleTargetRef 객체를 나타냅니다. |
configured_size |
HPA가 이 추천을 계산하고 적용하기 전에 마지막으로 기록된 복제본 수입니다. |
top_level_override |
HPA에서 제안한 추천이 적용되지 않은 경우 (예: 허용 오차로 인해) 이유를 제공합니다. 재정의가 발생하지 않으면 none입니다. |
top_level_limit |
HPA 사양의 MinReplicas 또는 MaxReplicas 필드에 정의된 복제본 수로 인해 HPA에서 제안한 권장사항을 조정해야 하는 경우 이유를 제공합니다. |
leading_metric_index |
Spec metrics 배열의 선행 측정항목 색인은 연결된 원자 추천이 최종 추천으로 사용되는 측정항목입니다. |
normalization |
안정화 및 제한 요약이 있는 경우 다음과 같이 제공합니다.
|
replicas |
권장 복제본 수입니다. |
actuation_error |
작동이 실패한 경우 실패와 관련된 오류 메시지입니다. |
actuation_time |
성공 시 작동의 타임스탬프입니다. |
actuation_latency_seconds |
추천 계산이 시작된 시점부터 작동이 성공할 때까지 경과된 시간(초)입니다. |
최종 추천 로그의 예:
{
"insertId": "qzyv7alfv1sm19ns",
"jsonPayload": {
"finalRecommendation": {
"actuationTime": "2025-02-06T20:06:57.487786873Z",
"targetRef": {
"name": "kube-state-metrics",
"kind": "StatefulSet",
"apiVersion": "apps/v1"
},
"topLevelLimit": "none",
"hpa": "gke-managed-cim/kube-state-metrics",
"topLevelOverride": "noRecommendation",
"replicas": 1,
"configuredSize": 1,
"actuationLatencySeconds": 0.003722451,
"startTime": "2025-02-06T20:06:57.484064422Z"
},
"instance": {
"vm_name": "my-unique-vm-identifier",
"zone": "us-central1-a"
}
},
"resource": {
"type": "k8s_control_plane_component",
"labels": {
"cluster_name": "my-cluster",
"component_location": "us-central1-a",
"component_name": "hpa-controller",
"location": "us-central1-a",
"project_id": "my-project-id"
}
},
"timestamp": "2025-02-06T20:06:57.488193527Z",
"severity": "INFO",
"labels": {
"compute.googleapis.com/resource_name": "my-unique-vm-identifier"
},
"logName": "projects/my-project-id/logs/container.googleapis.com%2Fhpa-controller",
"sourceLocation": {
"file": "event_logger.go",
"line": "61"
},
"receiveTimestamp": "2025-02-06T20:06:57.844898727Z"
}
문제 해결
이 섹션에서는 수평형 포드 자동 스케일러 이벤트와 관련된 문제와 해결 단계를 설명합니다.
일정이 없습니다.
수평형 포드 자동 확장 처리 결정 이벤트가 표시되지 않으면 다음을 모두 완료했는지 확인하세요.
hpa 객체 구성을 보려면 다음 명령어를 실행합니다.
kubectl describe hpa $HPA_NAME
그래도 KCP_HPA 로그가 표시되지 않으면 Trusted Cloud 지원팀에 문의하세요.