ephemeral-storage のリソース不足が発生している場合の対応策

ディスク使用量の確認と不要なデータを削除

Kubernetes が表示している ephemeral-storage の Capacity は、ノード全体のディスク容量に基づいている

実際のディスク使用量が高い場合、Kubernetes が「リソース不足」と判断することがある

ディスク使用量を確認

df -hT

不要なイメージの削除（docker）

docker system prune -af

不要なイメージの削除（containerd）

crictl rmi $(crictl images -q)

不要なログの削除

sudo du -sh /var/log
sudo rm -rf /var/log/*-old

Kubernetes のノードが ephemeral-storage のしきい値（evictionHard）に基づいて Pod をスケジューリングできない場合がある

nodefs.available や imagefs.available のしきい値が低すぎる場合（ディスク容量の 10% 未満が残っている）にエビクションが発生

Kubelet の設定を確認

cat /var/lib/kubelet/config.yaml

変更前

evictionHard:
  nodefs.available: "10%"
  imagefs.available: "15%"

変更後

evictionHard:
  nodefs.available: "5%"
  imagefs.available: "10%"

Kubelet を再起動

sudo systemctl restart kubelet

Pod に対して ephemeral-storage の requests と limits を適切に設定していない場合、リソース管理が正しく行われない可能性がある

resources を Pod に設定

resources:
  requests:
   ephemeral-storage: "500Mi"
  limits:
   ephemeral-storage: "1Gi"

ノードに taint が設定されている場合、Pod がスケジュールされない可能性がある

ノードの Taint を確認

kubectl describe node <ノード名>

出力例

Taints:
  node.kubernetes.io/ephemeral-storage-pressure:NoSchedule

taint が設定されている場合、toleration を Pod に追加してスケジュール可能にする

Toleration を Pod に追加

tolerations:
  - key: "node.kubernetes.io/ephemeral-storage-pressure"
    operator: "Exists"
    effect: "NoSchedule"

kube-state-metrics 以外の Pod やシステムコンポーネントが大量の ephemeral-storage を使用している場合がある

現在のリソース消費を確認

kubectl describe nodes <ノード名>

出力内にある Ephemeral Storage セクションを確認し、どのコンポーネントがリソースを消費しているか特定

消費量が多い Pod を確認

kubectl top pods --namespace <Namespace名>