使用 vLLM 在 GKE 上通过 TPU Trillium 提供 LLM

使用集合让一切井井有条 根据您的偏好保存内容并对其进行分类。

创建 GKE 集群

您可以在 GKE Autopilot 或 Standard 集群中的 TPU 上应用 LLM。我们建议您使用 Autopilot 集群获得全托管式 Kubernetes 体验。如需选择最适合您的工作负载的 GKE 操作模式，请参阅选择 GKE 操作模式。

配置 kubectl 以与您的集群通信

如需配置 kubectl 以与您的集群通信，请运行以下命令：

  gcloud container clusters get-credentials ${CLUSTER_NAME} --region=${REGION}

为 Hugging Face 凭据创建 Kubernetes Secret

1. 创建一个命名空间。如果您使用的是 default 命名空间，则可以跳过此步骤：

   kubectl create namespace ${NAMESPACE}
   

2. 如需创建包含 Hugging Face 令牌的 Kubernetes Secret，请运行以下命令：

   kubectl create secret generic hf-secret \
       --from-literal=hf_api_token=${HF_TOKEN} \
       --namespace ${NAMESPACE}
   

创建 Cloud Storage 存储桶

在 Cloud Shell 中，运行以下命令：

gcloud storage buckets create gs://${GSBUCKET} \
    --uniform-bucket-level-access

这会创建一个 Cloud Storage 存储分区，用于存储您从 Hugging Face 下载的模型文件。

设置 Kubernetes ServiceAccount 以访问存储桶

1. 创建 Kubernetes ServiceAccount：

   kubectl create serviceaccount ${KSA_NAME} --namespace ${NAMESPACE}
   

2. 向 Kubernetes ServiceAccount 授予读写权限，以便访问 Cloud Storage 存储分区：

   gcloud storage buckets add-iam-policy-binding gs://${GSBUCKET} \
     --member "principal://iam.googleapis.com/projects/${PROJECT_NUMBER}/locations/global/workloadIdentityPools/${PROJECT_ID}.svc.id.goog/subject/ns/${NAMESPACE}/sa/${KSA_NAME}" \
     --role "roles/storage.objectUser"
   

3. 或者，您也可以向该角色授予对项目中所有 Cloud Storage 存储分区的读写权限：

   gcloud projects add-iam-policy-binding ${PROJECT_ID} \
   --member "principal://iam.googleapis.com/projects/${PROJECT_NUMBER}/locations/global/workloadIdentityPools/${PROJECT_ID}.svc.id.goog/subject/ns/${NAMESPACE}/sa/${KSA_NAME}" \
   --role "roles/storage.objectUser"
   

   GKE 会为 LLM 创建以下资源：

   1. 存储下载的模型和编译缓存的 Cloud Storage 存储桶。Cloud Storage FUSE CSI 驱动程序会读取存储桶的内容。
   2. 启用文件缓存的卷和 Cloud Storage FUSE 的并行下载功能。
   最佳实践：

   根据模型内容（例如权重文件）的预期大小，使用由 tmpfs 或 Hyperdisk / Persistent Disk 提供支持的文件缓存。在本教程中，您将使用由 RAM 提供支持的 Cloud Storage FUSE 文件缓存。

部署 vLLM 模型服务器

如需部署 vLLM 模型服务器，本教程将使用 Kubernetes Deployment。Deployment 是一个 Kubernetes API 对象，可让您运行在集群节点中分布的多个 Pod 副本。

1. 检查保存为 vllm-llama3-70b.yaml 的部署清单：

   
   apiVersion: apps/v1
   kind: Deployment
   metadata:
     name: vllm-tpu
   spec:
     replicas: 1
     selector:
       matchLabels:
         app: vllm-tpu
     template:
       metadata:
         labels:
           app: vllm-tpu
         annotations:
           gke-gcsfuse/volumes: "true"
           gke-gcsfuse/cpu-limit: "0"
           gke-gcsfuse/memory-limit: "0"
           gke-gcsfuse/ephemeral-storage-limit: "0"
       spec:
         serviceAccountName: KSA_NAME
         nodeSelector:
           cloud.google.com/gke-tpu-topology: 2x4
           cloud.google.com/gke-tpu-accelerator: tpu-v6e-slice
         containers:
         - name: vllm-tpu
           image: docker.io/vllm/vllm-tpu:73aa7041bfee43581314e6f34e9a657137ecc092
           command: ["python3", "-m", "vllm.entrypoints.openai.api_server"]
           args:
           - --host=0.0.0.0
           - --port=8000
           - --tensor-parallel-size=8
           - --max-model-len=4096
           - --model=meta-llama/Llama-3.1-70B
           - --download-dir=/data
           - --max-num-batched-tokens=512
           - --max-num-seqs=128
           env: 
           - name: HUGGING_FACE_HUB_TOKEN
             valueFrom:
               secretKeyRef:
                 name: hf-secret
                 key: hf_api_token
           - name: VLLM_XLA_CACHE_PATH
             value: "/data"
           - name: VLLM_USE_V1
             value: "1"
           ports:
           - containerPort: 8000
           resources:
             limits:
               google.com/tpu: 8
           readinessProbe:
             tcpSocket:
               port: 8000
             initialDelaySeconds: 15
             periodSeconds: 10
           volumeMounts:
           - name: gcs-fuse-csi-ephemeral
             mountPath: /data
           - name: dshm
             mountPath: /dev/shm
         volumes:
         - name: gke-gcsfuse-cache
           emptyDir:
             medium: Memory
         - name: dshm
           emptyDir:
             medium: Memory
         - name: gcs-fuse-csi-ephemeral
           csi:
             driver: gcsfuse.csi.storage.gke.io
             volumeAttributes:
               bucketName: GSBUCKET
               mountOptions: "implicit-dirs,file-cache:enable-parallel-downloads:true,file-cache:parallel-downloads-per-file:100,file-cache:max-parallel-downloads:-1,file-cache:download-chunk-size-mb:10,file-cache:max-size-mb:-1"
   ---
   apiVersion: v1
   kind: Service
   metadata:
     name: vllm-service
   spec:
     selector:
       app: vllm-tpu
     type: LoadBalancer	
     ports:
       - name: http
         protocol: TCP
         port: 8000  
         targetPort: 8000
   

2. 通过运行以下命令来应用清单：

   kubectl apply -f vllm-llama3-70b.yaml -n ${NAMESPACE}
   

3. 查看正在运行的模型服务器的日志：

   kubectl logs -f -l app=vllm-tpu -n ${NAMESPACE}
   

   输出应类似如下所示：

   INFO:     Started server process [1]
   INFO:     Waiting for application startup.
   INFO:     Application startup complete.
   INFO:     Uvicorn running on http://0.0.0.0:8080 (Press CTRL+C to quit)
   

应用模型

1. 如需获取 VLLM 服务的外部 IP 地址，请运行以下命令：

   export vllm_service=$(kubectl get service vllm-service -o jsonpath='{.status.loadBalancer.ingress[0].ip}' -n ${NAMESPACE})
   

2. 使用 curl 与模型交互：

   curl http://$vllm_service:8000/v1/completions \
   -H "Content-Type: application/json" \
   -d '{
       "model": "meta-llama/Llama-3.1-70B",
       "prompt": "San Francisco is a",
       "max_tokens": 7,
       "temperature": 0
   }'
   

   输出应类似如下所示：

   {"id":"cmpl-6b4bb29482494ab88408d537da1e608f","object":"text_completion","created":1727822657,"model":"meta-llama/Llama-3-8B","choices":[{"index":0,"text":" top holiday destination featuring scenic beauty and","logprobs":null,"finish_reason":"length","stop_reason":null,"prompt_logprobs":null}],"usage":{"prompt_tokens":5,"total_tokens":12,"completion_tokens":7}}
   

设置自定义自动扩缩器

在本部分中，您将使用自定义 Prometheus 指标设置 Pod 横向自动扩缩。您可以使用来自 vLLM 服务器的 Google Cloud Managed Service for Prometheus 指标。

如需了解详情，请参阅 Google Cloud Managed Service for Prometheus。这应在 GKE 集群上默认启用。

1. 对集群设置自定义指标 Stackdriver 适配器：

   kubectl apply -f https://raw.githubusercontent.com/GoogleCloudPlatform/k8s-stackdriver/master/custom-metrics-stackdriver-adapter/deploy/production/adapter_new_resource_model.yaml
   

2. 将 Monitoring Viewer 角色添加到自定义指标 Stackdriver 适配器使用的服务账号：

   gcloud projects add-iam-policy-binding projects/${PROJECT_ID} \
       --role roles/monitoring.viewer \
       --member=principal://iam.googleapis.com/projects/${PROJECT_NUMBER}/locations/global/workloadIdentityPools/${PROJECT_ID}.svc.id.goog/subject/ns/custom-metrics/sa/custom-metrics-stackdriver-adapter
   

3. 将以下清单保存为 vllm_pod_monitor.yaml：

   
   apiVersion: monitoring.googleapis.com/v1
   kind: PodMonitoring
   metadata:
    name: vllm-pod-monitoring
   spec:
    selector:
      matchLabels:
        app: vllm-tpu
    endpoints:
    - path: /metrics
      port: 8000
      interval: 15s
   

4. 将其应用于集群：

   kubectl apply -f vllm_pod_monitor.yaml -n ${NAMESPACE}
   

在 vLLM 端点上创建负载

向 vLLM 服务器创建负载，以测试 GKE 如何使用自定义 vLLM 指标进行自动扩缩。

1. 运行 bash 脚本 (load.sh) 以向 vLLM 端点发送 N 个并发请求：

   #!/bin/bash
   N=PARALLEL_PROCESSES
   export vllm_service=$(kubectl get service vllm-service -o jsonpath='{.status.loadBalancer.ingress[0].ip}' -n ${NAMESPACE})
   for i in $(seq 1 $N); do
     while true; do
       curl http://$vllm_service:8000/v1/completions -H "Content-Type: application/json" -d '{"model": "meta-llama/Llama-3.1-70B", "prompt": "Write a story about san francisco", "max_tokens": 1000, "temperature": 0}'
     done &  # Run in the background
   done
   wait
   

   将 PARALLEL_PROCESSES 替换为您要运行的并行进程数。

2. 运行 bash 脚本：

   chmod +x load.sh
   nohup ./load.sh &
   

验证 Google Cloud Managed Service for Prometheus 是否注入指标

在 Google Cloud Managed Service for Prometheus 爬取指标并且您向 vLLM 端点添加负载后，您可以在 Cloud Monitoring 上查看指标。

1. 在 Google Cloud 控制台中，转到 Metrics Explorer 页面。

   转到 Metrics Explorer

2. 点击 < > PromQL。

3. 输入以下查询，以观察流量指标：

   vllm:num_requests_waiting{cluster='CLUSTER_NAME'}
   

折线图会显示一段时间内测量的 vLLM 指标 (num_requests_waiting)。vLLM 指标会从 0（加载前）扩容到某个值（加载后）。此图表确认您的 vLLM 指标正在被提取到 Google Cloud Managed Service for Prometheus。以下示例图表显示了初始预加载值为 0，该值在 1 分钟内达到接近 400 的最大加载后值。

部署 Pod 横向自动扩缩器配置

在决定根据哪个指标进行自动扩缩时，我们建议您为 vLLM TPU 使用以下指标：

• num_requests_waiting：此指标与模型服务器队列中等待的请求数相关。当 kv 缓存已满时，此数量会开始显著增长。

• gpu_cache_usage_perc：此指标与 kv 缓存利用率相关，这与模型服务器上给定推理周期内处理的请求数直接相关。请注意，此指标在 GPU 和 TPU 上的工作方式相同，但与 GPU 命名架构相关联。

在优化吞吐量和费用时，以及在使用模型服务器的最大吞吐量可以实现延迟时间目标时，我们建议您使用 num_requests_waiting。

如果您的工作负载对延迟时间敏感，并且基于队列的扩缩不够快，无法满足您的要求，我们建议您使用 gpu_cache_usage_perc。

如需了解详情，请参阅自动扩缩使用 TPU 的大语言模型 (LLM) 推理工作负载的最佳实践。

为 HPA 配置选择 averageValue 目标时，您必须通过实验确定这一点。如需了解有关如何优化此部分的更多思路，请参阅节省 GPU 费用：为 GKE 推理工作负载提供更智能的自动扩缩博文。这篇博文中使用的 profile-generator 也适用于 vLLM TPU。

在以下说明中，您将使用 num_requests_waiting 指标部署 HPA 配置。为演示目的，您将该指标设置为较低的值，以便 HPA 配置将 vLLM 副本扩缩到 2 个。如需使用 num_requests_waiting 部署 Pod 横向自动扩缩器配置，请按以下步骤操作：

1. 将以下清单保存为 vllm-hpa.yaml：

   
   apiVersion: autoscaling/v2
   kind: HorizontalPodAutoscaler
   metadata:
    name: vllm-hpa
   spec:
    scaleTargetRef:
      apiVersion: apps/v1
      kind: Deployment
      name: vllm-tpu
    minReplicas: 1
    maxReplicas: 2
    metrics:
      - type: Pods
        pods:
          metric:
            name: prometheus.googleapis.com|vllm:num_requests_waiting|gauge
          target:
            type: AverageValue
            averageValue: 10
   

   Google Cloud Managed Service for Prometheus 中的 vLLM 指标遵循 vllm:metric_name 格式。

   最佳实践：

   使用 num_requests_waiting 来扩缩吞吐量。对于对延迟时间敏感的 TPU 应用场景，请使用 gpu_cache_usage_perc。

2. 部署 Pod 横向自动扩缩器配置：

   kubectl apply -f vllm-hpa.yaml -n ${NAMESPACE}
   

   GKE 会调度另一个 Pod 进行部署，这会触发节点池自动扩缩器在部署第二个 vLLM 副本之前添加第二个节点。

3. 观察 Pod 自动扩缩的进度：

   kubectl get hpa --watch -n ${NAMESPACE}
   

   输出类似于以下内容：

   NAME       REFERENCE             TARGETS       MINPODS   MAXPODS   REPLICAS   AGE
   vllm-hpa   Deployment/vllm-tpu   <unknown>/10   1         2         0          6s
   vllm-hpa   Deployment/vllm-tpu   34972m/10      1         2         1          16s
   vllm-hpa   Deployment/vllm-tpu   25112m/10      1         2         2          31s
   vllm-hpa   Deployment/vllm-tpu   35301m/10      1         2         2          46s
   vllm-hpa   Deployment/vllm-tpu   25098m/10      1         2         2          62s
   vllm-hpa   Deployment/vllm-tpu   35348m/10      1         2         2          77s
   

4. 等待 10 分钟，然后重复验证 Google Cloud Managed Service for Prometheus 是否注入指标部分中的步骤。Google Cloud Managed Service for Prometheus 现在会从两个 vLLM 端点提取指标。