ADK vLLM模型集成：高性能大语言模型部署与应用指南

ADK（Agent Development Kit）是一个开源的代码优先Python工具包，用于构建、评估和部署复杂的AI智能体，提供灵活性和控制力。本文将详细介绍如何在ADK中集成vLLM模型，实现高性能大语言模型的部署与应用，帮助开发者快速搭建高效的AI智能体系统。## ADK与vLLM集成的核心优势ADK作为一个全面的智能体开发工具包，其架构设计充分考虑了与各种大语言模型的集成需求。

富嫱蔷

965人浏览 · 2026-01-23 02:35:32

富嫱蔷 · 2026-01-23 02:35:32 发布

ADK vLLM模型集成：高性能大语言模型部署与应用指南

【免费下载链接】adk-docs An open-source, code-first Python toolkit for building, evaluating, and deploying sophisticated AI agents with flexibility and control. 项目地址: https://gitcode.com/GitHub_Trending/ad/adk-docs

ADK（Agent Development Kit）是一个开源的代码优先Python工具包，用于构建、评估和部署复杂的AI智能体，提供灵活性和控制力。本文将详细介绍如何在ADK中集成vLLM模型，实现高性能大语言模型的部署与应用，帮助开发者快速搭建高效的AI智能体系统。

ADK与vLLM集成的核心优势

ADK作为一个全面的智能体开发工具包，其架构设计充分考虑了与各种大语言模型的集成需求。vLLM作为高性能的LLM服务框架，能够显著提升模型推理速度和并发处理能力。两者的结合为构建高效AI智能体提供了强大支持。

图1：ADK组件架构图，展示了ADK的核心组件，包括智能体、工具、编排、回调等模块，其中模型模块是集成vLLM的关键部分。

ADK与vLLM的集成主要优势体现在以下几个方面：

高性能推理：vLLM的PagedAttention技术大幅提高吞吐量，降低延迟
OpenAI兼容API：vLLM提供与OpenAI兼容的API，便于集成到现有系统
灵活部署：支持本地部署和云服务部署，满足不同场景需求
工具调用支持：vLLM支持工具调用功能，与ADK的智能体工具系统无缝衔接

vLLM模型部署准备

在将vLLM集成到ADK之前，需要先完成vLLM的部署。以下是部署vLLM模型的基本步骤：

1. 部署vLLM模型

首先，使用vLLM部署你选择的模型。部署时需要注意以下几点：

记录API基础URL，例如：https://your-vllm-endpoint.run.app/v1
启用OpenAI兼容的工具/函数调用功能，可能需要使用--enable-auto-tool-choice等标志
根据模型特性配置适当的工具调用解析器

2. 配置认证方式

根据你的部署环境，配置合适的认证方式：

API密钥认证
Bearer令牌认证（如GCP身份令牌）
其他自定义认证方式

3. 测试vLLM端点

部署完成后，建议先测试vLLM端点是否正常工作，确保API能够正常响应请求。

ADK集成vLLM的实现步骤

ADK通过LiteLLM库实现与vLLM的集成。以下是详细的实现步骤：

1. 安装必要依赖

确保安装ADK和LiteLLM库：

pip install google-adk litellm

2. 创建vLLM模型代理

在ADK中创建一个使用vLLM端点的模型代理：

from google.adk.models.lite_llm import LiteLlm

# 配置vLLM端点
api_base_url = "https://your-vllm-endpoint.run.app/v1"
model_name_at_endpoint = "hosted_vllm/google/gemma-3-4b-it"

# 创建LiteLLM实例
vllm_model = LiteLlm(
    model=model_name_at_endpoint,
    api_base=api_base_url,
    # 配置认证信息
    # api_key="YOUR_ENDPOINT_API_KEY"  # 如果使用API密钥认证
)

3. 创建ADK智能体

使用vLLM模型创建ADK智能体：

from google.adk.agents import LlmAgent

agent_vllm = LlmAgent(
    model=vllm_model,
    name="vllm_agent",
    instruction="You are a helpful assistant running on a self-hosted vLLM endpoint.",
    # 其他智能体参数
)

4. 处理认证

根据vLLM端点的认证要求，配置适当的认证方式。例如，使用GCP身份令牌：

import subprocess

try:
    gcloud_token = subprocess.check_output(
        ["gcloud", "auth", "print-identity-token", "-q"]
    ).decode().strip()
    auth_headers = {"Authorization": f"Bearer {gcloud_token}"}
    
    # 更新模型的认证头
    vllm_model = LiteLlm(
        model=model_name_at_endpoint,
        api_base=api_base_url,
        extra_headers=auth_headers
    )
except Exception as e:
    print(f"Warning: Could not get gcloud token - {e}. Endpoint might be unsecured or require different auth.")

ADK与vLLM集成的完整示例

以下是一个完整的ADK集成vLLM的示例代码：

import subprocess
from google.adk.agents import LlmAgent
from google.adk.models.lite_llm import LiteLlm

# 配置vLLM端点
api_base_url = "https://your-vllm-endpoint.run.app/v1"
model_name_at_endpoint = "hosted_vllm/google/gemma-3-4b-it"

# 处理认证
try:
    gcloud_token = subprocess.check_output(
        ["gcloud", "auth", "print-identity-token", "-q"]
    ).decode().strip()
    auth_headers = {"Authorization": f"Bearer {gcloud_token}"}
except Exception as e:
    print(f"Warning: Could not get gcloud token - {e}. Using no authentication.")
    auth_headers = None

# 创建vLLM模型实例
vllm_model = LiteLlm(
    model=model_name_at_endpoint,
    api_base=api_base_url,
    extra_headers=auth_headers
)

# 创建ADK智能体
agent_vllm = LlmAgent(
    model=vllm_model,
    name="vllm_agent",
    instruction="You are a helpful assistant running on a self-hosted vLLM endpoint. "
                "Answer user questions accurately and concisely.",
)

# 使用智能体处理用户查询
response = agent_vllm.query("What is the capital of France?")
print(response.content)

ADK与vLLM集成的高级配置

工具调用配置

vLLM支持工具调用功能，与ADK的工具系统无缝集成。在部署vLLM时，需要确保启用工具调用支持：

python -m vllm.entrypoints.openai.api_server \
    --model google/gemma-3-4b-it \
    --enable-auto-tool-choice \
    --tool-call-parser gemma

在ADK中，可以为智能体配置工具：

from google.adk.tools import Tool, Toolset

# 定义工具
def weather_tool(location: str) -> str:
    """Get the current weather for a location"""
    # 实现天气查询逻辑
    return f"Weather in {location}: sunny, 25°C"

weather_tool = Tool(
    name="weather",
    func=weather_tool,
    description="Get the current weather for a location"
)

toolset = Toolset(tools=[weather_tool])

# 更新智能体配置
agent_vllm = LlmAgent(
    model=vllm_model,
    name="vllm_agent",
    instruction="You are a helpful assistant with weather checking capabilities.",
    toolset=toolset
)

# 使用工具调用
response = agent_vllm.query("What's the weather in Paris?")
print(response.content)