Mage AI时序数据库集成终极指南：InfluxDB和Prometheus存储监控指标

【免费下载链接】mage-ai MAGE AI是一个专注于模型生命周期管理的平台，它有助于简化机器学习模型从训练到部署的过程，提供版本控制、协作、API服务化等功能，提高AI团队的工作效率。 项目地址: https://gitcode.com/gh_mirrors/ma/mage-ai

Mage AI是一个专注于模型生命周期管理的平台，它有助于简化机器学习模型从训练到部署的过程，提供版本控制、协作、API服务化等功能，提高AI团队的工作效率。本文将详细介绍如何在Mage AI中集成InfluxDB和Prometheus这两款主流时序数据库，实现监控指标的高效存储与分析。

为什么选择InfluxDB和Prometheus？

时序数据库专为处理时间序列数据而设计，非常适合存储和分析监控指标。Mage AI通过集成InfluxDB和Prometheus，为用户提供了完整的监控数据解决方案：

• InfluxDB：擅长高写入吞吐量和高效压缩，适合存储大量历史监控数据
• Prometheus：专注于实时监控和告警，提供强大的查询语言和灵活的可视化能力

Mage AI数据监控面板展示了集成时序数据库后的指标可视化效果

InfluxDB集成指南

基本配置

InfluxDB可以本地运行或部署在云端。在Mage AI中配置InfluxDB连接非常简单，只需在配置文件中添加以下内容：

connector_type: influxdb
url: "http://localhost:8086"
token: "my-token"
org: "my-org"
bucket: "data"

数据格式

InfluxDB支持特定的数据元素结构，Mage AI的InfluxDB数据导出器可以创建这些元素。消息应包含元数据字典，指定测量名称、时间戳和标签：

message = {
    "data": {'bees': 23},
    "metadata": {
        'measurement': 'census',
        'time': 1693472675783,  # 带毫秒精度的时间戳
        'tags': {'location': 'klamath', 'scientist': 'anderson'}
    }
}

高级配置

对于高级用户，Mage AI提供了更多配置选项来优化数据读取：

connector_type: influxdb
url: "http://localhost:8086"
token: "my-token"
org: "my-org"
bucket: "data"
time_delay: "5m"        # 时间延迟，采用InfluxDB持续时间格式
timeout_ms: 1000        # 超时时间（毫秒）
batch_size: 100         # 批处理大小
print_intervals: false  # 是否打印时间间隔
filter_fn: 'true'       # 过滤函数，默认为true表示不过滤

注意：InfluxDB不是流数据库，设置过小的time_delay可能导致数据丢失。建议根据实际数据写入频率调整此参数。

Prometheus集成步骤

启用Prometheus

要在Mage AI中启用Prometheus指标，只需设置环境变量：

export ENABLE_PROMETHEUS=true

启用后，Mage AI将在<BASE_PATH>/metrics路由上提供Prometheus风格的指标。

监控指标类型

启用Prometheus后，Mage AI会发布以下类型的指标：

• HTTP服务器（Tornado）指标：包括请求数、响应时间等
• Python运行时指标：包括内存使用、CPU占用等

这些指标可以直接被Prometheus抓取，并用于构建监控仪表板和告警规则。

高级设置

对于Kubernetes部署，Mage AI支持继承Pod注解，方便配置Prometheus抓取标签：

INHERIT_POD_ANNOTATIONS: true

这对于在Kubernetes集群中配置Prometheus自动发现非常有用。

最佳实践与注意事项

1. 数据保留策略：根据监控需求设置合适的数据保留期，避免存储空间耗尽
2. 指标聚合：对高频指标进行适当聚合，减少存储压力
3. 安全配置：确保InfluxDB和Prometheus实例受到适当的访问控制保护
4. 监控自身：不要忘记监控监控系统本身，确保其可靠性

总结

通过本文介绍的方法，您可以轻松地在Mage AI中集成InfluxDB和Prometheus，构建完整的监控数据 pipeline。无论是存储历史数据还是实时监控，Mage AI的时序数据库集成功能都能满足您的需求，帮助您更好地管理和优化机器学习模型的生命周期。

如需了解更多详细信息，请参考官方文档：

• InfluxDB集成文档：docs/guides/streaming/sources/influxdb.mdx
• Prometheus集成文档：docs/observability/external/prometheus.mdx

【免费下载链接】mage-ai MAGE AI是一个专注于模型生命周期管理的平台，它有助于简化机器学习模型从训练到部署的过程，提供版本控制、协作、API服务化等功能，提高AI团队的工作效率。 项目地址: https://gitcode.com/gh_mirrors/ma/mage-ai