使用AutoMQ Cloud 产品的过程中,用户可以通过集成功能实现环境内的实例和外部系统之间的数据交换。本文介绍集成功能的使用。
本文中提及 AutoMQ 产品服务方、AutoMQ 服务方、AutoMQ,均特指安托盟丘(杭州)科技有限公司。
集成类型
AutoMQ Cloud 目前支持如下集成功能:
集成类型
| 数据类型
| 适用场景
|
---|
Prometheus RemoteWrite
| | - 场景:AutoMQ Kafka 实例实时产生的 Metrics 数据可以通过集成功能传输到用户自定义的 Prometheus 服务中,实现后续自定义的可观测大盘以及监控告警功能。
- 约束:用户需要提供 Prometheus 服务,支持通过 RemoteWrite 协议写入 Metrics,并保证网络连通。
|
Apache Kafka
| | - 场景:AutoMQ 支持从外部 Apache Kafka 集成迁移数据,将外部 kafka 集群迁移到 AutoMQ 实例。
- 约束:用户提供的 Apache Kafka 源集群需要正常工作,并保证网络畅通。
|
CloudWatch
| | - 场景:AutoMQ Kafka 实例实时产生的 Metrics 数据可以通过集成功能写入到用户 AWS CloudWatch 服务中,实现后续自定义的可观测大盘以及监控告警功能。
- 约束:仅限 AWS 云环境。
|
创建 Prometheus 集成
前提条件
AutoMQ Cloud 的 Prometheus 集成功能的原理是,集群中各数据节点直接将 Metrics 数据通过 RemoteWrite 协议写入到 Prometheus 的 HTTP 接口中。因此,需要用户提供的 Prometheus 服务开启 RemoteWrite。
集成到自建 Prometheus 服务
参考 Prometheus 的版本说明,该功能需要用户的 Prometheus 服务满足如下条件:
-
Prometheus 版本至少为 2.47。
-
集群部署时,需要在启动命令中开启配置 RemoteWrite。
集成到云厂商 Prometheus 服务
如果用户使用公共云厂商提供的商业版本,建议咨询云厂商技术人员。以阿里云为例,阿里云 Prometheus 服务提供开箱即用的 RemoteWrite 支持。
操作步骤
用户创建 Prometheus 集成,参考如下步骤操作:
- 前往集成列表页,创建新的集成。 用户访问环境控制台,点击左侧导航栏 集成 ,进入集成列表页。点击创建集成 ,按提示录入如下信息,完成创建。
参数
| 取值示例
|
---|
集成名称
| 填写有区分度的集成配置项的别名,具体限制参考使用限制▸。
|
集成类型
| 选择Prometheus 服务
|
Prometheus RemoteWrite 写入接口
| AutoMQ Cloud 环境使用 RemoteWrite 协议,将环境内各实例的 Metrics 数据直接写入到用户指定的 Prometheus 集群。需要用户提供该协议接口。
|
鉴权类型
| AutoMQ Prometheus 集成支持多种鉴权类型:
- 不鉴权模式:匿名直接访问。
- BasicAuth 模式:使用静态用户名密码鉴权。
- BearerToken模式:使用静态 Token 鉴权。
- AWS SigV4 模式:适用于 AWS 托管 Prometheus,通过 IAM 鉴权。
|
鉴权信息
| 如果 Prometheus 服务开启了 ACL 鉴权,需要配置响应的 Token、用户名密码或者 IAM 授权。
|
- 前往实例详情页,引用集成配置。 针对需要配置集成的实例,前往对应的实例详情页面,引用第一步创建的集成项,实现配置启用,后续即可观察 Prometheus 服务中是否有上报数据。
AutoMQ Cloud 提供的 Metrics 数据定义请参考Prometheus 监控&报警▸ 。
创建 Apache Kafka 集成
前提条件
AutoMQ Cloud 的 Apache Kafka 集成功能的原理是通过 Kafka Connector 组件连接外部 Kafka 集群(包括其他 Kafka 兼容版本),实现消息等数据的实时同步和迁移。因此需要保证:
-
外部 Apache Kafka 集群版本大于 0.9.x。
-
外部 Kafka 集群和 AutoMQ 所在网络畅通。
操作步骤
用户创建 Apache Kafka 集成,参考如下步骤操作:
- 前往集成列表页,创建新的集成。 用户访问环境控制台,点击左侧导航栏 集成 ,进入集成列表页。点击创建集成 ,按提示录入如下信息,完成创建。
参数
| 取值示例
|
---|
集成名称
| 填写有区分度的集成配置项的别名,具体限制参考使用限制▸。
|
集成类型
| 选择Apache Kafka 服务
如果源集群是云厂商托管 Kafka 或者其他 Kafka 发行版,同样支持。
|
接入协议
| 访问外部 Kafka 集群的客户端接入协议。当前支持:
- PLAINTEXT:使用非认证通道访问外部 Kafka 集群。
- SASL_PLAINTEXT:使用 SASL 协议访问外部 Kafka 集群。
|
创建 CloudWatch 集成
前提条件
AutoMQ Cloud 的 CloudWatch 集成功能的原理是通过 CloudWatch 的 API 将 AutoMQ 集群的 Metrics 数据写入到用户指定的 CloudWatch Namespace 中。
操作步骤
用户创建 CloudWatch 集成,参考如下步骤操作:
- 前往集成列表页,创建新的集成。 用户访问环境控制台,点击左侧导航栏 集成 ,进入集成列表页。点击创建集成 ,按提示录入如下信息,完成创建。
参数
| 取值示例
|
---|
集成名称
| 填写有区分度的集成配置项的别名,具体限制参考使用限制▸。
|
集成类型
| 选择CloudWatch 服务
|
Namespace
| 遵循 CloudWatch 的命名规范,填写自定义 Namespace。Metrics 数据将写入指定的 Namespace 中。
|