本文中提及 AutoMQ 产品服务方、AutoMQ 服务方、AutoMQ,均特指 AutoMQ HK Limited及其附属公司。
VPC 要求
对于 POC 测试场景,推荐创建一个全新的 VPC,并在新的 VPC 内部署 AutoMQ 以及测试程序;对于生产场景,往往已经存在了已有的 VPC,此时应该检查该 VPC 是否满足 AutoMQ 的安装要求,并做相应的变更调整。 安装 AutoMQ BYOC 环境,需要在 AWS 上提供 VPC,并满足如下条件:VPC 检查项 | 说明 |
---|---|
公网子网:1 个 |
|
内网子网:1 个或 3 个 |
|
S3 终端节点:1 个 |
|
EC2 终端节点:1 个 |
|
DNS 主机名和解析:开启 |
|
公网 NAT 网关:1 个 |
注意:如果未配置公网 NAT 网关,则无法在 EKS 上安装 AutoMQ 集群。 |
前置条件
创建 BYOC 环境,需要操作的云账号为主账号 或者是已经被授权相关操作权限的 IAM 子账号 。如果当前操作 AWS 控制台使用了 IAM 子账号,需要先授权再进行服务开通操作。相关的授权策略和云产品列表如下:- AmazonVPCFullAccess:管理专有网络 VPC 的权限。
- AmazonS3FullAccess:管理对象存储 S3 的权限。
- AmazonRoute53FullAccess:管理 Route 53 服务的权限。
上述权限策略均为 AWS 推荐的默认系统策略模板,实际授权时用户可根据自身的管理习惯缩小范围实现精细化授权。
场景一:创建一个新的 VPC
当前如果没有可用的 VPC 资源,或者在 POC测试场景,希望用一个全新的 VPC 时,可以参考下方文档创建新的 VPC。操作流程
步骤 1:创建 VPC 并开启 S3 终端节点
使用 AWS 云账号登录 VPC 控制台,以新加坡地域为例,访问 VPC 控制台,点击创建 VPC。
- VPC 名称:设置 VPC 名称为自定义名称。
- CIDR:设置合理的 CIDR 网段。
- 可用区:建议根据业务部署情况选择 1-3 个。
- 公网配置:如果需要从公网访问 AutoMQ 环境控制台则需要配置。
- VPC 终端节点:务必确保打开配置,创建 S3 网关。
- DNS 选项:确保启用 DNS 主机名和 DNS 解析,后续 Kafka 集群接入点将依赖 DNS 服务提供域名解析。
- NAT 网关:如果将 AutoMQ 部署到 EKS,则需要开启 NAT 网关 。

步骤 2:创建 EC2 终端节点
在当前 VPC 内创建 EC2 Endpoint,方便后续 AutoMQ 数据节点通过 VPC 私网访问 EC2 API。
- 服务类型:选择 AWS 服务。
- VPC:选择当前需要部署 AutoMQ 的 VPC。
- 可用区和子网:选择所有需要部署 AutoMQ 的可用区以及子网。
- 安全组:建议创建一个新的安全组,并确保设置入站规则允许通过0.0.0.0/0 来源访问 443 端口 。
AutoMQ 集群运行需要通过 VPC 内网访问 EC2 API,因此创建 EC2 Endpoint 时需要确保可用区子网配置以及安全组配置务必完整,否则会导致 AutoMQ 集群无法启动。必须覆盖所有计划部署 AutoMQ 集群的子网和可用区,不能遗漏可能的子网。安全组规则必须确保 443 端口和访问来源畅通,建议允许通过0.0.0.0/0 来源。

场景二:配置已有 VPC
如果当前生产环境已经有一个可用的 VPC 网络,且应用已经部署在当前 VPC,则需要将 AutoMQ 环境安装到已有的 VPC 网络。此时仍然需要按照约束检查当前 VPC 的配置是否满足。操作流程
步骤 1:检查并开启 DNS 配置
访问已有 VPC 网络,点击详情,查看 VPC 配置。

步骤 2:检查并创建 S3 终端节点
确认当前 VPC 是否已经创建 S3 网关型终端节点,如果没有 S3 终端节点,则需要创建。
需要注意的是,创建 S3 终端节点时,添加路由表时,务必将当前 VPC 下所有可能部署 Kafka 集群的子网全部覆盖,否则后续 Kafka 集群将无法通过内网访问 S3 服务。

步骤 3:检查并创建 EC2 终端节点
在当前 VPC 内检查并创建 EC2 Endpoint,方便后续数据节点通过私网访问 EC2 API。
- 服务类型:选择 AWS 服务。
- VPC:选择当前需要部署 AutoMQ 的 VPC。
- 可用区和子网:选择所有需要部署 AutoMQ 的可用区以及子网。
- 安全组:建议创建一个新的安全组,并确保设置入站规则允许通过0.0.0.0/0 来源访问 443 端口 。

后续步骤
在完成 VPC 网络的准备后,即可开始安装 AutoMQ BYOC 环境。在 AWS 上,AutoMQ 支持通过以下两种方式安装:- 通过 Marketplace 安装 AutoMQ 环境: 用户可以通过 AWS Marketplace 选择对应的商品链接,开通安装 AutoMQ BYOC 环境。从 AWS Marketplace 安装环境▸
- 通过 Terraform Module 安装 AutoMQ 环境: 用户可以通过 AutoMQ Terraform Module,使用 Terraform 安装 AutoMQ BYOC 环境。使用 Terraform Module 安装环境▸