EMQX集群搭建之(二)、Haproxy部分

辣条①号 2025年 5月 10日 Linux System 运维 18 次浏览 0

【腾讯云】30M海外服务器99/年 续费同价 强烈推荐 https://cloud.tencent.com/act/cps/redirect?redirect=2446&cps_key=752564b15c36b5558a79fd5cbaf8e0bf&from=console

基础知识

## Haproxy 相关
    1、Haproxy 2.4 之后的版本支持 配置 MQTT 粘性（Sticky）会话负载均衡
    2、要让后端EMQX 集群获取客户端的原始IP，需要开启 透传代理 send-proxy
    3、haproxy 可以与 Prometheus 集成

    # haproxy 配置反向代理 MQTT SSL
    https://docs.emqx.com/zh/emqx/latest/deploy/cluster/lb-haproxy.html#%E9%85%8D%E7%BD%AE%E5%8F%8D%E5%90%91%E4%BB%A3%E7%90%86-mqtt-ssl

    # haproxy 负载均衡emqx的三种架构
    https://docs.emqx.com/zh/emqx/latest/deploy/cluster/lb.html#%E9%83%A8%E7%BD%B2%E6%9E%B6%E6%9E%84

    # haproxy 仅 Proxy Protocol v2 支持发送客户端 TLS 证书信息
    https://docs.emqx.com/zh/emqx/latest/deploy/cluster/lb.html#%E5%AE%A2%E6%88%B7%E7%AB%AF-tls-%E8%AF%81%E4%B9%A6%E4%BF%A1%E6%81%AF

    # haproxy 负载emqx
    https://docs.emqx.com/zh/emqx/latest/deploy/cluster/lb-haproxy.html

准备haproxy 的 docker-compose.yml

## 拉取 haproxy 镜像，并创建指定目录
    docker pull haproxy:2.8
    mkdir -p /opt/devops/haproxy
    mkdir -p /opt/devops/haproxy/certs
    cat > /opt/devops/haproxy/docker-compose.yml <<"EOOF"
services:
  haproxy:
    image: haproxy:2.8  # 使用 HAProxy 2.8 版本
    container_name: haproxy
    #ports:
    #  - "8888:8888"
    #  - "1883:1883"
    volumes:
      - ./haproxy.cfg:/etc/haproxy.cfg:ro  # 挂载自定义配置文件
      - ./certs:/etc/haproxy/certs
    command: ["haproxy", "-f", "/etc/haproxy.cfg"]
    network_mode: host
    restart: always
EOOF

准备haproxy 的配置文件 haproxy.cfg（配置两种负载均衡支持）

file

## Tips：推荐配置 "TLS终结与负载均衡" 模式，但该模式需要先生成自签名或者申请有效的tls证书
    # 生成自签名证书
    cd /opt/devops/haproxy/certs
    openssl req -x509 -nodes -newkey rsa:2048 -keyout ./mqtts_server.key -out ./mqtts_server.crt -days 3650
    # HAProxy 的证书文件需要包含证书与密钥，可以使用 cat 命令将它们合并为一个文件。
    cat mqtts_server.crt mqtts_server.key > mqtts_server.pem
    cat  /opt/devops/haproxy/haproxy.cfg
# HAProxy 配置文件
global  
  log 127.0.0.1 local3 info
  daemon
  maxconn 1024000

defaults
  log global
  mode tcp
  option tcplog
  #option dontlognull
  timeout connect 10000 
  # timeout > mqtt's keepalive * 1.2
  timeout client 240s
  timeout server 240s

#=============== 启用 haproxy 的 状态检查页面 ==============
frontend stats
  mode http
  bind *:8888
  stats enable
  stats uri /haproxy?stats
  stats refresh 5s

#============== pull 方式与 Prometheus 集成 ==============
userlist prom_users
  user admin insecure-password admin@123

frontend prometheus
  bind *:8889
  mode http
  # 先做 Basic Auth：只要没通过就返回 401
  http-request auth realm "Metrics" if !{ http_auth(prom_users) }
  # 认证通过后，不论请求路径，直接返回 Prometheus 格式的指标
  http-request use-service prometheus-exporter
  # 不记录日志，避免大量拉取请求干扰
  no log

#============== 负载 EMQX 的 Dashboard ===========
frontend emqx_dashboard
    bind *:18083
    option tcplog
    mode tcp
    default_backend emqx_dashboard

backend emqx_dashboard
    balance roundrobin
    server emqx_node1 192.168.60.82:18083 check
    server emqx_node2 192.168.60.83:18083 check

#===============  支持 ipv4 的 MQTT  ========
# 配置 MQTT 粘性（Sticky）会话负载均衡(haproxy 2.4引入的特性)
frontend emqx_mqtt_back
  bind *:1883
  mode tcp
  # 等待缓冲区填满，以便解析 MQTT 报文
  tcp-request inspect-delay 10s
  # 拒绝非 MQTT 连接
  tcp-request content reject unless { req.payload(0,0), mqtt_is_valid }
  default_backend emqx_mqtt_back

backend emqx_mqtt_back
  mode tcp
  #option tcp-check   配合check 可能需要这个选项，实测不写也行
  # balance roundrobin
  # 创建粘性会话表
  stick-table type string len 32 size 100k expire 30m
  # 使用客户端 ID 作为键(注意写法，不能有空格)
  stick on req.payload(0,0),mqtt_field_value(connect,client_identifier)

 # 增加 send-proxy 会把真实带给 EMQX，对应后端监听器需要启用 proxy_protocol
  # server emqx1 emqx1-cluster.emqx.io:1883 check send-proxy-v2-ssl-cn
  server emqx_node1 192.168.60.82:1883 check check-send-proxy send-proxy-v2
  server emqx_node2 192.168.60.83:1883 check check-send-proxy send-proxy-v2
  # server emqx1 emqx1-cluster.emqx.io:1883 check weight 5

#===============  支持 ipv6 的 MQTT  ========
frontend emqx_mqtt_back_v6
  bind [::]:1883
  mode tcp
  tcp-request inspect-delay 10s
  tcp-request content reject unless { req.payload(0,0), mqtt_is_valid }
  default_backend emqx_mqtt_back_v6

backend emqx_mqtt_back_v6
  mode tcp
  stick-table type string len 32 size 100k expire 30m
  stick on req.payload(0,0),mqtt_field_value(connect,client_identifier)

 # 增加 send-proxy 会把真实带给 EMQX，对应后端监听器需要启用 proxy_protocol
  # server emqx1 emqx1-cluster.emqx.io:1883 check send-proxy-v2-ssl-cn
  server emqx_node1 [2408:8362:2482:6ba4:be24:11ff:fe93:7244]:1883 check check-send-proxy send-proxy-v2
  server emqx_node2 [2408:8362:2482:6ba4:be24:11ff:fe04:29b5]:1883 check check-send-proxy send-proxy-v2

#=============== 支持 ipv4 的 MQTTS 的单向认证 ========
# 配置 MQTT 粘性（Sticky）会话负载均衡(haproxy 2.4引入的特性)
frontend emqx_mqtts_back
  mode tcp
  bind *:8883 ssl crt /etc/haproxy/certs/mqtts_server.pem

  # 等待缓冲区填满，以便解析 MQTTS 报文
  tcp-request inspect-delay 10s
  # 拒绝非 MQTT 连接
  tcp-request content reject unless { req.payload(0,0), mqtt_is_valid }
  default_backend emqx_mqtts_back

backend emqx_mqtts_back
  mode tcp
  # 创建粘性会话表，并使用客户端 ID 作为键(注意写法，不能有空格)
  stick-table type string len 32 size 100k expire 30m
  stick on req.payload(0,0),mqtt_field_value(connect,client_identifier)

  server emqx_node1 192.168.60.82:1883 check check-send-proxy send-proxy-v2-ssl-cn
  server emqx_node2 192.168.60.83:1883 check check-send-proxy send-proxy-v2-ssl-cn

#=============== 支持 ipv6 的 MQTTS 的单向认证 ========
frontend emqx_mqtts_back_v6
  mode tcp
  bind [::]:8883 ssl crt /etc/haproxy/certs/mqtts_server.pem
  tcp-request inspect-delay 10s
  tcp-request content reject unless { req.payload(0,0), mqtt_is_valid }
  default_backend emqx_mqtts_back_v6

backend emqx_mqtts_back_v6 
  mode tcp
  stick-table type string len 32 size 100k expire 30m
  stick on req.payload(0,0),mqtt_field_value(connect,client_identifier)

  server emqx_node1 [2408:8362:2482:6ba4:be24:11ff:fe93:7244]:1883 check check-send-proxy send-proxy-v2-ssl-cn
  server emqx_node2 [2408:8362:2482:6ba4:be24:11ff:fe04:29b5]:1883 check check-send-proxy send-proxy-v2-ssl-cn

启动haproxy

## 启动 haproxy
    cd /opt/devops/haproxy
    docker compose up -d

附1、开启haproxy 的stats 统计页面

## 在 haproxy.cfg 内添加如下内容
frontend stats
  mode http
  bind *:8888
  stats enable
  stats uri /haproxy?stats
  stats refresh 5s

## 重启haproxy
    cd /opt/devops/haproxy
    docker compose restart
    http://ipaddress:8888/haproxy?stats    # 访问这个页面查看stats信息

附2、haproxy 配置与 Prometheus 集成（2.8版本不需要单独的exporter）

方案A、不带认证的方式

## A1、在haproxy.cfg 内添加如下内容
frontend prometheus
    bind *:8889
    mode http
    # 仅当访问 /metrics 时，才调用 prometheus-exporter 服务
    http-request use-service prometheus-exporter if { path /metrics }
    no log

## A2、prometheus.yml 这样添加 job
  - job_name: 'haproxy'
    metrics_path: /metrics          # 与 HAProxy 上配置的 path 保持一致
    static_configs:
      - targets: ['192.168.60.81:8889']
    params:
      # 可以指定只抓取哪些 scope 的指标，* 表示全部
      scope: ['frontend','backend','server']
      # 如果有维护中 (maintenance) 的 server，使用 no-maint 过滤掉
      no-maint: ['']
    relabel_configs:
      - source_labels: [__address__]
        regex: '(.+):\d+'
        replacement: '${1}'
        target_label: instance

## A3、分别重启haproxy ，重载 Prometheus
    cd /opt/devops/haproxy
    docker compose restart
    http://ipaddress:8889/metrics    # 访问这个页面就能看到指标

方案B、带Basic Auth 认证的方式

### B1、在haproxy.cfg 内添加如下内容
# 1. 定义监控用户admin 和他的密码（Basic Auth）
userlist prom_users
  user admin insecure-password admin@123

# 2. 简化版的 metrics 前端
frontend prometheus
    bind *:8889
    mode http
    # 先做 Basic Auth：只要没通过就返回 401
    http-request auth realm "Metrics" if !{ http_auth(prom_users) }
    # 认证通过后，不论请求路径，直接返回 Prometheus 格式的指标
    http-request use-service prometheus-exporter
    # 不记录日志，避免大量拉取请求干扰
    no log

### B2、prometheus.yml 这样添加 job
  - job_name: 'haproxy_emqx'
    metrics_path: /metrics     # 必须和 HAProxy 上配置的 path 保持一致
    basic_auth:
      username: admin
      password: admin@123
    static_configs:
      - targets: ['192.168.60.81:8889']  # 改成你的 HAProxy 地址或 IP
    params:
      # 可选参数，用来过滤只抓取哪些 scope
      scope: ['frontend','backend','server']
      # no-maint 参数可过滤掉正在 maintenance 的 Server
      no-maint: ['']
    relabel_configs:
      - source_labels: [__address__]
        regex: '(.+):\d+'
        replacement: '${1}'
        target_label: instance

### B3、重启haproxy，重载Prometheus
    cd /opt/devops/haproxy
    docker compose restart
    http://192.168.60.81:8889/metrics    # 访问这个页面就能看到指标（需先认证）

导入 grafana 图表（可用id 12693、2428、367）

声明：本文为原创，作者为 辣条①号，转载时请保留本声明及附带文章链接：https://boke.wsfnk.com/archives/1475.html
赏 谢谢你请我吃辣条谢谢你请我吃辣条

如果文章对你有帮助，欢迎点击上方按钮打赏作者

最后编辑于：2025/5/23作者： 辣条①号

目标：网络规划设计师、系统工程师、ceph存储工程师、云计算工程师。 不负遇见，不谈亏欠！

暂无评论

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注

arrow grin ! ? cool roll eek evil razz mrgreen smile oops lol mad twisted wink idea cry shock neutral sad ???

【腾讯云】30M海外服务器99/年 续费同价 强烈推荐 https://cloud.tencent.com/act/cps/redirect?redirect=2446&cps_key=752564b15c36b5558a79fd5cbaf8e0bf&from=console

文章目录

→ 文章目录
◆ ◆