Doris on 丸子有记, 记录生活、分享技术，专注于运维架构、运维开发(devops)。

Doris离线分析数仓集群实现资源隔离

wzdushu@gmail.com (wanzi) — Sat, 28 Feb 2026 09:30:00 +0800

一、背景

随着业务快速发展，目前离线分析数仓Doris集群，承载着多样化的计算需求，比如数据科学日常Job、业务离线跑批、客户侧报表查询等，会出现资源抢占情况，需要对不同账户资源请求进行资源限制，经过调研采用Doris官方的Workload Group方案。

Doris版本：doris-2.1.8-1-834d802457

二、Workload Group介绍：

Workload Group是Apache Doris提供的进程内资源隔离机制，通过对 BE进程内的CPU、内存、IO资源进行细粒度划分，实现不同业务负载之间的资源隔离。

原理如下图所示：

目前支持的隔离能力包括：

资源类型	隔离方式	说明
CPU	软限 / 硬限	软限按权重分配，硬限为绝对上限
内存	软限 / 硬限	硬限超限时自动 kill 查询释放内存
IO	限速	限制读本地/远程文件的 IO 吞吐
并发	排队机制	超并发查询进入队列等待

三、Doris集群调整，支持Cgroup（手动部署）

3.1 Cgroup环境配置

查看系统支持的 CGroup版本

root@doristest:~# cat /proc/filesystems | grep cgroup
nodev   cgroup
nodev   cgroup2

确认Cgroup生效版本：

root@doristest:~# ls /sys/fs/cgroup/cpu/
ls: cannot access '/sys/fs/cgroup/cpu/': No such file or directory 
root@doristest:~# ls /sys/fs/cgroup/cgroup.controllers
/sys/fs/cgroup/cgroup.controllers # 说明生效版本为cgroup v2

3.2 创建Doris CGroup 目录

# ========== CGroup v1 操作 ==========
mkdir /sys/fs/cgroup/cpu/doris

# 设置权限（root 为运行 BE 的用户）
chmod 770 /sys/fs/cgroup/cpu/doris
chown -R root:root /sys/fs/cgroup/cpu/doris


# ========== CGroup v2 操作 ==========
mkdir /sys/fs/cgroup/doris

# 设置权限
chmod 770 /sys/fs/cgroup/doris
chown -R root:root /sys/fs/cgroup/doris  # 视情况而定,目前为root

3.3 CGroup v2 额外配置

CGroup v2 权限管控更严格，需要额外配置：

# 修改根目录 cgroup.procs 文件权限
chmod a+w /sys/fs/cgroup/cgroup.procs

# 启用 cpu 控制器
# 进入 doris 目录
cd /sys/fs/cgroup/doris

# 启用 cpu 控制器（通过修改父级 subtree_control）
# 默认已经设置，可忽略
echo +cpu > ../cgroup.subtree_control

# 验证：查看 doris 目录下是否出现 cpu.max 文件
/sys/fs/cgroup/doris/cpu.max
# 且 cgroup.controllers 应包含 cpu
# cat /sys/fs/cgroup/cgroup.controllers 
cpuset cpu io memory hugetlb pids rdma misc

3.4 配置 BE 并重启

编辑 be.conf 文件：

# ========== CGroup v1 配置 ==========
doris_cgroup_cpu_path = /sys/fs/cgroup/cpu/doris

# ========== CGroup v2 配置 ==========
doris_cgroup_cpu_path = /sys/fs/cgroup/doris

重启 BE 服务：

# 重启 BE
./bin/stop_be.sh
./bin/start_be.sh

验证：查看 be.INFO 日志

grep "add thread" log/be.INFO
# 出现 "add thread xxx to group" 字样表示配置成功

3.5 持久化配置（可选）

机器重启后 CGroup 配置会清空，建议使用 systemd 创建开机自动配置服务：

# /etc/systemd/system/doris-cgroup.service
[Unit]
Description=Doris CGroup Setup
Before=doris-be.service

[Service]
Type=oneshot
ExecStart=/bin/bash -c 'mkdir -p /sys/fs/cgroup/cpu/doris && chmod 770 /sys/fs/cgroup/cpu/doris && chown -R doris:doris /sys/fs/cgroup/cpu/doris'

[Install]
WantedBy=multi-user.target

设置开机自动启动:

systemctl enable doris-cgroup.service

四、通过Ansible批量启用Doris节点Cgroup

4.1 准备工作

在执行批量部署前，需要确认以下信息：

确认Cgroup版本：所有Doris BE节点的Cgroup版本（v1或v2）
准备主机清单：编辑Ansible的hosts文件，添加所有BE节点
确认BE用户：运行Doris BE服务的用户（当前为root）

4.2 配置主机清单

编辑 hosts 文件：

1
2
3

[doris_dabe_nodes]
# 如果有不同Cgroup版本的节点，可以分组，这里仅指定离线分析数仓BE节点
10.18.7.160

4.3 创建Ansible Playbook

创建文件 setup_doris_cgroup.yaml：

---
- name: Setup Doris CGroup Configuration
  hosts: doris_dabe_nodes
  become: true
  vars:
    # CGroup配置路径（根据版本自动选择）
    cgroup_v1_path: "/sys/fs/cgroup/cpu/doris"
    cgroup_v2_path: "/sys/fs/cgroup/doris"
    doris_user: "root"
    doris_group: "root"
    
  tasks:
    - name: Detect CGroup version
      stat:
        path: /sys/fs/cgroup/cpu/
      register: cgroup_v1_check
      
    - name: Set CGroup path based on version
      set_fact:
        cgroup_path: "{{ cgroup_v1_path if cgroup_v1_check.stat.exists else cgroup_v2_path }}"
        cgroup_version: "{{ 'v1' if cgroup_v1_check.stat.exists else 'v2' }}"
        
    - name: Display detected CGroup version
      debug:
        msg: "Node {{ inventory_hostname }} uses CGroup {{ cgroup_version }}, path: {{ cgroup_path }}"

    - name: Create CGroup directory
      file:
        path: "{{ cgroup_path }}"
        state: directory
        mode: '0770'
        owner: "{{ doris_user }}"
        group: "{{ doris_group }}"
      register: cgroup_dir_result
      
    - name: Configure CGroup v2 specific settings
      block:
        - name: Enable write permission on cgroup.procs
          file:
            path: /sys/fs/cgroup/cgroup.procs
            mode: 'a+w'
            
        - name: Enable CPU controller for CGroup v2
          shell: |
            if ! grep -q '+cpu' /sys/fs/cgroup/cgroup.subtree_control 2>/dev/null; then
              echo '+cpu' > /sys/fs/cgroup/cgroup.subtree_control
            fi
          args:
            executable: /bin/bash
          ignore_errors: yes
          
        - name: Verify CPU controller is enabled
          stat:
            path: "{{ cgroup_path }}/cpu.max"
          register: cpu_controller_check
          
        - name: Display CPU controller status
          debug:
            msg: "CPU controller is {{ 'enabled' if cpu_controller_check.stat.exists else 'NOT enabled' }}"
      when: cgroup_version == 'v2'

    - name: Verify CGroup directory structure
      shell: |
        echo "=== CGroup Version: {{ cgroup_version }} ==="
        echo "CGroup Path: {{ cgroup_path }}"
        ls -la {{ cgroup_path }} 2>/dev/null || echo "Directory verified"
        echo ""
        if [ "{{ cgroup_version }}" = "v2" ]; then
          echo "=== CPU Controller Check ==="
          cat /sys/fs/cgroup/cgroup.controllers 2>/dev/null
          test -f {{ cgroup_path }}/cpu.max && echo "cpu.max: EXISTS" || echo "cpu.max: NOT FOUND"
        fi
      args:
        executable: /bin/bash
      register: verify_result
      
    - name: Display verification results
      debug:
        var: verify_result.stdout_lines

    - name: Create systemd service for CGroup persistence (optional)
      copy:
        dest: /etc/systemd/system/doris-cgroup.service
        content: |
          [Unit]
          Description=Doris CGroup Setup
          Before=doris-be.service

          [Service]
          Type=oneshot
          ExecStart=/bin/bash -c 'mkdir -p {{ cgroup_path }} && chmod 770 {{ cgroup_path }} && chown -R {{ doris_user }}:{{ doris_group }} {{ cgroup_path }}'
          {% if cgroup_version == 'v2' %}
          ExecStartPost=/bin/bash -c 'chmod a+w /sys/fs/cgroup/cgroup.procs'
          ExecStartPost=/bin/bash -c 'echo "+cpu" > /sys/fs/cgroup/cgroup.subtree_control 2>/dev/null || true'
          {% endif %}

          [Install]
          WantedBy=multi-user.target
        mode: '0644'
      when: cgroup_dir_result is changed
      notify: Enable systemd service

  handlers:   
    - name: Enable systemd service
      systemd:
        name: doris-cgroup
        enabled: yes
        daemon_reload: yes

4.4 执行批量部署

语法检查和试运行

# 1. 语法检查
ansible-playbook -i hosts setup_doris_cgroup.yaml --syntax-check

# 2. 列出所有将要执行的任务
ansible-playbook -i hosts setup_doris_cgroup.yaml --list-tasks

# 3. 试运行（不实际执行，只显示会做的更改）
ansible-playbook -i hosts setup_doris_cgroup.yaml --check --diff

4.5 正式执行并验证部署结果

正式执行

# 方式1: 在所有BE节点执行
ansible-playbook -i hosts setup_doris_cgroup.yaml

# 方式2: 只在特定节点执行（如先在单台测试）
ansible-playbook -i hosts setup_doris_cgroup.yaml --limit 10.18.7.101

# 方式3: 逐步执行，每个任务需确认
ansible-playbook -i hosts setup_doris_cgroup.yaml --step

通过Doris Manager管理节点调整Doris BE配置(滚动重启):

# ========== CGroup v1 配置 ==========
doris_cgroup_cpu_path = /sys/fs/cgroup/cpu/doris

# ========== CGroup v2 配置 ==========
doris_cgroup_cpu_path = /sys/fs/cgroup/doris

验证：

# 1. 检查CGroup目录是否创建
ansible doris_dabe_nodes -i hosts -m shell -a "ls -la /sys/fs/cgroup/doris 2>/dev/null || ls -la /sys/fs/cgroup/cpu/doris 2>/dev/null"

# 2. 检查BE日志中CGroup初始化情况(根据实际BE日志路径调整)
ansible doris_dabe_nodes -i hosts -m shell -a "tail -100 /opt/doris/doris/be/log/be.INFO | grep -i 'cgroup\|add thread' | tail -5"

至此，Doris BE节点已经开启Cgroup资源限制.

五、Workload Group管理

5.1 创建 Workload Group

基础示例（CPU 软限）

CREATE WORKLOAD GROUP IF NOT EXISTS g1
PROPERTIES (
    "cpu_share" = "1024"
);

完整配置示例

CREATE WORKLOAD GROUP IF NOT EXISTS etl_group
PROPERTIES (
    -- CPU 配置（软限模式）
    "cpu_share" = "2048",
    "cpu_hard_limit" = "40%",
    
    -- 内存配置（硬限模式）
    "memory_limit" = "40%",
    "enable_memory_overcommit" = "false",
    
    -- 并发控制
    "max_concurrency" = "1",
    "max_queue_size" = "100",
    "queue_timeout" = "10000",
    
    -- IO 限速
    "read_bytes_per_second" = "104857600",        -- 100MB/s
    "remote_read_bytes_per_second" = "52428800"   -- 50MB/s
);

5.2 属性详解

属性名	类型	默认值	取值范围	说明
cpu_share	INT	-1	[1, 10000]	CPU 软限权重，值越大优先级越高
cpu_hard_limit	INT	-1	[1%, 100%]	CPU 硬限百分比（2.1 版本新增）
memory_limit	FLOAT	-1	(0%, 100%]	内存限制百分比
enable_memory_overcommit	BOOL	true	true/false	true=软限（可超额），false=硬限
max_concurrency	INT	2147483647	[0, 2147483647]	最大并发查询数
max_queue_size	INT	0	[0, 2147483647]	排队队列长度（0=不排队）
queue_timeout	INT	0	[0, 2147483647]	排队超时时间（毫秒）
scan_thread_num	INT	-1	[1, 2147483647]	Scan 线程数（-1=使用 BE 配置）
max_remote_scan_thread_num	INT	-1	[1, 2147483647]	外表 Scan 最大线程数
min_remote_scan_thread_num	INT	-1	[1, 2147483647]	外表 Scan 最小线程数
read_bytes_per_second	INT	-1	[1, 9223372036854775807]	内表读 IO 限速（字节/秒）
remote_read_bytes_per_second	INT	-1	[1, 9223372036854775807]	外表读 IO 限速（字节/秒）

注意事项：

创建时必须至少指定一个属性
CGroup v1 的 cpu_share 默认值为 1024，取值范围 2-262144
CGroup v2 的 cpu_share 默认值为 100，取值范围 1-10000
所有 Workload Group 的 memory_limit 累加不能超过 100%
所有 Workload Group 的 cpu_hard_limit 累加不能超过 100%

5.3 修改 Workload Group

ALTER WORKLOAD GROUP g1 PROPERTIES('cpu_share' = '4096');

-- 修改内存限制为硬限
ALTER WORKLOAD GROUP g1 PROPERTIES(
    'memory_limit' = '30%',
    'enable_memory_overcommit' = 'false'
);

-- 修改并发和排队参数
ALTER WORKLOAD GROUP g1 PROPERTIES(
    'max_concurrency' = '100',
    'max_queue_size' = '200',
    'queue_timeout' = '30000'
);

-- 添加 CPU 硬限（需先开启硬限模式）
ALTER WORKLOAD GROUP g1 PROPERTIES('cpu_hard_limit' = '20%');

5.4 删除 Workload Group

- 删除指定 Workload Group
DROP WORKLOAD GROUP g1;

– 注意：系统默认的 normal 组不可删除

六、用户绑定与授权

6.1 查看可用 Workload Group

-- 查看当前用户有权限使用的 Workload Group
SELECT name FROM information_schema.workload_groups;

6.2 授权

-- 授予用户使用指定 Workload Group 的权限
GRANT USAGE_PRIV ON WORKLOAD GROUP 'g1' TO 'user_1'@'%';

-- 授予所有 Workload Group 权限
GRANT USAGE_PRIV ON WORKLOAD GROUP '*' TO 'user_1'@'%';

-- 撤销权限
REVOKE USAGE_PRIV ON WORKLOAD GROUP 'g1' FROM 'user_1'@'%';

6.3 绑定方式一：用户属性（推荐）

为用户设置默认 Workload Group，持久生效：

-- 设置用户默认 Workload Group
SET PROPERTY FOR 'user_1' = 'default_workload_group' = 'g1';

-- 查看用户属性
SHOW PROPERTY FOR 'user_1';

七、监控与查看

7.1 查看 Workload Group 列表

-- Show 语句
SHOW WORKLOAD GROUPS;

-- 系统表查询
SELECT * FROM information_schema.workload_groups;

7.2 查看资源使用情况

-- 查看各 Workload Group 内存使用（单位：MB）
SELECT 
    workload_group_id,
    name,
    MEMORY_USAGE_BYTES / 1024 / 1024 AS mem_used_mb,
    CPU_USAGE_PERCENT AS cpu_percent
FROM workload_group_resource_usage;

-- 查看特定 Workload Group 详情
SELECT * FROM information_schema.workload_groups WHERE name = 'g1';

7.3 系统表字段说明

workload_groups 表

字段	说明
ID	Workload Group ID
NAME	名称
CPU_SHARE	CPU 软限权重
MEMORY_LIMIT	内存限制百分比
ENABLE_MEMORY_OVERCOMMIT	是否允许内存超配
MAX_CONCURRENCY	最大并发数
MAX_QUEUE_SIZE	队列长度
QUEUE_TIMEOUT	排队超时时间
CPU_HARD_LIMIT	CPU 硬限百分比
SCAN_THREAD_NUM	Scan 线程数
READ_BYTES_PER_SECOND	内表 IO 限速
REMOTE_READ_BYTES_PER_SECOND	外表 IO 限速

八、CPU 软硬限模式切换

8.1 模式说明

模式	特点	适用场景
CPU 软限	按权重分配 CPU 时间，空闲时可使用全部 CPU	负载波动大，希望充分利用资源
CPU 硬限	绝对上限，无论 CPU 是否空闲都不能超过	需要严格资源隔离，保障 SLA

注意：一个集群同一时刻只能使用一种模式，不能混用。

8.2 从软限切换到硬限

步骤 1：为所有 Workload Group 设置硬限值

-- 必须为所有 Group 设置 cpu_hard_limit
ALTER WORKLOAD GROUP g1 PROPERTIES('cpu_hard_limit' = '30%');
ALTER WORKLOAD GROUP g2 PROPERTIES('cpu_hard_limit' = '20%');
ALTER WORKLOAD GROUP normal PROPERTIES('cpu_hard_limit' = '50%');

-- 验证：所有 Group 的 cpu_hard_limit 累加 <= 100%
SELECT SUM(cpu_hard_limit) FROM information_schema.workload_groups 
WHERE cpu_hard_limit > 0;

步骤 2：开启集群硬限开关

-- 内存中立即生效（重启后失效）
ADMIN SET FRONTEND CONFIG ("enable_cpu_hard_limit" = "true");

-- 持久化配置：修改所有 FE 的 fe.conf
echo "experimental_enable_cpu_hard_limit = true" >> fe/conf/fe.conf

8.3 从硬限切换回软限

-- 关闭硬限开关（自动恢复为软限模式）
ADMIN SET FRONTEND CONFIG ("enable_cpu_hard_limit" = "false");

– 如需持久化，修改 fe.conf 为 false 或删除该配置

以上，为Doris离线分析数仓增加的资源限制的整体方案。

参考文档：https://doris.apache.org/zh-CN/docs/2.1/admin-manual/workload-management/workload-group

Doris Manager统一部署与多集群管理

wzdushu@gmail.com (wanzi) — Thu, 12 Feb 2026 09:30:00 +0800

随着业务拓展，产品形态多样化，需要部署多套离线和实时数仓集群，之前采用Ansible Playbook方式部署Doris Fe/BE也可以基本满足，但是对于Doris后续版本升级、扩容、可视化管理、初级运维上手就力不从心了，因此编写本文档，方便后续可以快速查阅。

一、概述

1.1 Doris Manager 简介

Doris Manager 是 Apache Doris 社区推出的图形化运维工具，用于统一部署、管理和监控 Doris 集群。它简化了 Doris 集群从操作系统初始化、组件部署到日常运维管理的全流程，尤其适合在生产环境中快速搭建和维护大规模 Doris 集群。

从现在来看，官方开源仓库也不维护了，SelectDB毕竟是商业公司，为了自己发展，已经将Doris Manager发展为免费闭源运维工具，不过还可以下载使用。

1.2 主要功能

集群部署：自动化部署 FE、BE、Broker 等组件
节点管理：统一管理所有节点，支持扩缩容
配置管理：集中式配置管理和参数调整
监控告警：集群状态监控和告警通知
日志查看：集中式日志查看和分析

二、前置准备

2.1 环境规划

在部署前，请确认以下信息：

规划项	说明	示例
节点规划	确定 FE、BE 节点 IP 和数量	FE: 3节点, BE: 10节点
存储规划	规划数据存储目录和磁盘类型	/data/doris (ext4, noatime)
网络规划	确认节点间网络互通和端口开放	9030, 9031, 8060, 9000+
时区规划	根据业务所在国家配置时区	Africa/Abidjan (科特迪瓦)
域名规划	Manager 访问域名	doris-manager.example.com

2.2 软件准备

官方下载地址:https://selectdb.com/download/enterprise#manager

提前下载到公司软件仓库(需要从selectdb官网下载了)：

仓库地址: https://repo.test.com/bigdata/

软件包	版本	说明
doris-manager	24.1.5-x64-bin	Doris Manager 管理工具
apache-doris	2.1.8.1-bin-x64	Apache Doris 社区版

下载命令:

# 创建下载目录
mkdir -p /opt/downloads/doris_manager /opt/downloads/doris
cd /opt/downloads/doris_manager

# 下载安装包（从公司仓库）
wget https://repo.test.com/bigdata/doris-manager-24.1.5-x64-bin.tar.gz
wget https://repo.test.com/bigdata/apache-doris-2.1.8.1-bin-x64.tar.gz

2.3 系统要求

组件	最低配置	推荐配置
操作系统	CentOS 7+ / Ubuntu 18.04+	CentOS 7.9 / Ubuntu 20.04
CPU	4核	8核+
内存	8GB	16GB+
磁盘	100GB	SSD 500GB+
网络	千兆网卡	万兆网卡

三、系统初始化与优化

在部署 Doris Manager 和 Doris 集群之前，需要对所有节点进行系统初始化配置。

3.1 数据盘初始化

重要: 生产环境必须使用独立数据盘，不要与系统盘共用。

手动初始化（单节点）

# 1. 查看数据盘设备
lsblk
# 假设数据盘为 /dev/vdb

# 2. 创建 ext4 文件系统（优化参数）
# -m 1: 预留空间从 5% 降到 1%，增加可用空间
# -T largefile: 优化大文件存储
# -L: 设置卷标，便于识别
mkfs.ext4 -m 1 -T largefile -L doris-data /dev/vdb

# 3. 创建挂载点目录
mkdir -p /data

# 4. 挂载数据盘
mount /dev/vdb /data

# 5. 获取磁盘 UUID
blkid /dev/vdb
# 输出示例: /dev/vdb: UUID="e86ca90c-ca31-460d-b450-1fe914ebae70" TYPE="ext4"

# 6. 配置开机自动挂载（替换为实际UUID）
echo "UUID=e86ca90c-ca31-460d-b450-1fe914ebae70 /data ext4 defaults,noatime 0 2" >> /etc/fstab
# noatime: 不更新访问时间，提升性能（尤其对大数据读写）
# 0: 不备份
# 2: 启动时检查文件系统

# 7. 创建 Doris 数据目录
mkdir -p /data/doris

# 8. 验证挂载
df -h | grep /data

3.2 关闭 Swap 分区

原因: Doris 运行时内存压力大时，swap 会将部分内存页换出到磁盘，导致 GC 停顿、查询卡顿甚至节点假死，严重影响性能。

# 1. 临时关闭 swap
sudo swapoff -a

# 2. 永久禁用 swap（注释掉 /etc/fstab 中的 swap 行）
sudo sed -i '/swap/s/^/#/' /etc/fstab

# 3. 验证 swap 已关闭
free -h
# Swap 应该显示为 0B

swapon --show
# 应该无输出，表示 swap 已完全关闭

3.3 优化内核参数

3.3.1 增加虚拟内存区域（VMA）

原因: Doris 会映射大量文件到内存，需要足够多的虚拟内存区域。

# 添加内核参数
cat >> /etc/sysctl.conf << EOF
vm.max_map_count = 2000000
EOF

# 应用配置
sysctl -p

# 验证
sysctl vm.max_map_count
# 应该输出: vm.max_map_count = 2000000

3.3.2 优化网络参数（可选）

# 优化 TCP 连接参数，适合高并发场景
cat >> /etc/sysctl.conf << EOF
# TCP 优化参数
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 30
net.core.somaxconn = 1024
net.ipv4.tcp_max_syn_backlog = 2048
EOF

sysctl -p

3.4 增加文件句柄限制

原因: Doris BE 会打开大量文件（数据分片、索引、日志等），必须提高文件描述符上限。

# 1. 修改 limits 配置
sudo tee -a /etc/security/limits.conf <<EOF
* soft nofile 65536
* hard nofile 65536
EOF

# 2. 在 limits.d 目录下创建独立配置
sudo tee -a /etc/security/limits.d/20-nproc.conf <<EOF
* soft nofile 65536
* hard nofile 65536
EOF

# 3. 验证配置
ulimit -n
# 应该输出: 65536

3.5 应用所有配置并重启

# 应用所有内核参数
sysctl -p

# 重启节点使所有配置生效
reboot

# 重启后验证
# 1. 检查 swap: free -h (Swap 应为 0)
# 2. 检查文件句柄: ulimit -n (应为 65536)
# 3. 检查 VMA: sysctl vm.max_map_count (应为 2000000)
# 4. 检查数据盘: df -h | grep /data

在实际部署国产中，可以针对虚拟机主机或者云主机镜像提前定制，将基本初始化操作涵盖进去。

四、部署 Doris Manager

4.1 解压与安装

# 1. 解压安装包
cd /opt/downloads/doris_manager
tar zxvf doris-manager-24.1.5-x64-bin.tar.gz

# 2. 创建部署目录
mkdir -p /opt/doris/manager

# 3. 移动文件到部署目录
mv ./doris-manager-24.1.5-x64-bin/* /opt/doris/manager/

# 4. 准备 Doris 安装包资源
# Manager 需要本地源文件用于后续集群部署
mkdir -p /opt/downloads/doris
cp /opt/downloads/doris_manager/apache-doris-2.1.8.1-bin-x64.tar.gz /opt/downloads/doris/
cp /opt/downloads/doris_manager/selectdb-doris-2.0.3-b4-bin-x64.tar.gz /opt/downloads/doris/

4.2 启动 Doris Manager

# 启动 Doris Manager WebServer
cd /opt/doris/manager/
./webserver/bin/start.sh

# 查看日志（可选）
tail -f webserver/log/webserver.log

启动验证: 服务监听端口 8004

# 检查端口是否正常监听
ss -an | grep 8004
# 预期输出:
# tcp    LISTEN    0      100    *:8004    *:*

# 或者使用 netstat
netstat -tlnp | grep 8004

4.3 配置开机自启动（推荐）

使用 systemd 管理 Doris Manager 服务，确保节点重启后自动启动。

# 1. 创建 systemd 服务文件
cat > /etc/systemd/system/doris-manager.service <<'EOF'
[Unit]
Description=Doris Manager WebServer Service
Documentation=https://doris.apache.org/
After=network.target

[Service]
Type=forking
WorkingDirectory=/opt/doris/manager
ExecStart=/opt/doris/manager/webserver/bin/start.sh
ExecStop=/opt/doris/manager/webserver/bin/stop.sh
Restart=on-failure
RestartSec=10
User=root
Group=root
TimeoutStartSec=120
TimeoutStopSec=120
StandardOutput=journal
StandardError=journal

[Install]
WantedBy=multi-user.target
EOF

# 2. 重载 systemd 配置
sudo systemctl daemon-reload

# 3. 设置开机自启动
sudo systemctl enable doris-manager

# 4. 检查服务状态
sudo systemctl status doris-manager

4.4 访问 Manager UI

通过浏览器访问 Doris Manager 管理界面：

http://{manager-ip}:8004

首次访问步骤:

进入初始化用户页面，创建第一个 Manager 管理员用户
Manager 管理员账户独立于集群账户，只用于 Manager 权限管控
创建成功后使用该账户登录

五、配置 Nginx 反向代理

生产环境建议通过 Nginx 配置域名和 HTTPS 访问。

5.1 Nginx 配置文件

server {
  listen 80;
  listen 443 ssl;
  charset utf-8;
  server_name ug-test-doris-manager.test.com;
  index  index.html index.htm index.jsp index.php;

  # SSL 配置（可选）
  # if ($scheme = http) {
  #   rewrite ^(.*)$ https://$host$1 redirect;
  # }

  include rule.d/ssl.conf;
  include rule.d/ssl_test.conf;

  client_max_body_size 5000m;

  location  / {
    include rule.d/proxy_header.conf;
    include rule.d/proxy_connection_small.conf;
    proxy_pass http://10.156.179.58:8004;
  }

  access_log  /var/log/nginx/ug-test-doris-manager.test.com.access.log main;
  error_log   /var/log/nginx/ug-test-doris-manager.test.com.error.log;
}

5.2 重启 Nginx

# 检查配置文件语法
nginx -t

# 重启 Nginx
systemctl restart nginx

# 验证
curl -I http://ug-test-doris-manager.test.com

现在可以通过域名访问 Doris Manager:

https://ug-test-doris-manager.test.com

六、初始化 Manager 配置

6.1 创建管理员账户

访问 UI 界面: 通过配置的域名或 IP 访问 Doris Manager
创建管理员账户:
- 设置用户名和密码
- 服务配置: 由于外网策略可能未开通，建议先关闭邮件告警
- 点击启动 doris-manager 服务
进入管理控制台: 安装成功后进入主界面

6.2 上传 Doris 安装包

在 Manager 界面上上传 Doris 安装包：

apache-doris-2.1.8.1-bin-x64.tar.gz

或使用命令行放置到指定目录:

1
2
3

# 确保 Manager 能访问到的路径
mkdir -p /opt/downloads/doris
cp apache-doris-2.1.8.1-bin-x64.tar.gz /opt/downloads/doris/

七、部署 Doris Agent

Agent 是 Doris Manager 在各节点上的代理程序，负责执行部署和管理任务。

7.1 获取安装命令

在 Manager 界面上：

进入"集群管理" → “Agent 管理”
点击"添加 Agent" 按钮
获取安装命令（通常为两行命令）

示例命令:

`1`	`wget http://10.156.179.58:8004/api/download/deploy.sh -O deploy_agent.sh && chmod +x deploy_agent.sh && ./deploy_agent.sh`

注意: 将 IP 地址替换为实际的 Manager 服务 IP

7.2 在目标节点执行安装

登录到各个目标节点（FE、BE 节点），执行上述 Agent 安装命令：

# 在每个 Doris 节点上执行
wget http://{manager-ip}:8004/api/download/deploy.sh -O deploy_agent.sh
chmod +x deploy_agent.sh
./deploy_agent.sh

7.3 配置 Agent 开机自启动

创建 systemd 服务文件管理 Agent：

# 1. 创建 systemd 服务文件
cat > /etc/systemd/system/doris-manager-agent.service <<'EOF'
[Unit]
Description=Doris Manager Agent Service
Documentation=https://doris.apache.org/
After=network.target

[Service]
Type=forking
# Type=forking 是因为 start.sh 脚本会在后台启动进程并立即退出

WorkingDirectory=/root/manager-agent

ExecStart=/root/manager-agent/bin/start.sh
ExecStop=/root/manager-agent/bin/stop.sh

Restart=on-failure
RestartSec=10

User=root
Group=root

TimeoutStartSec=120
TimeoutStopSec=120

StandardOutput=journal
StandardError=journal

[Install]
WantedBy=multi-user.target
EOF

# 2. 重载 systemd 配置
sudo systemctl daemon-reload

# 3. 设置开机自启动
sudo systemctl enable doris-manager-agent

# 4. 启动服务
sudo systemctl start doris-manager-agent

# 5. 检查服务状态
sudo systemctl status doris-manager-agent

# 6. 查看实时日志（如果启动失败）
sudo journalctl -u doris-manager-agent -f

7.4 手动创建数据目录

在所有节点手动创建数据存储目录：

`1`	`mkdir -p /data/doris`

7.5 在 Manager 界面验证 Agent

在 Manager 界面的"Agent 管理"页面，应该能看到已安装的 Agent 节点，状态为"在线"。

八、创建 Doris 集群

8.1 开始创建集群

进入集群管理: 在 Manager 主界面点击"集群管理"
点击"新建集群": 开始创建新的 Doris 集群
填写集群配置:
- 集群名称: 如 prod-cluster
- 集群版本: 选择 apache-doris-2.1.8.1
- 选择安装包: 从已上传的安装包中选择

8.2 添加 FE 节点

添加 FE 节点:
- 从已安装 Agent 的节点列表中选择 FE 节点
- 建议至少 3 个 FE 节点组成高可用集群
- 选择 FE 角色（Follower 或 Observer）
配置 FE 参数:
- 端口: http_port=8030, query_port=9030, edit_log_port=9010
- 内存分配: 根据节点内存大小配置

8.3 添加 BE 节点

添加 BE 节点:
- 从已安装 Agent 的节点列表中选择 BE 节点
- 根据业务需求选择合适数量的 BE 节点
配置 BE 参数:
- 端口: be_port=9060, webserver_port=8040
- 数据目录: /data/doris
- 内存分配: 建议预留系统内存，剩余的 70-80% 分配给 BE

8.4 环境检测

在开始部署前，Manager 会自动进行环境检测：

系统参数检查（文件句柄、VMA、swap 等）
磁盘空间检查
网络连通性检查
端口占用检查

等待所有检测项通过后，点击"下一步"继续部署。

如果有检测失败的项目，请按照提示修复后重新检测。

九、集群部署与配置

9.1 系统初始化配置

在部署集群前，需要进行系统参数初始化配置：

在所有节点上执行以下系统参数调整：

修改系统限制 (Limits):

# 修改文件句柄限制
sudo tee -a /etc/security/limits.conf <<EOF
* soft nofile 65536
* hard nofile 65536
EOF

sudo tee -a /etc/security/limits.d/20-nproc.conf <<EOF
* soft nofile 65536
* hard nofile 65536
EOF

应用配置并重启:

# 应用内核参数
sysctl -p

# 重启节点
reboot

重启后启动 Agent: 节点重启完成后，必须手动启动 Agent 服务

`1`	`systemctl start doris-manager-agent`

9.2 部署集群

集群设置:
- 表名大小写敏感性: 建议选择"不敏感"（便于应用兼容）
- 确认所有配置无误
开始部署: 点击"部署集群"按钮
监控部署进度:
- Manager 会自动在各个节点上部署 FE 和 BE 组件
- 可在界面上查看实时部署日志
- 部署过程通常需要 5-10 分钟
部署完成:
- 所有组件状态显示为"运行中"
- 进入集群详情页查看集群概况

9.2 配置时区（重要）

业务场景: 为满足不同国家业务需求，需要根据部署地区调整集群时区。

时区对照表:

国家/地区	时区配置	示例
中国东八区	Asia/Shanghai	中国大陆
西非科特迪瓦	Africa/Abidjan	CB/CDI 项目
西非乌干达	Africa/Kampala	Uganda 项目
UTC 标准时间	UTC	国际通用

9.2.1 修改 FE 时区

在 Manager 界面：

进入"集群管理" → 选择集群 → “配置管理”
找到 FE 配置文件 fe.conf
添加或修改以下参数：

1
2

# fe/conf/fe.conf
time_zone = Africa/Abidjan

保存配置并重启 FE 节点

9.2.2 修改 BE 时区

在 Manager 界面：

在"配置管理"中找到 BE 配置文件 be.conf
添加或修改以下参数：

1
2

# be/conf/be.conf
time_zone = Africa/Abidjan

保存配置并重启 BE 节点

9.2.3 验证时区配置

方法1: 通过 MySQL 客户端验证

# 连接到 FE
mysql -h {fe_host} -P9030 -u root -p

# 查看时区设置
SHOW VARIABLES LIKE '%time_zone%';

# 查看当前时间
SELECT NOW();

预期输出:

+---------------+--------+
| Variable_name | Value  |
+---------------+--------+
| time_zone     | AAI    |  # Africa/Abidjan 的缩写
+---------------+--------+

方法2: 查看日志验证

# 查看 FE 日志
grep -i timezone /opt/doris/fe/log/fe.log

# 查看 BE 日志
grep -i timezone /opt/doris/be/log/be.INFO

十、集群验证与测试

10.1 检查集群状态

在 Manager 界面查看：

FE 节点状态：应该为"ALIVE"
BE 节点状态：应该为"ALIVE"
集群健康状态：应该为"健康"

10.2 通过命令行验证

# 1. 连接到 FE
mysql -h {fe_host} -P9030 -u root -p

# 2. 查看 FE 状态
SHOW FRONTENDS;

# 3. 查看 BE 状态
SHOW BACKENDS;

# 4. 创建测试数据库
CREATE DATABASE test_db;

# 5. 创建测试表
USE test_db;
CREATE TABLE test_table (
  id INT,
  name VARCHAR(100)
) DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 10;

# 6. 插入测试数据
INSERT INTO test_table VALUES (1, 'test'), (2, 'doris');

# 7. 查询测试数据
SELECT * FROM test_table;

10.3 验证时区

-- 查询当前时间，确认时区正确
SELECT NOW(), CURRENT_TIMESTAMP();

-- 查看时区变量
SHOW VARIABLES LIKE '%time_zone%';

十一、常见问题排查

11.1 Agent 无法连接到 Manager

现象: Manager 界面显示 Agent 离线

排查步骤:

# 1. 检查 Agent 进程是否运行
ps aux | grep agent

# 2. 检查 Agent 日志
tail -f /root/manager-agent/log/agent.log

# 3. 检查网络连通性
curl -I http://{manager-ip}:8004

# 4. 检查防火墙和端口
telnet {manager-ip} 8004

# 5. 重启 Agent
systemctl restart doris-manager-agent

11.2 FE 节点启动失败

常见原因:

端口被占用
元数据目录权限问题
JAVA_HOME 未配置

排查步骤:

# 1. 查看 FE 日志
tail -f /opt/doris/fe/log/fe.log

# 2. 检查端口占用
netstat -tlnp | grep -E '9030|9010|8030'

# 3. 检查目录权限
ls -la /data/doris/

# 4. 检查 Java 环境
java -version
echo $JAVA_HOME

11.3 BE 节点启动失败

常见原因:

数据盘未挂载
内存配置过大
系统参数未生效

排查步骤:

# 1. 查看 BE 日志
tail -f /opt/doris/be/log/be.INFO

# 2. 检查数据盘挂载
df -h | grep /data

# 3. 检查内存配置
free -h
grep -i mem /opt/doris/be/conf/be.conf

# 4. 检查系统参数
ulimit -n
sysctl vm.max_map_count

11.4 时区配置不生效

排查步骤:

# 1. 确认配置文件已修改
grep time_zone /opt/doris/fe/conf/fe.conf
grep time_zone /opt/doris/be/conf/be.conf

# 2. 重启 FE 和 BE
# 在 Manager 界面重启，或手动重启

# 3. 查看启动日志
grep -i timezone /opt/doris/fe/log/fe.log | tail -20

# 4. 通过 MySQL 客户端验证
mysql -h {fe_host} -P9030 -u root -e "SHOW VARIABLES LIKE '%time_zone%';"

十二、运维管理

12.1 集群扩容

添加 BE 节点:

在新节点上部署 Agent（参考第七章）
在 Manager 界面选择集群 → “节点管理” → “添加节点”
选择要添加的 BE 节点
确认后自动部署并启动 BE

添加 FE 节点:

在新节点上部署 Agent
在 Manager 界面添加 FE Follower 节点
等待 FE 完成数据同步和加入集群

12.2 集群缩容

删除 BE 节点:

在 Manager 界面选择要删除的 BE 节点
点击"删除"按钮
系统会自动进行数据迁移（需要一定时间）
数据迁移完成后自动下线节点

删除 FE 节点:

生产环境不建议删除 FE Follower 节点
如果需要，请先确保集群至少有 3 个 FE 节点

12.3 配置修改

在 Manager 界面可以方便地修改集群配置：

进入"集群管理" → 选择集群 → “配置管理”
选择要修改的配置文件（fe.conf 或 be.conf）
修改参数后保存
点击"应用配置"重启对应组件

常用配置调整:

配置项	位置	说明
mem_limit	be.conf	BE 内存限制
max_compaction_threads	be.conf	最大压缩线程数
max_permissive_result_mem	fe.conf	单查询最大内存
enable_fuzzy_mode	fe.conf	是否启用模糊模式

12.4 监控与告警

集群监控指标:

CPU 使用率
内存使用率
磁盘空间使用率
查询 QPS
查询响应时间

告警配置: 在 Manager 界面配置告警规则：

进入"集群管理" → “告警管理”
创建告警规则（如磁盘使用率 > 80%）
配置告警接收方式（邮件、钉钉、企业微信）

十三、附录

13.1 端口对照表

组件	端口	说明
Manager WebServer	8004	Manager 管理界面
FE http_port	8030	FE HTTP 服务
FE query_port	9030	FE MySQL 协议端口
FE edit_log_port	9010	FE 元数据同步端口
BE be_port	9060	BE 之间通信端口
BE webserver_port	8040	BE Web 服务

13.2 目录结构

/opt/doris/
├── manager/                    # Doris Manager
│   ├── webserver/
│   │   ├── bin/
│   │   └── log/
│   └── ...
├── fe/                         # Frontend
│   ├── bin/
│   ├── conf/                   # 配置文件
│   │   ├── fe.conf
│   │   └── fe_custom.conf
│   ├── log/                    # 日志目录
│   │   ├── fe.log
│   │   └── fe.warn.log
│   └── ...
├── be/                         # Backend
│   ├── bin/
│   ├── conf/                   # 配置文件
│   │   ├── be.conf
│   │   └── be_custom.conf
│   ├── log/                    # 日志目录
│   │   ├── be.INFO
│   │   └── be.out
│   └── ...
└── ...

/root/manager-agent/            # Agent 工作目录
├── bin/
├── conf/
└── log/

/data/doris/                    # 数据存储目录
├── fe/                         # FE 数据
│   ├── meta/
│   └── ...
└── be/                         # BE 数据
    ├── storage/
    └── ...

13.3 参考文档

至此，Doris Manager 部署和 Doris 集群搭建已完成！