Doris Manager统一部署与多集群管理

1
2
3
4
5
6
7

# 创建下载目录
mkdir -p /opt/downloads/doris_manager /opt/downloads/doris
cd /opt/downloads/doris_manager

# 下载安装包（从公司仓库）
wget https://repo.test.com/bigdata/doris-manager-24.1.5-x64-bin.tar.gz
wget https://repo.test.com/bigdata/apache-doris-2.1.8.1-bin-x64.tar.gz

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31

# 1. 查看数据盘设备
lsblk
# 假设数据盘为 /dev/vdb

# 2. 创建 ext4 文件系统（优化参数）
# -m 1: 预留空间从 5% 降到 1%，增加可用空间
# -T largefile: 优化大文件存储
# -L: 设置卷标，便于识别
mkfs.ext4 -m 1 -T largefile -L doris-data /dev/vdb

# 3. 创建挂载点目录
mkdir -p /data

# 4. 挂载数据盘
mount /dev/vdb /data

# 5. 获取磁盘 UUID
blkid /dev/vdb
# 输出示例: /dev/vdb: UUID="e86ca90c-ca31-460d-b450-1fe914ebae70" TYPE="ext4"

# 6. 配置开机自动挂载（替换为实际UUID）
echo "UUID=e86ca90c-ca31-460d-b450-1fe914ebae70 /data ext4 defaults,noatime 0 2" >> /etc/fstab
# noatime: 不更新访问时间，提升性能（尤其对大数据读写）
# 0: 不备份
# 2: 启动时检查文件系统

# 7. 创建 Doris 数据目录
mkdir -p /data/doris

# 8. 验证挂载
df -h | grep /data

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# 1. 临时关闭 swap
sudo swapoff -a

# 2. 永久禁用 swap（注释掉 /etc/fstab 中的 swap 行）
sudo sed -i '/swap/s/^/#/' /etc/fstab

# 3. 验证 swap 已关闭
free -h
# Swap 应该显示为 0B

swapon --show
# 应该无输出，表示 swap 已完全关闭

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# 添加内核参数
cat >> /etc/sysctl.conf << EOF
vm.max_map_count = 2000000
EOF

# 应用配置
sysctl -p

# 验证
sysctl vm.max_map_count
# 应该输出: vm.max_map_count = 2000000

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

# 优化 TCP 连接参数，适合高并发场景
cat >> /etc/sysctl.conf << EOF
# TCP 优化参数
net.ipv4.tcp_tw_reuse = 1
net.ipv4.tcp_fin_timeout = 30
net.core.somaxconn = 1024
net.ipv4.tcp_max_syn_backlog = 2048
EOF

sysctl -p

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

# 1. 修改 limits 配置
sudo tee -a /etc/security/limits.conf <<EOF
* soft nofile 65536
* hard nofile 65536
EOF

# 2. 在 limits.d 目录下创建独立配置
sudo tee -a /etc/security/limits.d/20-nproc.conf <<EOF
* soft nofile 65536
* hard nofile 65536
EOF

# 3. 验证配置
ulimit -n
# 应该输出: 65536

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11

# 应用所有内核参数
sysctl -p

# 重启节点使所有配置生效
reboot

# 重启后验证
# 1. 检查 swap: free -h (Swap 应为 0)
# 2. 检查文件句柄: ulimit -n (应为 65536)
# 3. 检查 VMA: sysctl vm.max_map_count (应为 2000000)
# 4. 检查数据盘: df -h | grep /data

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15

# 1. 解压安装包
cd /opt/downloads/doris_manager
tar zxvf doris-manager-24.1.5-x64-bin.tar.gz

# 2. 创建部署目录
mkdir -p /opt/doris/manager

# 3. 移动文件到部署目录
mv ./doris-manager-24.1.5-x64-bin/* /opt/doris/manager/

# 4. 准备 Doris 安装包资源
# Manager 需要本地源文件用于后续集群部署
mkdir -p /opt/downloads/doris
cp /opt/downloads/doris_manager/apache-doris-2.1.8.1-bin-x64.tar.gz /opt/downloads/doris/
cp /opt/downloads/doris_manager/selectdb-doris-2.0.3-b4-bin-x64.tar.gz /opt/downloads/doris/

1
2
3
4
5
6

# 启动 Doris Manager WebServer
cd /opt/doris/manager/
./webserver/bin/start.sh

# 查看日志（可选）
tail -f webserver/log/webserver.log

1
2
3
4
5
6
7

# 检查端口是否正常监听
ss -an | grep 8004
# 预期输出:
# tcp    LISTEN    0      100    *:8004    *:*

# 或者使用 netstat
netstat -tlnp | grep 8004

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33

# 1. 创建 systemd 服务文件
cat > /etc/systemd/system/doris-manager.service <<'EOF'
[Unit]
Description=Doris Manager WebServer Service
Documentation=https://doris.apache.org/
After=network.target

[Service]
Type=forking
WorkingDirectory=/opt/doris/manager
ExecStart=/opt/doris/manager/webserver/bin/start.sh
ExecStop=/opt/doris/manager/webserver/bin/stop.sh
Restart=on-failure
RestartSec=10
User=root
Group=root
TimeoutStartSec=120
TimeoutStopSec=120
StandardOutput=journal
StandardError=journal

[Install]
WantedBy=multi-user.target
EOF

# 2. 重载 systemd 配置
sudo systemctl daemon-reload

# 3. 设置开机自启动
sudo systemctl enable doris-manager

# 4. 检查服务状态
sudo systemctl status doris-manager

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26

server {
  listen 80;
  listen 443 ssl;
  charset utf-8;
  server_name ug-test-doris-manager.test.com;
  index  index.html index.htm index.jsp index.php;

  # SSL 配置（可选）
  # if ($scheme = http) {
  #   rewrite ^(.*)$ https://$host$1 redirect;
  # }

  include rule.d/ssl.conf;
  include rule.d/ssl_test.conf;

  client_max_body_size 5000m;

  location  / {
    include rule.d/proxy_header.conf;
    include rule.d/proxy_connection_small.conf;
    proxy_pass http://10.156.179.58:8004;
  }

  access_log  /var/log/nginx/ug-test-doris-manager.test.com.access.log main;
  error_log   /var/log/nginx/ug-test-doris-manager.test.com.error.log;
}

1
2
3
4
5
6
7
8

# 检查配置文件语法
nginx -t

# 重启 Nginx
systemctl restart nginx

# 验证
curl -I http://ug-test-doris-manager.test.com

1
2
3

# 确保 Manager 能访问到的路径
mkdir -p /opt/downloads/doris
cp apache-doris-2.1.8.1-bin-x64.tar.gz /opt/downloads/doris/

1

wget http://10.156.179.58:8004/api/download/deploy.sh -O deploy_agent.sh && chmod +x deploy_agent.sh && ./deploy_agent.sh

1
2
3
4

# 在每个 Doris 节点上执行
wget http://{manager-ip}:8004/api/download/deploy.sh -O deploy_agent.sh
chmod +x deploy_agent.sh
./deploy_agent.sh

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46

# 1. 创建 systemd 服务文件
cat > /etc/systemd/system/doris-manager-agent.service <<'EOF'
[Unit]
Description=Doris Manager Agent Service
Documentation=https://doris.apache.org/
After=network.target

[Service]
Type=forking
# Type=forking 是因为 start.sh 脚本会在后台启动进程并立即退出

WorkingDirectory=/root/manager-agent

ExecStart=/root/manager-agent/bin/start.sh
ExecStop=/root/manager-agent/bin/stop.sh

Restart=on-failure
RestartSec=10

User=root
Group=root

TimeoutStartSec=120
TimeoutStopSec=120

StandardOutput=journal
StandardError=journal

[Install]
WantedBy=multi-user.target
EOF

# 2. 重载 systemd 配置
sudo systemctl daemon-reload

# 3. 设置开机自启动
sudo systemctl enable doris-manager-agent

# 4. 启动服务
sudo systemctl start doris-manager-agent

# 5. 检查服务状态
sudo systemctl status doris-manager-agent

# 6. 查看实时日志（如果启动失败）
sudo journalctl -u doris-manager-agent -f

1

mkdir -p /data/doris

 1
 2
 3
 4
 5
 6
 7
 8
 9
10

# 修改文件句柄限制
sudo tee -a /etc/security/limits.conf <<EOF
* soft nofile 65536
* hard nofile 65536
EOF

sudo tee -a /etc/security/limits.d/20-nproc.conf <<EOF
* soft nofile 65536
* hard nofile 65536
EOF

1
2
3
4
5

# 应用内核参数
sysctl -p

# 重启节点
reboot

1

systemctl start doris-manager-agent

1
2

# fe/conf/fe.conf
time_zone = Africa/Abidjan

1
2

# be/conf/be.conf
time_zone = Africa/Abidjan

1
2
3
4
5
6
7
8

# 连接到 FE
mysql -h {fe_host} -P9030 -u root -p

# 查看时区设置
SHOW VARIABLES LIKE '%time_zone%';

# 查看当前时间
SELECT NOW();

1
2
3
4
5

# 查看 FE 日志
grep -i timezone /opt/doris/fe/log/fe.log

# 查看 BE 日志
grep -i timezone /opt/doris/be/log/be.INFO

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25

# 1. 连接到 FE
mysql -h {fe_host} -P9030 -u root -p

# 2. 查看 FE 状态
SHOW FRONTENDS;

# 3. 查看 BE 状态
SHOW BACKENDS;

# 4. 创建测试数据库
CREATE DATABASE test_db;

# 5. 创建测试表
USE test_db;
CREATE TABLE test_table (
  id INT,
  name VARCHAR(100)
) DUPLICATE KEY(id)
DISTRIBUTED BY HASH(id) BUCKETS 10;

# 6. 插入测试数据
INSERT INTO test_table VALUES (1, 'test'), (2, 'doris');

# 7. 查询测试数据
SELECT * FROM test_table;

1
2
3
4
5

-- 查询当前时间，确认时区正确
SELECT NOW(), CURRENT_TIMESTAMP();

-- 查看时区变量
SHOW VARIABLES LIKE '%time_zone%';

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14

# 1. 检查 Agent 进程是否运行
ps aux | grep agent

# 2. 检查 Agent 日志
tail -f /root/manager-agent/log/agent.log

# 3. 检查网络连通性
curl -I http://{manager-ip}:8004

# 4. 检查防火墙和端口
telnet {manager-ip} 8004

# 5. 重启 Agent
systemctl restart doris-manager-agent

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# 1. 查看 FE 日志
tail -f /opt/doris/fe/log/fe.log

# 2. 检查端口占用
netstat -tlnp | grep -E '9030|9010|8030'

# 3. 检查目录权限
ls -la /data/doris/

# 4. 检查 Java 环境
java -version
echo $JAVA_HOME

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13

# 1. 查看 BE 日志
tail -f /opt/doris/be/log/be.INFO

# 2. 检查数据盘挂载
df -h | grep /data

# 3. 检查内存配置
free -h
grep -i mem /opt/doris/be/conf/be.conf

# 4. 检查系统参数
ulimit -n
sysctl vm.max_map_count

 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12

# 1. 确认配置文件已修改
grep time_zone /opt/doris/fe/conf/fe.conf
grep time_zone /opt/doris/be/conf/be.conf

# 2. 重启 FE 和 BE
# 在 Manager 界面重启，或手动重启

# 3. 查看启动日志
grep -i timezone /opt/doris/fe/log/fe.log | tail -20

# 4. 通过 MySQL 客户端验证
mysql -h {fe_host} -P9030 -u root -e "SHOW VARIABLES LIKE '%time_zone%';"