Linux on 丸子有记, 记录生活、分享技术，专注于运维架构、运维开发(devops)。

Headscale自建企业级VPN网络

wzdushu@gmail.com (wanzi) — Sat, 11 Jan 2025 10:00:00 +0800

项目背景

业务痛点

随着业务增长，目前海外拥有十几个独立的私有网络环境（ZStack/TStack），例如：

海外私有网络A区域
海外私有网络B区域
海外私有网络C区域

每个网络都是独立个体，需要使用不同的VPN客户端拨号才能访问对应网络的资源，这给日常运维管理带来巨大挑战：

运维人员需要在多个VPN客户端间频繁切换
缺乏统一的权限管理和访问控制
网络配置复杂，故障排查困难
无法实现跨网络的自动化运维

解决方案

采用Headscale（服务端）+ Tailscale（客户端）的架构，构建企业级零信任VPN网络：

在阿里云新加坡节点部署Headscale控制服务器
各私有网络节点安装Tailscale客户端并注册到Headscale
实现一次连接，访问所有私有网络资源
支持ACL访问控制、SSO单点登录
Tailscale的多端支持很好，IOS、MacOS 、安卓、win、Linux,同时支持IPv6

Headscale架构介绍

核心组件

Headscale是Tailscale控制服务器的开源实现，完全兼容Tailscale协议：

控制服务器（Headscale）：管理节点注册、密钥分发、地址分配、ACL策略
DERP服务器：中继服务器，用于NAT穿透失败时的流量转发
客户端（Tailscale）：部署在各节点，基于WireGuard建立加密隧道

技术优势

相比传统VPN方案：

零信任架构：默认拒绝所有访问，通过ACL显式授权
NAT穿透：支持STUN协议自动打洞，无需公网IP
Mesh网络：节点间直接通信，无需经过中心服务器
自动重连：网络变化时自动重新建立连接
跨平台支持：Linux/Windows/macOS/BSD/iOS/Android/FreeBSD

Headscale服务端部署

环境准备

# 系统要求
# Ubuntu 20.04+ / CentOS 8+ / Debian 11+
# 公网IP服务器（推荐阿里云新加坡）
# 开放UDP端口：3478（DERP）、41641（Headscale）

# 安装Headscale
wget https://github.com/juanfont/headscale/releases/download/v0.23.0/headscale_0.23.0_linux_amd64.deb
sudo dpkg -i headscale_0.23.0_linux_amd64.deb

# 或使用yum安装（RHEL/CentOS）
sudo yum install -y https://github.com/juanfont/headscale/releases/download/v0.23.0/headscale_0.23.0_linux_amd64.rpm

配置文件

参考: https://github.com/juanfont/headscale/blob/main/config-example.yaml

创建配置文件 /etc/headscale/config.yaml：

# 服务器地址
server_url: https://headscale.wnote.com:443

# 监听地址
listen_addr: 0.0.0.0:8080

# 私钥（自动生成或指定）
private_key_path: /var/lib/headscale/private.key

# DERP中继服务器配置 
derp:
  # 启用嵌入式 DERP 服务器
  server:
    enabled: false
    region_id: 999                     # 使用一个未占用的 ID，避免冲突
    region_code: "self-derp"           # 简短标识
    region_name: "自建合设 DERP"        # 描述名称
    stun_listen_addr: "0.0.0.0:3478"   # STUN 服务监听，必须开放 UDP 3478
    # 【重要】填写你服务器的真实公网 IPv4 地址
    ipv4: "你的服务器公网IP"
    # 如果有公网 IPv6 也可填上
    # ipv6: "你的服务器公网IPv6"
    # 自动将本区域加入 DERP 地图
    automatically_add_embedded_derp_region: true
    # 【安全】强烈建议开启，仅允许你的 Tailnet 客户端使用该中继
    verify_clients: true

  # 你可以选择保留官方 DERP 作为备份，或完全禁用（清空 urls）
  urls:
    - https://controlplane.tailscale.com/derpmap/default   # 保留备份（推荐）
  # 如果你有额外的自建 DERP 节点（如新加坡节点），可保留 paths
  paths:
    - /etc/headscale/derp.yaml

  auto_update_enabled: true
  update_frequency: 24h

# 数据库（默认SQLite，生产环境推荐PostgreSQL）
database:
  type: sqlite
  sqlite:
    path: /var/lib/headscale/db.sqlite

# ACL策略文件
acl_policy_path: /etc/headscale/acl.yaml

# DNS配置
dns:
  nameservers:
    - 1.1.1.1
    - 8.8.8.8
  magic_dns: true  # 启用MagicDNS（node.namespace.vpn）

# OAuth配置（可选）
# oidc:
#   issuer: "https://your-oidc-provider.com"
#   client_id: "your-client-id"
#   client_secret: "your-client-secret"

# 日志配置
log:
  format: text
  level: info

配置DERP中继服务器

首先，先理解一下DERP概念：

DERP服务器，主要是为了在网络条件恶劣（如对称型NAT、严格防火墙）导致无法直连时，有一个可靠、低延迟的备用中继方案，确保设备间总能连通

直连 (P2P)：Headscale 的终极目标是让客户端通过 STUN 协议“打洞”，建立点对点的直接连接，速度最快
中继 (DERP)：当打洞失败时（例如一方在严格的对称型NAT后），流量就会通过 DERP 服务器进行转发。虽然延迟比直连高，但能保证连接不中断

这里如果想自建DERP并精细控制多个DERP节点，就需要创建配置文件，它用于定义你的私有DERP网络区域和节点信息

自建DERP的好处在于：可以避开官方 DERP 服务器在海外的延迟问题，并将中继流量控制在自己的服务器上，提升安全性和稳定性

我这里暂时用不上，仅举例，创建 /etc/headscale/derp.yaml：

# /etc/headscale/derp.yaml
regions:
  # 第一个自建区域，例如：华东地区
  901:
    regionid: 901
    regioncode: "cn-east"   # 区域代码，简短
    regionname: "华东自建节点" # 区域名称
    nodes:
      - name: 901a
        regionid: 901
        # 这里填你独立DERP服务器的域名
        hostname: derp-shanghai.yourdomain.com
        # 你的DERP服务器端口，通常是443或你自定义的端口
        derpport: 12345
        # STUN端口，通常是3478
        stunport: 3478
        stunonly: false

  # 第二个自建区域，例如：华北地区
  902:
    regionid: 902
    regioncode: "cn-north"
    regionname: "华北自建节点"
    nodes:
      - name: 902a
        regionid: 902
        hostname: derp-beijing.yourdomain.com
        derpport: 443  # 假设这个节点用了标准443端口
        stunport: 3478
        stunonly: false

配置创建后，可以在任意Tailscale客户端上查看DERP地图和连通性

tailscale debug derp-map
tailscale debug derp headscale # 测试与特定DERP服务器的连接性

验证客户端是否真正使用自建中继，你可以通过 tailscale status 查看连接状态，若看到 derp=自建区域代码（如 derp=self-derp），说明流量正在通过你的自建中继。

ACL访问控制策略

创建 /etc/headscale/acl.yaml：

# 用户/组定义
groups:
  group:admin:
    - admin@example.com
  group:devops:
    - devops1@example.com
    - devops2@example.com
  group:developer:
    - dev1@example.com
    - dev2@example.com

# 主机标签定义
hosts:
  sg-cloud: "10.100.0.1/32"
  network-a: "10.100.1.0/24"
  network-b: "10.100.2.0/24"
  network-c: "10.100.3.0/24"

# 访问控制规则
acls:
  # 管理员可访问所有资源
  - action: accept
    src:
      - group:admin
    dst:
      - "*:*"

  # 运维团队可访问所有服务器SSH
  - action: accept
    src:
      - group:devops
    dst:
      - "sg-cloud:22"
      - "network-a:22"
      - "network-b:22"
      - "network-c:22"

  # 开发团队可访问应用端口
  - action: accept
    src:
      - group:developer
    dst:
      - "sg-cloud:80,443,8080"
      - "network-a:3306,6379"
      - "network-b:9200,9300"

  # 默认拒绝其他访问
  - action: reject
    src:
      - "*"
    dst:
      - "*:*"

# 标签路由规则（可选）
tagOwners:
  tag:prod:
    - group:admin
    - group:devops
  tag:database:
    - group:admin

启动服务

# 创建必要目录
sudo mkdir -p /var/lib/headscale

# 启动Headscale
sudo systemctl enable headscale
sudo systemctl start headscale
sudo systemctl status headscale

# 查看日志
sudo journalctl -u headscale -f

配置Nginx反向代理

由于之前我们通过acme申请了泛域名证书，可以直接指定SSL证书路径即可,企业中根据实际场景配置：

server {
    listen 443 ssl http2;
    server_name headscale.wnote.com;

    ssl_certificate /etc/ssl/certs/headscale.crt;
    ssl_certificate_key /etc/ssl/private/headscale.key;

    location / {
        proxy_pass http://127.0.0.1:8080;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
        proxy_buffering off;
        # 长连接超时设置
        proxy_read_timeout 86400s;
        proxy_send_timeout 86400s;
        proxy_connect_timeout 300s;
    }
    # DERP 中继路径也需要代理（嵌入式 DERP 通过该路径提供服务）
    location /derp {
        proxy_pass http://127.0.0.1:8080/derp;
        proxy_http_version 1.1;
        proxy_set_header Upgrade $http_upgrade;
        proxy_set_header Connection "upgrade";
        proxy_set_header Host $host;
        proxy_set_header X-Real-IP $remote_addr;
        proxy_set_header X-Forwarded-For $proxy_add_x_forwarded_for;
        proxy_set_header X-Forwarded-Proto $scheme;
    }
}

开放防火墙端口

确保服务器防火墙允许以下流量：

端口	协议	用途	说明
443	TCP	HTTPS（控制面 + DERP 中继）	已通过反向代理开放
3478	UDP	STUN 服务	必须开放 UDP 3478，用于 NAT 穿透探测
如果使用云服务商（如 AWS、阿里云），还需在安全组中添加入站规则。

Tailscale客户端部署

安装Tailscale客户端

在各个私有网络节点安装：

# Debian/Ubuntu
curl -fsSL https://tailscale.com/install.sh | sh

# RHEL/CentOS
curl -fsSL https://tailscale.com/install.sh | sh

# Windows
# 下载安装包：https://tailscale.com/download/windows

# macOS
brew install --cask tailscale

# Android/iOS
# 应用商店搜索"Tailscale"安装

注册节点到Headscale

# 方法一：使用Auth Key（推荐）

# 在服务器端创建Auth Key
sudo headscale apikeys create -e 8760h -o api-key.txt

# 客户端注册（替换YOUR_AUTH_KEY）
sudo tailscale up --login-server=https://headscale.wnote.com \
                  --auth-key=YOUR_AUTH_KEY \
                  --advertise-routes=10.0.0.0/24,192.168.1.0/24 \
                  --advertise-exit-node

# 方法二：通过命令行注册
# 1. 在服务器创建用户
sudo headscale users create user@example.com

# 2. 获取注册命令
sudo headscale namespaces create default

# 3. 客户端执行注册并获取URL
sudo tailscale up --login-server=https://headscale.wnote.com

# 4. 在服务器端批准注册
sudo headscale nodes register -u user@example.com -n <节点名>

子网路由配置

在各私有网络网关节点上配置子网路由：

# 启用IP转发
echo "net.ipv4.ip_forward=1" | sudo tee -a /etc/sysctl.conf
echo "net.ipv6.conf.all.forwarding=1" | sudo tee -a /etc/sysctl.conf
sudo sysctl -p

# 宣告子网路由（在网关节点执行）
sudo tailscale up --advertise-routes=10.100.1.0/24,10.100.2.0/24

# 在服务器端批准路由
sudo headscale routes list
sudo headscale routes enable -r <路由ID>

# 验证路由
sudo tailscale status
ping 10.100.1.10  # 测试跨网络访问

Exit Node配置(非必需)

配置出口节点，用于通过特定节点访问外网（指定互联网出口网关）：

# 在出口节点启用
sudo tailscale up --advertise-exit-node

# 在服务器端批准
sudo headscale nodes list
sudo headscale nodes edit --exit-node <节点ID> --enable

# 客户端使用出口节点
sudo tailscale up --exit-node=<出口节点IP> --exit-node-allow-lan-access

指定将流量通过 <出口节点IP> 转发，并且允许同时访问本地局域网（LAN）。如果不加–exit-node-allow-lan-access，那么连本地局域网（如打印机、路由器管理页面）也会走出口节点，可能导致无法访问。

管理与维护

常用管理命令

# 列出所有节点
sudo headscale nodes list

# 查看节点详情
sudo headscale nodes get -i <节点ID>

# 删除节点
sudo headscale nodes delete -i <节点ID>

# 重命名节点
sudo headscale nodes rename -i <节点ID> --new-name <新名称>

# 设置节点标签
sudo headscale nodes tag set -i <节点ID> -t "tag:prod,database"

# 查看路由
sudo headscale routes list

# 启用/禁用路由
sudo headscale routes enable -r <路由ID>
sudo headscale routes disable -r <路由ID>

# 查看命名空间
sudo headscale namespaces list

# 创建命名空间
sudo headscale namespaces create <命名空间名称>

# 添加用户
sudo headscale users create user@example.com

# 列出API密钥
sudo headscale apikeys list

监控与告警

# 启用Prometheus指标
# 在config.yaml中添加：
metrics:
  listen_addr: 127.0.0.1:9090

# 访问指标
curl http://localhost:9090/metrics

# Grafana Dashboard
# 导入Headscale官方Dashboard：https://grafana.com/grafana/dashboards/18820

备份与恢复

# 备份数据库
sudo cp /var/lib/headscale/db.sqlite /backup/headscale-$(date +%Y%m%d).sqlite

# 备份配置文件
sudo tar -czf /backup/headscale-config-$(date +%Y%m%d).tar.gz /etc/headscale/

# 恢复
sudo systemctl stop headscale
sudo cp /backup/headscale-xxx.sqlite /var/lib/headscale/db.sqlite
sudo systemctl start headscale

生产环境最佳实践

高可用部署

# 使用PostgreSQL作为数据库后端
database:
  type: postgres
  postgres:
    host: pg-cluster.example.com
    port: 5432
    user: headscale
    password: "your-password"
    database: headscale
    sslmode: require

安全加固

使用mTLS认证

tls:
  letsencrypt:
    email: admin@example.com
    agree_tos: true
    listen_host: ":443"

限制IP访问

ip_prefixes:
  - 10.0.0.0/8
  - 172.16.0.0/12
  - 192.168.0.0/16

定期轮换密钥

1
2
3

# 重新生成私钥
sudo rm /var/lib/headscale/private.key
sudo systemctl restart headscale

性能优化

部署多个DERP服务器
- 每个大区域部署一个DERP节点
- 使用CDN加速DERP访问
优化Keep-alive

1
2

# 客户端配置
sudo tailscale up --ping=20s  # 心跳间隔

单点故障风险 如果完全禁用官方 DERP（urls: []），且只有一台自建 DERP 服务器，当该服务器宕机或网络故障时，所有需要中继的客户端将无法通信。对于生产环境，建议至少保留官方DERP作为备份，或部署多个自建DERP节点。
证书要求 嵌入式 DERP 依赖 Headscale 的 HTTPS 服务，因此你的域名 headscale.wnote.com 必须有有效 SSL 证书。

故障排查

常见问题

1. 节点无法注册

# 检查服务器端日志
sudo journalctl -u headscale -n 50

# 检查客户端注册URL是否正确
# 确保防火墙开放8080/443端口

2. 无法访问子网路由

# 检查IP转发是否启用
sysctl net.ipv4.ip_forward

# 检查路由是否批准
sudo headscale routes list

# 抓包分析
sudo tcpdump -i tailscale0 -n host 10.100.x.x

3. DERP连接失败

# 测试DERP连通性
tailscale ping --c 100 <DERP服务器IP>

# 检查DERP服务器状态
curl https://your-derp-server.com/derp/latency-check

4. ACL策略不生效

# 验证ACL语法
sudo headscale acl validate

# 查看生效的ACL
sudo headscale acl get

总结

Headscale+Tailscale方案为企业提供了开箱即用的零信任VPN解决方案：

部署简单：服务端一键安装，客户端自动配置
功能强大：支持ACL、SSO、路由、出口节点
性能优异：基于WireGuard，延迟低、吞吐量高
安全可靠：端到端加密、细粒度权限控制

通过在阿里云新加坡部署Headscale控制服务器，将各私有网络统一接入，实现了：

运维人员一次登录访问所有网络
基于ACL的细粒度访问控制
自动化的网络拓扑管理
可审计的操作日志

该方案已在生产环境稳定运行，节点规模10+，日活跃连接100+，故障率<0.1%。

对CDN建设一些总结与思考

wzdushu@gmail.com (wanzi) — Wed, 07 Sep 2022 12:22:42 +0800

新冠病毒疫情反反复复，对于日常生活和工作造成了不小影响，对于我最近半年发生了太多事情，家中亲人病重，奶奶去世，有很多事儿要忙，所以博客也停更了半年;

面对经济不景气，各行各业开始了裁员，很多公司业务开始收缩，趁着最近闲暇，把以前CDN工作经历做一个简单总结。

一、大型网站架构剖析：

移动互联网时代，对于一个高并发的大型网站，架构的设计都不会太简单，我简单从如下几个方面概括一下：

1、客户端：

设备端主要电脑PC、移动手机、智能设备等

浏览器层主要有Chrome、微软IE/Edge、Safari、火狐Firefox、欧鹏Opera等，这里主要以浏览器内核为准统计。

协议层：

（1）普通网页：Http1.1/Http2/Quic
（2）流媒体：Rtmp/Http-FLV/HLS(m3u8)

2、CDN层：

对于中小型网站一般采用商用CDN即可

对于大型和特大型网站，建议采用自建和商用CDN，这个后边我会详细介绍。

在CDN领域，主要有两大部分组成，缓存层+调度层。

对于不同业务形态，一般分为静态加速、动态加速、下载加速、音频加速、视频加速、直播加速、P2P加速、安全加速。

3、静态服务：

前端业务形态一般分为H5、小程序、安卓、IOS，主要元素有HTML/CSS/JS

前端主流框架，VUE/React/Angular

一般服务器端使用Nginx或Openrestry搭建，设置SSL证书、过期时间、跨域配置等即可。

4、动态服务：

一般根据公司主力编程语言，一般为php/java/golang/python等

目前大部分公司都会把动态服务跑在docker或者k8s集群

对于动态层面，如果无法做到动静分离，必须要走CDN，建议配置策略回源，减少路由损失。

5、数据缓存层：

这部分主要采用Redis或Memcached 云原生生态链也有采用etcd或tikv做缓存的。

6、数据库服务器：

传统数据库主要有Mysql、MariaDB、PostgreSQL、SqlServer、Oracle、DB2关系型数据库。

对非关系型数据库（NoSQL），主要代表有Mongodb、Hbase、Cassandra（facebook）等。

随着对性能和海量数据要求越来越高，新型分布式数据库发展越来越好，比如Tidb(PingCAP开源)、Greenplum、DorisDB(百度开源)、Clickhouse等

7、分布式数据存储：

一般采用Ceph/HDFS/GlusterFS/GFS根据不同类型场景选择不同存储软件。

目前主流以Ceph和HDFS两大阵营为主，很多云厂商底层采用Ceph，主要是它支持块存储、对象存储、文件系统，同时openstack默认就走的这货，对k8s支持也比较完善；而HDFS主要满足海量数据存储，一般配合hadoop和Spark使用，对云原生支持不是很好。

二、自建CDN还是商用CDN？

1、选择CDN

是考虑自建CDN还是采用商用CDN，我觉得需要根据公司业务规模以及成本、场景来考量。

对于普通静态文件CDN加速，规模在1000万PV以下，不要考虑自建CDN，商用CDN即可满足，调度策略优先选择价格低廉、服务效果好的CDN；

对于大文件下载CDN加速，这类如果公司带宽不富裕，不建议自建CDN，商用CDN即可；

对于音频和点播加速，这类如果研发团队实力不够强，建议采用商用CDN，建议采用价格低、节点多、效果好的CDN；

对于直播加速，这类对体验效果要求较高，主要考量CDN节点网络质量，建议采用大型云CDN厂商。

对于动态加速、安全加速，优先考虑回源链路优秀、安全策略完善CDN厂商。

2、如何自建CDN？

对于服务器硬件，从硬盘、内存、CPU考虑采用性价比更高服务器；

对于机房带宽，首选运营商代理商，优选条件：机房出口大，链路优秀，有硬防护等；

对于缓存节点，选型一般为Nginx或Apache traffic server或者varnish、squid；

对于调度系统，首选第三方智能CDN，有一定研发实力可以考虑Bind View或Bind DLZ；

对于CDN高可用负载均衡，选型考虑LVS、Nginx、Keepalived、Haproxy

3、如何选择商用CDN？

对于国内提供CDN厂商，主要有阿里云、腾讯云、网宿、华为云、百度云、金山云、白山云、七牛云、蓝汛、又拍云、帝联、ucloud、青云等

对于海外提供CDN厂商，主要有AWS的cloudfront、Akamai、Google、Fastly、Limelight、Cloudflare、StackPath、CDNetworks等

无论国内还是海外，在选择CDN的时候可以参考如下指标进行选择：

（1）节点分布，如果CDN分布节点越多，越靠近用户，一般加速效果越好；
（2）首屏时间，用户第一次打开时间，这个指标越短，用户体验越好；
（3）节点延迟，用户侧到CDN节点延迟越短，说明网路链路效果越好；
（4）下载速度，用户下载文件速度很快，说明服务器性能和网络都很好；
（5）丢包率，用户侧丢包率很高，说明用户到CDN节点整体网络效果不好；
（6）回源率，从回源请求数比例和回源流量比例入手，越低越好，说明CDN帮你抗下了流量；
（7）命中率，命中率越高，说明CDN缓存资源越多，加速效果越好；
（8）平台功能是否丰富，基本功能是否完善，界面体验效果如何；
（9）运营团队响应速度，反馈后多久能给响应、处理；
（10）调度策略，观察服务商调度策略是否合理。

三、总结

对于最近几年，云计算时代来临，国内CDN行业也算来了一次大洗牌，原先CDN巨头网宿、蓝汛，目前已经被阿里云、腾讯云替代；曾经的帝联业务也越来越不行，快网被世纪互联收购，白山云转型边缘云计算，其他中型云厂商如金山云、ucloud、七牛云、又拍云正在逐步瓜分这个市场。

写在最后，未来CDN行业发展方向该如何，这个谁也不知道，根据目前这势头，各家厂商都在大搞边缘计算，随着5G、人工智能、容器技术迭代升级，CDN不仅仅只是一门技术那么简单了，它需要不断的和其他技术整合，最终应用到我们生活中。

阿里云PrivateZone+Bind9+Dnsmasq实现内部DNS

wzdushu@gmail.com (wanzi) — Sat, 10 Jul 2021 17:22:42 +0800

需求：

阿里云集群能够解析内部域名

办公网解析内部域名+办公网上网解析

解决方法：

对于第一个问题，直接使用阿里云PrivateZone解析即可
对于第二个问题，采用在PrivateZone配置内部域名zone，然后通过阿里云同步工具同步到办公网bind9服务器；对于办公网DNS解析入口，使用Dnsmasq处理，对于公网解析直接Forward到公网DNS，内部域名直接转发到bind9处理。

这里可能有人疑问，为什么不用bind直接实现所有内部解析呢？这里主要原因在实际使用中发现bind9的forward多个dns的时候并发有性能问题，偶尔会有超时现象，这一点dnsmasq做的相对出色很多。

一、阿里云PrivateZone配置

参考：https://help.aliyun.com/document_detail/64627.html

二、同步阿里云zone到bind9

1、docker-compose搭建bind9

version: '2'

services:
  bind:
    restart: always
    image: sameersbn/bind:9.16.1-20200524
    environment:
    - ROOT_PASSWORD=DNS2021#
    - WEBMIN_ENABLED=true
    - WEBMIN_INIT_SSL_ENABLED=false
    ports:
    - "15353:53/tcp"
    - "15353:53/udp"
    - "11953:953/tcp"
    - "10000:10000/tcp" #webmin管理
    volumes:
    - ./data:/data
    networks:
      - bind9

networks:
  bind9:
    ipam:
      config:
      - subnet: 10.220.0.0/16
        gateway: 10.220.0.1

2、修改bind配置文件

data/bind/etc/named.conf

include "/etc/bind/named.conf.options";
include "/etc/bind/named.conf.local";
include "/etc/bind/named.conf.default-zones";
key "rndc-key" {
    algorithm hmac-sha256;
    secret "tREasaE2Jal1GfwfL5iii3a88eRGKWui41l5h3v89OM=";
};
controls {
	inet 127.0.0.1 port 953 allow { 127.0.0.1; } keys { rndc-key; };
	};
logging {
    channel query_log {
        file "query.log" versions 10 size 50M;
        severity info;
        print-category yes;
        print-severity yes;
        print-time yes;
    };
    category queries {
        query_log;
    };
};

data/bind/etc/named.conf.options

options {
	directory "/var/cache/bind";
    dnssec-validation no;
    dnssec-enable no;
    recursion yes;
    allow-recursion { any;};
    allow-transfer { any; };
    allow-query-cache { any; };
    listen-on-v6 { any; };
    listen-on port 53 { any; };
    forward first;
    forwarders {
        192.168.1.211 port 53;
        192.168.1.212 port 53;
        };
    transfer-format many-answers;
    transfers-per-ns 500;
    recursive-clients 100000;
    max-transfer-time-in 5;
    transfers-in 300;
    transfers-out 300;
    querylog yes;
};

data/bind/etc/named.conf.local

zone "sd.com" {
	type master;
	file "/etc/bind/zones/sd.com.zone";
    allow-update { 127.0.0.1; };
	};
zone "bgt.sdi" {
	type master;
	file "/etc/bind/zones/bgt.sdi.zone";
    allow-update { 127.0.0.1; };
	};
zone "con.sdi" {
	type master;
	file "/etc/bind/zones/con.sdi.zone";
    allow-update { 127.0.0.1; };
	};

3、同步域名zone配置到bind9

参考：https://help.aliyun.com/document_detail/102718.html

这里写入到shell，编写任务计划，批量执行同步即可。

`1`	`/5 * * * /bin/bash /opt/bind9/update.sh`

update.sh

#!/bin/bash
cd /opt/bind9/tools
./Zone_file_sync config.json
chown 101.101 /opt/bind9/data/bind/etc/zones/*
docker exec bind9_bind_1 bash -c "rndc -c /etc/bind/rndc.conf freeze;rndc -c /etc/bind/rndc.conf reload;rndc -c /etc/bind/rndc.conf thaw"

配置文件tools/config.json

{
  "accessKeyId": "LIDD5ssssmGExzGsdfsY6sJrSqo",
  "accessKeySecret": "C5N1TTESt74KhSTsswSSSWiz2",
  "zone": [
    {
      "zoneName": "sd.com",
      "zoneId": "2a4dc4e0sdsfa5d36a3b88ab6482saf",
      "filePath": "/opt/bind9/data/bind/etc/zones/sd.com.zone"
    },
    {
      "zoneName": "bgt.sdi",
      "zoneId": "f842ca07ccsd6f35d9e294d55a0c900",
      "filePath": "/opt/bind9/data/bind/etc/zones/bgt.sdi.zone"
    },
    {
      "zoneName": "con.sdi",
      "zoneId": "beb4d911addsf2bd86425ds280e7bbf2",
      "filePath": "/opt/bind9/data/bind/etc/zones/con.sdi.zone"
    }
  ]
}

三、dnsmasq部署

1、安装配置dnsmasq

# yum -y install dnsmasq
# cat >> /etc/dnsmasq.conf << Tag
port=53
proxy-dnssec
no-hosts  #不加载本地/etc/hosts
no-negcache
dns-forward-max=2000
server=114.114.114.114 #指定上游dns服务器
server=223.5.5.5 #指定上游dns服务器
server=/sd.com/127.0.0.1#15353  #转发到指定dns指定端口
server=/bgt.sdi/127.0.0.1#15353
server=/con.sdi/127.0.0.1#15353
log-queries  #记录dns查询日志
log-facility=/var/log/dnsmasq/dnsmasq.log #指定日志路径
log-async=50
cache-size=100000
Tag
# systemctl  start dnsmasq
# systemctl  enable dnsmasq

2、配置dnsmasq日志轮训策略：

#cat >> /etc/logrotate.d/dnsmasq Tag
/var/log/dnsmasq/dnsmasq.log {
notifempty
daily
dateext
rotate 15
sharedscripts
postrotate
[ ! -f /var/run/dnsmasq.pid ] || kill -USR2 `cat /var/run/dnsmasq.pid`
endscript
}
Tag

测试执行

`1`	`logrotate -vf /etc/logrotate.conf`

四、新增一个新zone，需要做哪些操作？

bind和dnsmasq需要如下变更:

例如：新增test.com

1、/etc/dnsmasq.conf增加server=/test.com/127.0.0.1#15353

2、/opt/bind9/data/bind/etc/named.conf.local新增如下：

zone "test.com" {
    type master;
    file "/etc/bind/zones/test.com.zone";
    allow-update { 127.0.0.1; };
    forwarders {};
    };

五、k8s集群内部如何接入内部DNS

1、修改集群节点/etc/resolv.conf为内部DNS

1
2
3

options timeout:1 attempts:1 rotate
nameserver 192.168.1.211
nameserver 192.168.1.212

2、coredns对于无法解析的直接forward走

Corefile: |
  .:53 {
      errors
      health
      kubernetes cluster.local in-addr.arpa ip6.arpa {
         pods insecure
         upstream
         fallthrough in-addr.arpa ip6.arpa
      }
      prometheus :9153
      forward . /etc/resolv.conf
      cache 30
      loop
      reload
      loadbalance
  }

至此，整个内部DNS解析实现完成。

Git日常命令总结

wzdushu@gmail.com (wanzi) — Sat, 28 Jul 2018 17:22:42 +0800

Git全局设置：

1
2

git config --global user.name "wanzi"
git config --global user.email "iwz2099@163.com"

Git提交代码

git clone git@github.com:iwz2099/test.git
cd test
touch README.md
git add README.md
git commit -m "add README"
git push -u origin master
#上面命令将本地的master分支推送到远程origin分值，同时-u指定当前仓库的默认远程分支名为origin，后面就可以不加任何参数使用git push了

#包含本地分支都推送到origin主机
git push -u origin --all  

#如果本地是基于case_dev_wanzi分支开发,推送到远程case_dev分支
git push origin case_dev_wanzi:case_dev

Git查询和清理

git status   #查询当前分支状态信息
git log      #查看当前分支commit信息
git log -n3  #查询最近三次提交commit 
git log -p  -2  #查询每次提交的内容差异，只显示最近2条提交记录，
git log --stat  #查询每次提交的简历统计信息
git log --pretty=oneline #将每次提交的信息一行显示,oneline可以是short,full,fuller
git log --pretty=format:"%h - %an, %ar : %s"
git log --pretty=format:"%h %s" --graph  #ASCII字符串来形象地展示你的分支、合并历史
git reflog #显示所有分支所有操作信息(包括commit,reset和已经删除的commit)
git reflog #显示最近10条日志
git grep -n   wanzi  #搜索提交历史和工作目录
git grep --count   wanzi  #搜索显示次数
git clean  #移除没有忽略的未跟踪文件
git clean -d  #清理工作目录
git clean -d -n  #-n测试清理工作目录，实际未清理

Git分支操作：

git branch #查看当前分支
git branch -v #查看每个分支的最后一次提交
#基于远程master分支创建本地dev分支
git checkout -b dev  origin/master 

git branch --merged #查看哪些分支合并到当前分支
git branch --no-merged #查看哪些分支尚未合并到当前分支

#新开发一个功能，-b创建分支，并切换到新创建的分支上
git checkout -b dev-20180720-111111-wanzi
相当于：
git branch r-20180720-111111-wanzi
git checkout r-20180720-111111-wanzi

将开发后功能合并到Master主干
git checkout master
git merge  dev-20180720-111111-wanzi

Git合并操作

基于远程master新建分支issue54,基于该分支进行开发项目

1
2

git remote add origin git@github.com:iwz2099/test.git
git  checkout -b issue54  origin/master

功能开发完后向把开发后的功能合并到远程分支

git  fetch origin    #拉去差异信息
git  merge origin/master  #合并远程分支到当前项目
git  push origin master  #推送代码到远程分支

git  log --no-merges issue54..origin/master  #查看master哪些信息没有合并到issue54分支里。

Git tag操作

git tag   #列出当前项目tag信息
git tag -l 'wanzi-2018*'   #-l还可以只列出自己的分支
git tag  v1.8-20180720   #创建标签（一般临时用）
git tag -a  v1.8-20180720  -m 'wanzi version 1.8'   #-a创建tag，-m并添加说明，会存储tag信息
git  show  v1.8-20180720  #查看标签信息，这个时候可以对比下git tag -a和git tag差别
git push origin tag_name    #推送tag到远程仓库
git push origin  --tags      #一次性推送很多tag到远程仓库
git push origin :tag_name   #删除远程tag信息
git checkout -b   dev-20180720-111111-wanzi    v1.2.0  #基于某个分支新建一个tag版本
git branch -D  dev-20180720-123333-wanzi   #强制删除一个没有合并的分支

Git多人协作：

#A码农基于远程master新建分支feature1
git checkout -b feature1 origin/master

#B码农基于远程master新建分支feature11
git checkout -b feature11 origin/master

#A码农先开发完，并推送代码到远程服务的feature1分支,B码农后开发完，想把改过信息合并到feature1
git fetch origin
git merge origin/feature1
git push -u origin feature11:feature1

Git取消暂存区文件和取消文件修改

#代码git add到缓存区，并未commit提交，回滚代码
git reset HEAD .  或者
git reset HEAD a.txt
这个命令仅改变暂存区，并不改变工作区，这意味着在无任何其他操作的情况下，工作区中的实际文件同该命令运行之前无任何变化

git checkout --  .    #取消路径所有修改，回到上一个commit版本
git checkout -- a.txt #取消a.txt所有改动，回到上一个commit版本

Git回滚到上次提交版本

git log
git reset --hard  <commit_id>  #回退一次提交的commit id
git reset --hard HEAD^  #回退到上一版本 
git reset --hard HEAD^^ #回退到倒数第二版
git reset --hard HEAD~4 #回退到倒数第四版

git push origin HEAD --force # 强制提交一次，之前错误的提交就从远程仓库删除(拥有项目管理权限的时候一定要慎重)

Git回滚master代码到某个tag版本

基于release tag新建回滚临时分支，并将分支强制推送到远程master

`1`	`git checkout -b rollback_20180720 r-20180720-111225-wanzi`

gitlab的项目setting里master项目管理员取消master保护
强制推送rollback_20180720分支到远程master主干(这个过程会强制回退到r-20180720-111225-wanzi这个版本)

`1`	`git push origin rollback_20180720:master -f`

Git其他操作

提交信息写错，还没提交,修改提交信息

`1`	`git commit --amend --only -m 'fix: 修复一个bug' #修改提交信息`

提交用户名和邮箱写错了，还没提交,修改提交信息

`1`	`git commit --amend --author="wanzi <iwz2099@163.com>"`

Dockerfile多阶段构建

wzdushu@gmail.com (wanzi) — Mon, 02 Jul 2018 16:22:42 +0800

Docker多阶段构建理解:

构建镜像需要有一个基础镜像,后续操作就会基于该基础镜像构建
docker镜像文件里有层级概念,每执行一次RUN指令,镜像就会多一层,所以通过减少层级来减少镜像大小
多个from的时候,只有最后一个from的镜像才是镜像的根镜像

自己项目部署中多阶段构建示例, 这里基于golang基础镜像编译以后的二进制直接copy到基于alpine构建的最小镜像里:

FROM golang:1.12.7 as build
MAINTAINER wanzi <iwz2099@163.com>
 
# 编译配置相关
ARG NAME=gaia
ARG FLAGS=-tags=jsoniter
ARG GOOS=linux
ARG GOARCH=amd64
ARG PORT_TO_EXPOSE=10020
 
ENV GOPROXY https://mirrors.aliyun.com/goproxy/
ENV GO111MODULE on
 
WORKDIR /opt/gaia
COPY . .
RUN GOOS=$GOOS GOARCH=$GOARCH go build -mod vendor -ldflags="-s -w" -o $NAME $FLAGS
 
FROM alpine
WORKDIR /opt/gaia
COPY --from=build /opt/gaia/gaia .
RUN mkdir -p /opt/gaia/conf
VOLUME ["/opt/gaia/conf"]
 
CMD ["./gaia"]
EXPOSE $PORT_TO_EXPOSE

Dockerfile语法详情

wzdushu@gmail.com (wanzi) — Thu, 21 Jun 2018 16:22:42 +0800

FROM

指定构建镜像使用的基础镜像,FROM必须是Dockerfile中非注释行的第一个指令,如果本地没有指定的镜像，则会自动从Docker的公共库pull镜像下来。例子：

`1`	`FROM ubuntu:14.04 #继承ubuntu:14.04`

MAINTAINER

指定创建者信息

`1`	`MAINTAINER wanzi "iwz2099@163.com"`

ENV

设置环境变量，会被后续 RUN 指令使用，并在容器运行时保持。 ENV # 只能设置一个变量 ENV = … # 允许一次设置多个变量例子：

1
2

ENV LANG en_US.UTF-8
ENV LANG=en_US.UTF-8 LC_ALL=en_US.UTF-8

RUN

RUN 或 RUN [“executable”, “param1”, “param2”]。例子：

1
2

RUN yum -y install bind-utils
RUN ["/bin/bash", "-c", "yum -y install bind-utils"]

前者将在shell终端中运行命令,即 /bin/sh -c yum -y install bind-utils；后者则使用exec执行。指定使用其它终端可以通过第二种方式实现。每条RUN指令将在当前镜像基础上执行指定命令，并提交为新的镜像，后续的RUN都在之前RUN提交后的镜像为基础，镜像是分层的，可以通过一个镜像的任何一个历史提交点来创建，类似源码的版本控制。当命令较长时可以使用 \ 来换行。

COPY:

COPY 例子：

`1`	`COPY script/ /build/script/`

复制本地主机的（为Dockerfile所在目录的相对路径）到容器中的 ,当使用本地目录为源目录时，推荐使用 COPY。

ADD

ADD 例子：

1
2

ADD https://www.baidu.com/index.html   /var/www/html/
ADD ubuntu-xenial-core-cloudimg-amd64-root.tar.gz /

该命令将复制指定的到容器中的。其中可以是Dockerfile所在目录的一个相对路径；也可以是一个 URL(自动下载后复制到容器)；还可以是一个tar文件（自动解压为目录）。

VOLUME

1
2

VOLUME [ "/data" ]
VOLUME [ "/var/lib/redis", "/var/log/redis" ]

声明一个数据卷, 可用于挂载, []里面是路径，创建一个可以从本地主机或其他容器挂载的挂载点，一般用来存放数据库和需要保持的数据等。

USER

USER 镜像正在运行时设置的一个UID,RUN命令执行时的用户

CMD

支持三种格式 CMD [“executable”,“param1”,“param2”] 使用 exec 执行，推荐方式； CMD command param1 param2 在 /bin/sh 中执行，提供给需要交互的应用； CMD [“param1”,“param2”] 提供给 ENTRYPOINT 的默认参数；指定启动容器时执行的命令，每个 Dockerfile 只能有一条 CMD 命令。如果指定了多条命令，只有最后一条会被执行。

WORKDIR

指定RUN、CMD与ENTRYPOINT命令的工作目录例子:

`1`	`WORKDIR /opt/nodeapp`

ONBUILD

ONBUILD [INSTRUCTION] 配置当所创建的镜像作为其它新创建镜像的基础镜像时，所执行的操作指令。

例如:Dockerfile使用如下的内容创建了镜像image-A。

1
2

ONBUILD ADD . /app/src
ONBUILD RUN /usr/local/bin/python-build --dir /app/src

例如:如果基于 image-A 创建新的镜像时，新的Dockerfile中使用 FROM image-A指定基础镜像时，会自动执行 ONBUILD 指令内容，等价于在后面添加了两条指令。

FROM image-A
#Automatically run the following
ADD . /app/src
RUN /usr/local/bin/python-build --dir /app/src

使用 ONBUILD 指令的镜像，推荐在标签中注明，例如 ruby:1.9-onbuild。

ENTRYPOINT

配置容器启动后执行的命令，并且不可被docker run提供的参数覆盖，而CMD是可以被覆盖的。如果需要覆盖，则可以使用docker run –entrypoint选项。每个Dockerfile中只能有一个ENTRYPOINT，当指定多个时，只有最后一个生效。支持两种格式 ENTRYPOINT [ “nodejs”, “server.js” ] ENTRYPOINT command param1 param2（shell中执行）

EXPOSE

EXPOSE 告知服务器容器在运行时监听的端口,在启动容器时需要通过 -P，Docker 主机会自动分配一个端口转发到指定的端口。例子：

`1`	`EXPOSE 3000`

注意事项

尽量精简,不安装多余的软件包
编写.dockerignore 文件,排除一些目录和文件,语法类似于.gitignore
尽量选择 Docker官方提供镜像作为基础版本,减少镜像体积.
Dockerfile开头几行的指令应当固定下来,不建议频繁更改,有效利用缓存.
多条RUN命令使用’'连接,有利于理解且方便维护.
COPY与ADD优先使用前者
通过-t标记构建镜像,有利于管理新创建的镜像.
不在Dockerfile中映射公有端口.
Push前先在本地运行,确保构建的镜像无误.

Docker基础命令

wzdushu@gmail.com (wanzi) — Wed, 20 Jun 2018 16:22:42 +0800

常用命令

docker info     #查看本地docker信息
docker search  openresty   #搜索远程镜像仓库
docker images      #查看当前系统镜像仓库镜像
docker ps          #查看当前正在运行容器
docker pull centos  #获取远程镜像，默认不指定tag,为latest     
docker container  run -p 8000:80 --rm -t -i centos:latest /bin/bash  #-p将容器端口映射80到节点node8000端口，--rm终止后删除容器适合临时调试，-t 选项让Docker分配一个伪终端（pseudo-tty）并绑定到容器的标准输入上， -i 则让容器的标准输入保持打开
docker container exec -i -t b5d7bad57561 /bin/bash #进入正在运行容器
docker rmi $(docker images -f "dangling=true" -q) #批量删除无效的none镜像

导入导出镜像

1
2
3

docker save -o centos7.tar centos  #导出镜像
docker load < centos7.tar   #导入镜像(标准流载入，包括原数据如标签)
docker load  --input  centos7.tar   #从tar包中读取镜像（非标准载入）

导入导出处容器

docker ps   #默认显示当前正在运行中的container
docker ps -a   #查看包括已经停止的所有容器
docker ps -l   #显示最新启动的一个容器（包括已停止的）

docker export 5a80afa126ba > centos7.5a80afa126ba.tar  #导出容器快照
docker import 5a80afa126ba > centos7.5a80afa126ba.tar  #从容器快照文件导入到镜像仓库

注：用户既可以使用 docker load 来导入镜像存储文件到本地镜像库，也可以使用 docker import 来导入一个容器快照到本地镜像库。这两者的区别在于容器快照文件将丢弃所有的历史记录和元数据信息（即仅保存容器当时的快照状态），而镜像存储文件将保存完整记录，体积也要大。此外，从容器快照文件导入时可以重新指定标签等元数据信息。

删除镜像或容器

docker rmi jdeathe/centos-ssh #删除本地镜像
or
docker image rm jdeathe/centos-ssh #删除本地镜像
docker rm dbd4d83097f5    #删除本地容器
or
docker container rm dbd4d83097f5 #删除本地容器

关闭重启容器

1
2

docker container kill dbd4d83097f5  #关闭正在运行的容器
docker container restart dbd4d83097f5  #重启容器

构建镜像

1
2

docker image build    .      #根据当前目录dockerfile构建镜像
docker image build   -t cm-navigation:v0.0.1 .  #根据当前目录dockerfile构建镜像，并打tag