Cdn on 丸子有记, 记录生活、分享技术，专注于运维架构、运维开发(devops)。

开源Waf安全防护解决方案

wzdushu@gmail.com (wanzi) — Sun, 16 Jun 2024 16:22:42 +0800

最近网站加了CDN后，凌晨总是莫名其妙来一堆垃圾请求，有些是扫描、有些是大模型的UserAgent、有些是黑蜘蛛。

为了节省CDN费用，同时防止各种注入攻击，所以开始调研开源的Waf方案(自己的小破站够用就行)，如果是企业使用，还是建议使用商业版本，比如阿里云的DCDN、腾讯的EdgeOne或者海外的Cloudflare(海外业务首选)。

1、功能介绍

雷池（SafeLine）是长亭科技开源一个Waf解决方案，核心检测能力由智能语义分析算法驱动。

主要功能为网络安全网关，侧重于Waf，可以防御所有的 Web 攻击，例如 sql注入、代码注入、os命令注入、CRLF注入、ldap注入、xpath注入、rce、xss、xxe、ssrf、路径遍历、后门、暴力破解、http 洪水、机器人滥用等等。

大概看了下项目源码，API采用golang，核心waf功能采用tengine+Lua，类似openresty。

项目地址：https://github.com/chaitin/safeline

官网地址：https://waf-ce.chaitin.cn/

https://waf.chaitin.com/

备注：其他流行网关，比如Apisix，Kong，Openresty等

2、安装

下载离线镜像

由于前几天，很多国内的dockerhub镜像加速已经不可用了,所以这里只能离线了。

# mkdir /opt/safeline
# cd /opt/safeline
# wget https://demo.waf-ce.chaitin.cn/image.tar.gz
# cat image.tar.gz | gzip -d | docker load
# docker ps 
REPOSITORY                                                           TAG       IMAGE ID       CREATED         SIZE
chaitin/safeline-fvm                                                 latest    d9589d01be57   3 days ago      175MB
swr.cn-east-3.myhuaweicloud.com/chaitin-safeline/safeline-fvm        latest    d9589d01be57   3 days ago      175MB
chaitin/safeline-mgt                                                 latest    56ef6365e4c3   3 days ago      81.6MB
swr.cn-east-3.myhuaweicloud.com/chaitin-safeline/safeline-mgt        latest    56ef6365e4c3   3 days ago      81.6MB
chaitin/safeline-luigi                                               latest    1423e012eef0   3 days ago      31.8MB
swr.cn-east-3.myhuaweicloud.com/chaitin-safeline/safeline-luigi      latest    1423e012eef0   3 days ago      31.8MB
chaitin/safeline-mario                                               latest    758fd16c3d30   3 days ago      201MB
swr.cn-east-3.myhuaweicloud.com/chaitin-safeline/safeline-mario      latest    758fd16c3d30   3 days ago      201MB
chaitin/safeline-bridge                                              latest    94aaed2a1b5a   3 days ago      17.9MB
swr.cn-east-3.myhuaweicloud.com/chaitin-safeline/safeline-bridge     latest    94aaed2a1b5a   3 days ago      17.9MB
chaitin/safeline-tengine                                             latest    c67893333287   3 days ago      140MB
swr.cn-east-3.myhuaweicloud.com/chaitin-safeline/safeline-tengine    latest    c67893333287   3 days ago      140MB
chaitin/safeline-detector                                            latest    f5cff5cc7e35   3 days ago      179MB
swr.cn-east-3.myhuaweicloud.com/chaitin-safeline/safeline-detector   latest    f5cff5cc7e35   3 days ago      179MB
chaitin/safeline-chaos                                               latest    71b05b47e3fd   3 days ago      118MB
swr.cn-east-3.myhuaweicloud.com/chaitin-safeline/safeline-chaos      latest    71b05b47e3fd   3 days ago      118MB
chaitin/safeline-postgres                                            15.2      bf700010ce28   13 months ago   379MB
swr.cn-east-3.myhuaweicloud.com/chaitin-safeline/safeline-postgres   15.2      bf700010ce28   13 months ago   379MB

配置环境

# cd  /opt/safeline
# vim .env
SAFELINE_DIR=/opt/safeline
IMAGE_TAG=latest
MGT_PORT=9443
POSTGRES_PASSWORD=Pgssf201Waf
SUBNET_PREFIX=172.22.222
IMAGE_PREFIX=chaitin

SAFELINE_DIR: 雷池安装目录，这里配置/opt/safeline
IMAGE_TAG: 要安装的雷池版本，保持默认的 latest 即可
MGT_PORT: 雷池控制台的端口，保持默认的 9443 即可
POSTGRES_PASSWORD: 雷池所需数据库的初始化密码，请随机生成一个
SUBNET_PREFIX: 雷池内部网络的网段，保持默认的 172.22.222 即可
IMAGE_PREFIX: 雷池镜像源的前缀，保持默认的 chaitin 即可

docker-compose管理容器：

# cd "/opt/safeline"
# wget "https://waf-ce.chaitin.cn/release/latest/compose.yaml"  -O docker-compose.yaml
# docker-compose  up -d
# docker-compose ps 
Name                     Command                  State                            Ports
--------------------------------------------------------------------------------------------------------------------
safeline-bridge     /app/bridge serve -n unix  ...   Up
safeline-chaos      ./entrypoint.sh                  Up             9000/tcp
safeline-detector   /detector/entrypoint.sh          Up (healthy)   8000/tcp, 8001/tcp
safeline-fvm        ./fvm /app/config.yml            Up
safeline-luigi      /bin/sh -c /app/luigi            Up             80/tcp
safeline-mario      /mario/entrypoint.sh             Up (healthy)
safeline-mgt        /docker-entrypoint.sh /bin ...   Up (healthy)   0.0.0.0:9443->1443/tcp,:::9443->1443/tcp, 80/tcp
safeline-pg         docker-entrypoint.sh postg ...   Up (healthy)   5432/tcp
safeline-tengine    entrypoint.sh nginx -g dae ...   Up

第一次登录雷池需要初始化管理员账户，执行以下命令即可

`1`	`docker exec safeline-mgt resetadmin`

命令执行完成后会随机重置 admin 账户的密码，输出结果如下

[SafeLine] Initial username：admin
[SafeLine] Initial password：**********
[SafeLine] Done

到这里基本安装完成，只需要云端ACL开放9443端口访问即可

可以打开浏览器访问 https://:9443/ 来使用雷池控制台

3、网站配置

SSL证书配置：

支持自定义上传证书和申请免费证书两种。

添加站点：

添加站点，另外这里默认已经开启人机验证、身份验证、动态防护;需要注意的是这里添加上游服务器时，回源比较模糊，比如回源端口配置、协议等

代理配置：

安全防护设置：

这里主要配置频率限制(类似nginx limit)、自定义规则(根据http头信息设置规则)、语意分析(注入相关)等

限制访问频率: 底层逻辑和nginx下limit_req、limit_conn、limit_rate 差不多

自定义规则: 主要根据http头部信息做一些策略，和常用CDN的访问控制类似，但是这个功能更灵活.

语义分析: 主要是识别各种注入、机器人检测等

4、总结

通过两天测试，雷池基本满足我这个小破站的需求，但是它也有很多无法满足的地方。

比如：申请免费证书不支持泛域名、上游服务器回源协议模糊等

最后，放一张效果图.

参考： https://docs.waf-ce.chaitin.cn/zh/home

对CDN建设一些总结与思考

wzdushu@gmail.com (wanzi) — Wed, 07 Sep 2022 12:22:42 +0800

新冠病毒疫情反反复复，对于日常生活和工作造成了不小影响，对于我最近半年发生了太多事情，家中亲人病重，奶奶去世，有很多事儿要忙，所以博客也停更了半年;

面对经济不景气，各行各业开始了裁员，很多公司业务开始收缩，趁着最近闲暇，把以前CDN工作经历做一个简单总结。

一、大型网站架构剖析：

移动互联网时代，对于一个高并发的大型网站，架构的设计都不会太简单，我简单从如下几个方面概括一下：

1、客户端：

设备端主要电脑PC、移动手机、智能设备等

浏览器层主要有Chrome、微软IE/Edge、Safari、火狐Firefox、欧鹏Opera等，这里主要以浏览器内核为准统计。

协议层：

（1）普通网页：Http1.1/Http2/Quic
（2）流媒体：Rtmp/Http-FLV/HLS(m3u8)

2、CDN层：

对于中小型网站一般采用商用CDN即可

对于大型和特大型网站，建议采用自建和商用CDN，这个后边我会详细介绍。

在CDN领域，主要有两大部分组成，缓存层+调度层。

对于不同业务形态，一般分为静态加速、动态加速、下载加速、音频加速、视频加速、直播加速、P2P加速、安全加速。

3、静态服务：

前端业务形态一般分为H5、小程序、安卓、IOS，主要元素有HTML/CSS/JS

前端主流框架，VUE/React/Angular

一般服务器端使用Nginx或Openrestry搭建，设置SSL证书、过期时间、跨域配置等即可。

4、动态服务：

一般根据公司主力编程语言，一般为php/java/golang/python等

目前大部分公司都会把动态服务跑在docker或者k8s集群

对于动态层面，如果无法做到动静分离，必须要走CDN，建议配置策略回源，减少路由损失。

5、数据缓存层：

这部分主要采用Redis或Memcached 云原生生态链也有采用etcd或tikv做缓存的。

6、数据库服务器：

传统数据库主要有Mysql、MariaDB、PostgreSQL、SqlServer、Oracle、DB2关系型数据库。

对非关系型数据库（NoSQL），主要代表有Mongodb、Hbase、Cassandra（facebook）等。

随着对性能和海量数据要求越来越高，新型分布式数据库发展越来越好，比如Tidb(PingCAP开源)、Greenplum、DorisDB(百度开源)、Clickhouse等

7、分布式数据存储：

一般采用Ceph/HDFS/GlusterFS/GFS根据不同类型场景选择不同存储软件。

目前主流以Ceph和HDFS两大阵营为主，很多云厂商底层采用Ceph，主要是它支持块存储、对象存储、文件系统，同时openstack默认就走的这货，对k8s支持也比较完善；而HDFS主要满足海量数据存储，一般配合hadoop和Spark使用，对云原生支持不是很好。

二、自建CDN还是商用CDN？

1、选择CDN

是考虑自建CDN还是采用商用CDN，我觉得需要根据公司业务规模以及成本、场景来考量。

对于普通静态文件CDN加速，规模在1000万PV以下，不要考虑自建CDN，商用CDN即可满足，调度策略优先选择价格低廉、服务效果好的CDN；

对于大文件下载CDN加速，这类如果公司带宽不富裕，不建议自建CDN，商用CDN即可；

对于音频和点播加速，这类如果研发团队实力不够强，建议采用商用CDN，建议采用价格低、节点多、效果好的CDN；

对于直播加速，这类对体验效果要求较高，主要考量CDN节点网络质量，建议采用大型云CDN厂商。

对于动态加速、安全加速，优先考虑回源链路优秀、安全策略完善CDN厂商。

2、如何自建CDN？

对于服务器硬件，从硬盘、内存、CPU考虑采用性价比更高服务器；

对于机房带宽，首选运营商代理商，优选条件：机房出口大，链路优秀，有硬防护等；

对于缓存节点，选型一般为Nginx或Apache traffic server或者varnish、squid；

对于调度系统，首选第三方智能CDN，有一定研发实力可以考虑Bind View或Bind DLZ；

对于CDN高可用负载均衡，选型考虑LVS、Nginx、Keepalived、Haproxy

3、如何选择商用CDN？

对于国内提供CDN厂商，主要有阿里云、腾讯云、网宿、华为云、百度云、金山云、白山云、七牛云、蓝汛、又拍云、帝联、ucloud、青云等

对于海外提供CDN厂商，主要有AWS的cloudfront、Akamai、Google、Fastly、Limelight、Cloudflare、StackPath、CDNetworks等

无论国内还是海外，在选择CDN的时候可以参考如下指标进行选择：

（1）节点分布，如果CDN分布节点越多，越靠近用户，一般加速效果越好；
（2）首屏时间，用户第一次打开时间，这个指标越短，用户体验越好；
（3）节点延迟，用户侧到CDN节点延迟越短，说明网路链路效果越好；
（4）下载速度，用户下载文件速度很快，说明服务器性能和网络都很好；
（5）丢包率，用户侧丢包率很高，说明用户到CDN节点整体网络效果不好；
（6）回源率，从回源请求数比例和回源流量比例入手，越低越好，说明CDN帮你抗下了流量；
（7）命中率，命中率越高，说明CDN缓存资源越多，加速效果越好；
（8）平台功能是否丰富，基本功能是否完善，界面体验效果如何；
（9）运营团队响应速度，反馈后多久能给响应、处理；
（10）调度策略，观察服务商调度策略是否合理。

三、总结

对于最近几年，云计算时代来临，国内CDN行业也算来了一次大洗牌，原先CDN巨头网宿、蓝汛，目前已经被阿里云、腾讯云替代；曾经的帝联业务也越来越不行，快网被世纪互联收购，白山云转型边缘云计算，其他中型云厂商如金山云、ucloud、七牛云、又拍云正在逐步瓜分这个市场。

写在最后，未来CDN行业发展方向该如何，这个谁也不知道，根据目前这势头，各家厂商都在大搞边缘计算，随着5G、人工智能、容器技术迭代升级，CDN不仅仅只是一门技术那么简单了，它需要不断的和其他技术整合，最终应用到我们生活中。