Python on 丸子有记, 记录生活、分享技术，专注于运维架构、运维开发(devops)。

Python脚本生成一个sitemap网站地图

wzdushu@gmail.com (wanzi) — Sun, 10 Mar 2024 10:22:42 +0800

最近在帮朋友研究一个CMS站群，发现CMS没有sitemap功能，服务器上已经安装了python3，所以只能临时用脚本生成一个，这里记录一下。

脚本内容：

#!/usr/bin/env python

import datetime
import mysql.connector
import xml.etree.cElementTree as ET
from lxml import etree

# 数据库连接参数
config = {
    'host': '10.80.0.3', # 例如：'192.168.1.100'
    'user': 'wnote_r',
    'password': 'Wnote#Pss2024',
    'database': 'wnote',
    'raise_on_warnings': True
}

#sitemap路径
sdir = '/opt/wwwroot/'

def mselect(site, n1, n2):
    # 连接数据库
    cnx = mysql.connector.connect(**config)
    cursor = cnx.cursor()

    # 获取文章ID
    article_ids = []
    tag_ids = []

    # 查询文章表中的所有记录
    query1 = "select id from article order by newstime desc  limit {};".format(n1)
    cursor.execute(query1)
    for row in cursor:
        article_ids.append(row[0])

    # 查询所有标签
    query2 = "select id from phome_ecms_book order by newstime desc limit {};".format(n2)
    cursor.execute(query2)
    for row in cursor:
        tag_ids.append(row[0])

    # 生成URL列表
    article_urls = [f"https://{site}/article/{id}.html" for id in article_ids]
    tag_urls = [f"https://{site}/tags/{id}.html" for id in tag_ids]

    # 合并URL列表
    urls = article_urls + tag_urls

    # 创建Sitemap的XML树结构
    root = ET.Element('urlset',
                  {'xmlns': 'http://www.sitemaps.org/schemas/sitemap/0.9',
                   'xmlns:xsi': 'http://www.w3.org/2001/XMLSchema-instance',
                   'xmlns:mobile': 'http://www.baidu.com/schemas/sitemap-mobile/1/',
                   'xsi:schemaLocation': 'http://www.sitemaps.org/schemas/sitemap/0.9 http://www.sitemaps.org/schemas/sitemap/0.9/sitemap.xsd'})

    # 生成sitemap文件,构建URL元素
    for url in urls:
        s_url = ET.SubElement(root, 'url')
        s_loc = ET.SubElement(s_url, 'loc')
        s_loc.text = url
        s_lastmod = ET.SubElement(s_url, 'lastmod')
        s_lastmod.text = datetime.now().strftime('%Y-%m-%dT%H:%M:%S+08:00')
        s_changefreq = ET.SubElement(s_url, 'changefreq')
        s_changefreq.text = 'always'
        s_priority = ET.SubElement(s_url, 'priority')
        s_priority.text = '0.95'


    # 生成XML字符串
    sitemap_str = ET.tostring(root, encoding='unicode')

    # 保存到文件
    with open(spfile, "w", encoding="utf-8") as f:
        f.write(sitemap_str)

    # 关闭数据库连接
    cursor.close()
    cnx.close()

with open('sites.list', 'r')  as files:
    for tmp in files:
        site = tmp.strip().split()[0]
        spfile = sdir + site + '/' + tmp.strip().split()[1]
        n1 = tmp.strip().split()[2]
        n2 = tmp.strip().split()[3]
        print(site, spfile)
        mselect(site, n1, n2)

其中sites.list内容为：

1
2

www.xxxxx.com 100 120
www.xxxxx.com 200 300

总结

其实，Python脚本写起来比较便捷，如果对性能有要求的话，还是用Golang比较好一些。

Linux下操作百度云盘的利器

wzdushu@gmail.com (wanzi) — Mon, 04 Dec 2023 16:22:42 +0800

最近在给公司SAAS产品在客户侧进行私有化部署，由于客户现场网络无法上网，只能通过Linux跳板机将数据传输过去，除了k8s离线部署程序、镜像外，还有几百G已经切好的视频数据，所以只能通过百度网盘传输了，试想一下能不能通过命令行同步百度云盘数据呢，谷歌一搜还真有，下面就简单介绍一下bypy的使用。

bypy介绍

bypy是一个百度云/百度网盘的Python客户端，主要用于linux下操作百度云盘，提供文件列表、下载、上传、比较、向上同步、向下同步等操作，主要特点：支持Unicode/中文；失败重试；递归上传/下载；目录比较; 哈希缓存。

另外，由于百度PCS API权限限制，程序只能存取百度云端/apps/bypy目录下面的文件和目录。

安装bypy

安装pip

curl -O https://bootstrap.pypa.io/pip/2.7/get-pip.py
curl -O https://bootstrap.pypa.io/pip/3.6/get-pip.py
python get-pip.py

安装bypy

pip install bypy

python -m bypy info #生成授权码，然后打开浏览器， 进行授权，并赋值授权码

将授权码复制粘贴到终端，回车，即完成。

bypy命令详解

$ bypy help command #查看命令帮助
$ bypy info  #查看百度云盘空间
Quota: 13.294TB
Used: 1.917TB
$ bypy list #查看百度云盘“我的应用数据”
/apps/bypy ($t $f $s $m $d):
D course 0 2023-12-04, 15:21:41
D k8s 0 2023-12-04, 15:47:47

$ bypy downdir k8s #直接下载bypy目录下k8s
$ bypy syncup #把当前目录同步到云盘
$ bypy upload #把当前目录同步到云盘
$ bypy syncdown #把云盘内容同步到当前目录
$ bypy downdir / #把云盘内容同步到当前目录

$ bypy compare #比较本地当前目录和云盘（程序的）根目录
$ bypy -v #运行时添加-v参数，会显示进度详情。
$ bypy -d #运行时添加-d，会显示一些调试信息
$ bypy -ddd #显示更多http通讯信息

总结

这次对于使用bypy算告一段落，其实在调研的过程中也有很多基于baidupcs实现的工具，不过后来这些项目都不怎么维护了，所以也希望bypy能够坚持下去。

参考：https://github.com/houtianze/bypy

python编码规范

wzdushu@gmail.com (wanzi) — Sat, 20 Jan 2018 10:22:42 +0800

编码声明

默认不设置为ASCII,可设置为

`1`	`# coding=<encoding name>`

或

1
2

#!/usr/bin/python
# -*- coding: <encoding name> -*-

或

1
2

#!/usr/bin/python
# coding: utf-8

代码编排

四个空格一个缩进，不建议使用tab，更不建议混合使用tab和空格
单行最长79字符，换行可使用反斜杠，最好使用括号
类和同级别函数之间空2行，类中方法之间空一行
模块书写顺序: 模块说明和docstring，import，globals，constants，其他；其中import又按标准、第三方、自己编写顺序摆放，同时不建议书写在一行
操作符左右各加一个空格，函数默认参数使用的赋值符左右省略空格，各种右括号前不要加空格;
注释必须使用英文，最好是完整的句子，首字母大写，句后要有结束符，结束符后跟两个空格，开始下一句。如果是短语，可以省略结束符。
所有的共有模块、函数、类、方法写docstrings；非共有的没有必要，但是可以写注释（在def的下一行）

命名规范

尽量单独使用小写字母‘l’，大写字母‘O’等容易混淆的字母。
模块命名尽量短小，使用全部小写的方式，可以使用下划线。
包命名尽量短小，使用全部小写的方式，不可以使用下划线。
类的命名使用CapWords的方式，模块内部使用的类采用_CapWords的方式。
异常命名使用CapWords+Error后缀的方式。
全局变量尽量只在模块内有效，类似C语言中的static。实现方法有两种，一是__all__机制;二是前缀一个下划线。
函数命名使用全部小写的方式，可以使用下划线。
常量命名使用全部大写的方式，可以使用下划线。
类的属性（方法和变量）命名使用全部小写的方式，可以使用下划线。
类的属性有3种作用域public、non-public和subclass API，可以理解成C++中的public、private、protected，non-public属性前，前缀一条下划线。
类的属性若与关键字名字冲突，后缀一下划线，尽量不要使用缩略等其他方式。
为避免与子类属性命名冲突，在类的一些属性前，前缀两条下划线。比如：类Foo中声明__a,访问时，只能通过Foo._Foo__a，避免歧义。如果子类也叫Foo，那就无能为力了。
类的方法第一个参数必须是self，而静态方法第一个参数必须是cls

代码检查工具

`1`	`pip install flake8`

安装flake8成功后，打开VScode，文件->首选项->用户设置，在settings.json文件中输入"python.linting.flake8Enabled": true

自动格式化工具

`1`	`pip install yapf`

安装yapf成功后，打开VScode，文件->首选项->用户设置，在settings.json文件中输入"python.formatting.provider": “yapf”

项目开发注意事项：

在开始一个空白项目的时候需要注意如下几条：

README.md这里写你项目的简介，quick start等信息，虽然distutils要求这个文件没有后缀名，但github上如果后缀是.md的话可以直接转换成html显示。
ChangeLog.txt该文件存放程序各版本的变更信息，也有一定的格式，参考web.py的ChangeLog.txt
LICENES.txt 这里存放你项目使用的协议，不要编写自己的协议。
requirements.txt 如果你的项目需要依赖其它的python第三方库，在这里一行一个写出来，可能pip install的时候能自动帮你安装
setup.py安装脚本，后面详细介绍
docs 里面存放你的项目文档，如概要设计，详细设计，维护文档，pydoc自动生成的文档等，强烈推荐大家使用MarkDown格式编写文档
src 这个目录里存放项目模块的主要代码，尽量不要把模块目录直接放到根目录，模块代码目录可以在setup.py里指定的
tests 这个目录存放所有单元测试，性能测试脚本，单元测试的文件确保以test_做前缀，这样distutils会自动打包这些文件，并且用python -m unittest discover -s ./ -p ’test_*.py’ -v 可以直接执行这些测试

参考：

https://www.python.org/dev/peps/pep-0008/ https://wiki.woodpecker.org.cn/moin/PythonCodingRule