标签: python

表添加唯一主键

 为表添加触发器，触发器为BEFORE
set new.name_id=upper(replace(uuid(),'-',''))

刘欢原创2022/8/12小于 1 分钟

python常用类库

常用类库

Python 资源大全中文版

awesome-python 是 vinta 发起维护的 Python 资源列表，内容包括：Web 框架、网络爬虫、网络内容提取、模板引擎、数据库、数据可视化、图片处理、文本处理、自然语言处理、机器学习、日志、代码分析等。由「开源前哨」和「Python开发者」微信公号团队维护更新。

刘欢原创2022/8/3大约 59 分钟

D-Tale可视化

安装

pip install dtale

使用

import dtale

dtale.show(df)

刘欢原创2022/6/15小于 1 分钟

linux后台运行python

linux计划任务调用python脚本

#.bash_profile

# Get the aliases and functions
if [ -f ~/.bashrc ]; then
        . ~/.bashrc
fi

# User specific environment and startup programs

PATH=.:$PATH:$HOME/bin

export PATH

alias ls='ls -CF'
PS1='BJGC:$PWD> '; export PS1
umask 0000
set -o vi

TERM=vt220;  export TERM
EDITOR=vi;   export EDITOR
TEMP=/tmp;   export TEMP
TMPDIR=/tmp; export TMPDIR


# +--------------------------+
# | SETUP ORACLE ENVIRONMENT |
# +--------------------------+
TMP=/tmp
TMPDIR=/tmp
export TMP TMPDIR
export EDITOR=vi
export ORACLE_HOME=/opt/oracle/product/11.2.0/dbhome_1
export ORACLE_BASE=/opt/oracle
export ORACLE_SID=bjgc
export NLS_LANG=AMERICAN_AMERICA.ZHS16GBK
export TNS_ADMIN=$ORACLE_HOME/network/admin
LD_LIBRARY_PATH=$ORACLE_HOME/lib:/lib:/usr/lib:$LD_LIBRARY_PATH
export PATH=$ORACLE_HOME/bin:$PATH
export ORACLE_BASE ORACLE_HOME ORACLE_SID LD_LIBRARY_PATH THREADS_FLAG ORACLE_OEM_JAVARUNTIME PATH NLS_LANG
export DISPLAY=10.40.50.190:0.0
export TEMP=/tmp
export TMPDIR=/tmp
export EDITOR=vi

uptime
#===============SGWriteStart-20160910============
stty erase ^h
#===============SGWriteEnd-20160910==============
#. ckjxc
echo "start"
cd /wwwroot/PythonService
执行的脚本
#sqlplus report/report @/home/Service/Script/pjc_pro.sh exit
echo "end"

刘欢原创2022/6/15小于 1 分钟

解析xml

文档

xml文件

<?xml version="1.0" encoding="UTF-8"?>
<sites>
    <site version="3.0"  v1="2">
        <name>RUNOOB</name>
        <url>www.runoob.com</url>
    </site>
    <site>
        <name>Google</name>
        <url>www.google.com</url>
    </site>
    <site>
        <name>Facebook</name>
        <url>www.facebook.com</url>
    </site>
</sites>

刘欢原创2022/6/15小于 1 分钟

scrapy爬虫

帮助文档

安装

pip install Scrapy

创建项目

scrapy startproject tutorial

运行

scrapy crawl quotes

刘欢原创2022/6/15大约 3 分钟

文件操作

递归检测文件(通配符)

import glob
print(glob.glob(r'/Users/liuhuan/Downloads/**/*.py',recursive=True))

刘欢原创2022/6/14小于 1 分钟

多线程

下载文件显示进度条

# -*- coding: UTF-8 -*-
import requests
from tqdm import tqdm

def download(url: str, fname: str):
    # 用流stream的方式获取url的数据
    resp = requests.get(url, stream=True)
    # 拿到文件的长度，并把total初始化为0
    total = int(resp.headers.get('content-length', 0))
    # 打开当前目录的fname文件(名字你来传入)
    # 初始化tqdm，传入总数，文件名等数据，接着就是写入，更新等操作了
    with open(fname, 'wb') as file, tqdm(
        desc=fname,
        total=total,
        unit='iB',
        unit_scale=True,
        unit_divisor=1024,
    ) as bar:
        for data in resp.iter_content(chunk_size=1024):
            size = file.write(data)
            bar.update(size)


if __name__ == "__main__":
    # 下载文件，并传入文件名
    url = "https://autoupdate.termius.com/windows/Termius.exe"
    download("https://autoupdate.termius.com/windows/Termius.exe", "haha.exe")

刘欢原创2022/6/14大约 2 分钟

多线程

多核并行等待

#! coding=utf-8
from multiprocessing import cpu_count
from concurrent.futures import ProcessPoolExecutor ,wait
print(cpu_count())
def play(pari):
    time.sleep(2)
    print(pari)
    return {'url':'url'}
def doneFunc(obj):
'''
回调函数
'''
    res=obj.result();
    # 获取返回的内容
    print(res)
    print('done')
import time
if __name__ == '__main__':
    start = time.time()
    # result = ProcessPoolExecutor().map(play, range(1,100))
    futures = {}
    with ProcessPoolExecutor() as p:
        for i in range(30):
            job=p.submit(play,i).add_done_callback(doneFunc)
            futures[job]=i
    # 等待执行
    # wait(futures)
    p.shutdown(True)
    end = time.time()

    print("耗时:", end - start)
    print(123)

刘欢原创2022/6/14大约 4 分钟

多线程

工厂模式

# -*- coding: UTF-8 -*-
class demo1(object):
    def p(self):
        print(1)
class demo2(object):
    pass
class demo3(object):
    pass
class demo(object):
    def create(self,type:str):
        if type == "1":
            return demo1()
        elif type == "2":
            return demo2()
        else:
            return demo3()

if __name__ == '__main__':
    d=demo()
    c=d.create("1")
    c.p()

刘欢原创2022/6/14小于 1 分钟