pip install pymysql
三种连接数据库的方式
import pymysql# 方式一conn = pymysql.connect('localhost', 'root', 'root')# 方式二conn = pymysql.connect(host='127.0.0.1', port=3306, user='root', passwd='root', db='', charset='utf8')# 方式三config = {'host': '127.0.0.1','port': 3306,'user': 'root','passwd': 'root','charset': 'utf8'}conn = pymysql.connect(**config)
创建一个test数据库并进入
import pymysqldb = pymysql.connect("localhost", "root", "root", "test")# 使用 cursor() 方法创建一个游标对象 cursorcursor = db.cursor()cursor.execute('DROP DATABASE IF EXISTS test')cursor.execute('CREATE DATABASE IF NOT EXISTS test')conn.select_db('test')
创建一张user表
import pymysqldb = pymysql.connect("localhost", "root", "root", "test")cursor = db.cursor()cursor.execute('CREATE TABLE user(id int primary key,name varchar(30))')
import pymysqldb = pymysql.connect("localhost", "root", "root", "test")cursor = db.cursor()try:# 执行
爬虫的本质就是“抓取”第二方网站中有价值的数据,因此,每个网站都会或多或少地采用一些反爬虫技术来防范爬虫。比如前面介绍的通过 User-Agent 请求头验证是否为浏览器、使用 JavaScript 动态加载资源等,这些都是常规的反爬虫手段。
下面针对更强的反爬虫技术提供一些解决方案。
有些网站会使用 IP 地址验证进行反爬虫处理,程序会检查客户端的 IP 地址,如果发现同一个 IP 地址的客户端频繁地请求数据, 该网站就会判断该客户端是爬虫程序。
针对这种情况,我们可以让 Scrapy 不断地随机更换代理服务器的 IP 地址,这样就可以欺骗目标网站了。
为了让 Scrapy 能随机更换代理服务器,可以自定义一个下载中间件,让该下载中间件随机更换代理服务器即可。
Scrapy 随机更换代理服务器只要两步:
打开 Scrapy 项目下的 middlewares.py 文件,在该文件中增加定义如下类:
class RandomProxyMiddleware (object) :#动态设置代理服务器的IP 地址def process request (self, request, spider):# get_random_proxy() 函数随机返回代理服务器的IP 地址和端口request.meta["proxy"] = get_random_proxy()
#配置自定义的下载中间件DOWNLOADER MIDDLEWARES = {'ZhipinSpider.middlewares.RandomProxyMiddleware': 543,}
有些网站可以通过跟踪 Cooki
Faceswap是一款实用的视频换脸软件,效率高几乎无瑕疵,不过使用此软件需要一定的Python编程基础,方可轻松操作这款视频换脸软件。Faceswap最新版本不容易出错,最新的GUI图形界面更是非常好用。
Faceswap软件
使用方法:
0.我们先启动GUI界面
左上角5个标签,分别是Extract – 提取头像,Train – 训练, Convert – 转换,后面的effmpeg和sort有bug,我们暂时不用。
下载的压缩包里面已经包含workspace文件夹。在workspace有视频素材,我们从这里开始演示一次,下面我们来看怎么使用。
data_dst 目标文件夹,分解data_dst视频后的图片,将放在这里,也可以自己定义目录
data_src目标文件夹,分解data_src视频后的图片,将放在这里,也可以自己定义目录
model, 训练模型,将保存在这里,也可以自己定义目录
data_dst.mp4,目标视频文件
data_src.mp4,源视频文件
这里,我们要将data_src.mp4里面的钢铁侠脸部表情,覆盖到data_dst.mp4里面去
将视频分解完成之后,我们在workspace\data_src文件夹里面可以看到很多图片;
同样的,我们把目录视频分解成图片,双击y)分解dst视频成图片.bat,完成目录视频的分解
图片分解出来之后,需要提取头像,点击我们刚才启动的GUI窗口,选择左上角的Extract标签
Input Dir: 你要提取头像的图片目录,我们选择workspace\data_src这个文件夹
Output Dir: 提取到的头像保存目录,我们选择workspace\data_src\aligned这个文件夹
Detector: 提取的方法,我们选择all(如果太慢,就选hog)
其他的我们保持默认就行,选好了之后,就点击左下角的Extract,开始提取
4.src图片提取完头像之后,我们需要对dst图片提取头像,同样在Extract这个标签里面
将Input