11 2020-03 Python Scrapy scrapy爬虫框架setting模块解析 平时写爬虫的时候并不需要设置setting里所有的参数,今天心血来潮,花了点时间查了一下setting模块创建后自动写入的所有参数的含义,记录一下。 模块相关说明信息 # -*- codi... 阅读全文 2020年03月11日 20:22:35 周三 2020-03-11 周三 73 0 0
11 2020-03 PHP 正则表达式(括号)、[中括号]、{大括号}的区别小结 正则表达式的() [] {}有不同的意思。 () 是为了提取匹配的字符串。表达式中有几个()就有几个相应的匹配字符串。 (\s*)表示连续空格的字符串。 []是定义匹配的字符范围。比如 [a-zA-Z0-9] 表示相应位置... 阅读全文 2020年03月11日 13:58:39 周三 2020-03-11 周三 67 0 0
11 2020-03 Python python 正则 import re # 程序功能:要将所有<h1>..</h1>中的文本替换掉 key = r"<html><body><h1>hello world</h1><h1>hello wjs</h1>&... 阅读全文 2020年03月11日 13:33:34 周三 2020-03-11 周三 79 0 0
10 2020-03 Python Python 10进制与任意进制之间相互转换(最大为62进制) class tool: baseList = '0123456789ABCDEFGHIJKLMNOPQRSTUVWXYZabcdefghijklmnopqrstuvwxyz' def changeBase(self,n,b): x,y = divmod(n,b) if x... 阅读全文 2020年03月10日 22:02:16 周二 2020-03-10 周二 61 0 0
10 2020-03 Python Scrapy Scrapy 常用函数 import os python os.path.basename()方法 返回path最后的文件名。如果path以/或\结尾,那么就会返回空值。即os.path.split(path)的第二个元素。 import os path = '/Users/beazley/Data/data.csv'... 阅读全文 2020年03月10日 21:59:52 周二 2020-03-10 周二 67 0 0
09 2020-03 Python Scrapy Scrapy注意事项 如果在windows系统下,提示这个错误ModuleNotFoundError: No module named 'win32api',那么使用以下命令可以解决:pip install pypiwin32。 阅读全文 2020年03月09日 12:10:44 周一 2020-03-09 周一 61 0 0
07 2020-03 Python Scrapy Scrapy框架流程图解析 接下来就放一张scrapy的架构图喽~(绿线是数据流向) 简单叙述一下每层图的含义吧: Spiders(爬虫):它负责处理所有Responses,从中分析提取数据,获取Item字段需要的数据,并将需要跟进的URL提交给引擎,... 阅读全文 2020年03月07日 22:28:07 周六 2020-03-07 周六 69 0 1
03 2020-03 PHP PHP禁止浏览器缓存 一、对于静态页(就是通过meta标签来设置): <!--expires用于设定网页的过期时间,一旦过期就必须从服务器上重新加载.时间必须使用GMT格式--> <meta http-equiv="ex... 阅读全文 2020年03月03日 19:35:25 周二 2020-03-03 周二 61 0 0
02 2020-03 Nginx nginx 常用命令 一、简明nginx常用命令 1. 启动 Nginx poechant@ubuntu:sudo ./sbin/nginx 1 poechant@ubuntu:sudo ./sbin/nginx 2. 停... 阅读全文 2020年03月02日 15:44:13 周一 2020-03-02 周一 68 0 0