info

爬虫--Scrapy之Downloader Middleware

人盡茶涼 提交于 2019-12-20 01:18:51
下载器中间件(Downloader Middleware) 下载器中间件是介于Scrapy的request/response处理的钩子框架。 是用于全局修改Scrapy request和response的一个轻量、底层的系统。 激活下载器中间件 要激活下载器中间件组件,将其加入到 DOWNLOADER_MIDDLEWARES 设置中。 该设置是一个字典(dict),键为中间件类的路径,值为其中间件的顺序(order)。 这里是一个例子: DOWNLOADER_MIDDLEWARES = { 'myproject.middlewares.CustomDownloaderMiddleware': 543, } DOWNLOADER_MIDDLEWARES 设置会与Scrapy定义的 DOWNLOADER_MIDDLEWARES_BASE 设置合并(但不是覆盖), 而后根据顺序(order)进行排序,最后得到启用中间件的有序列表: 第一个中间件是最靠近引擎的,最后一个中间件是最靠近下载器的。 关于如何分配中间件的顺序请查看 DOWNLOADER_MIDDLEWARES_BASE 设置,而后根据您想要放置中间件的位置选择一个值。 由于每个中间件执行不同的动作,您的中间件可能会依赖于之前(或者之后)执行的中间件,因此顺序是很重要的。 如果您想禁止内置的(在 DOWNLOADER

动态壁纸 (Wallpaper) 介绍

陌路散爱 提交于 2019-12-20 00:33:24
这几天闲来无事整自己折腾一个自己的动态桌面,看了一些书,论坛里面找了一些资料,但是大部分都是教你如果去实现一个动态的桌面,但是却没有告诉我们我想让用户来设置一些参数该怎么办?接下来我给大家揭晓: 开头还是卖萌整了一个生命周期图,让大家学习一下,呵呵。。。高手直接路过吧: 接下来,是种个函数的调用顺序,这个是我粘贴的,呵呵,不信自己可以去把这个函数都实现了,再打印一下。 当进入改壁纸的设置页面 但是还没有设置时 09-21 07:55:05.575: INFO/System.out(1337): service onCreate 09-21 07:55:05.614: INFO/System.out(1337): service onCreateEngine 09-21 07:55:05.634: INFO/System.out(1337): MyEngine 09-21 07:55:05.663: INFO/System.out(1337): onCreate 09-21 07:55:05.746: INFO/System.out(1337): onSurfaceCreated 09-21 07:55:05.753: INFO/System.out(1337): onSurfaceChanged 09-21 07:55:05.785: INFO/System.out(1337):

day01 作业,练习题

我的梦境 提交于 2019-12-19 23:54:23
第一天的程序作业 需求:一个登录验证程序,密码输错3次后将锁定用户 ; 程序实现流程: 1、程序运行,读取./user_list文件; 2、用户交互,输入用户名或q; 3、判断输入的用户名是否存在于./user_list中或者是否为字母q: 3.1 存在,则判断此用户的错误登录计数是否超过3次; 3.1.1 不超过3次,输入密码或字母q; 3.1.2 超过3次,返回第2步; 3.2 q,退出系统; 3.3 不存在,返回第2步; 4、判断输入的密码是否正确或者是否为字母q: 4.1 正确,打印“登录成功”,并将错误登录计数归零; 4.2 不正确,返回第3.1步; 4.3 q,退出系统,并记录登录错误次数; 5、将修改写入./user_list,程序结束。 user_list文件内容如下: cgy|123456|0cxp|123456|0cjc|123456|0lisi|123|0wangwu|123|0 第1版程序代码如下: 1 #!/usr/bin/python 2 # -*- coding:utf-8 -*- 3 # Author : Cai Guangyin 4 # 读取用户列表文件user_list数据 5 user_list = open('user_list','r') 6 data = user_list.read() 7 user_list.close() 8 9 #

Mysql数据库的索引和视图详解

感情迁移 提交于 2019-12-19 23:24:44
Mysql数据库的索引和视图详解 索引的概念 数据库的索引与书籍中的目录类似 在一本书中,无需阅读整本书,利用目录就可以快速查找所需信息 书中的目录是一个词语列表,其中注明了包含各个词的页码 数据库索引 在数据库中,索引数据库程序无需对整个表进行扫描,就可以在其中找到所需数据 数据库中的索引是某个表中一列或若干列的集合,以及物理标识这些值的数据页的逻辑指针清单 索引的作用 设置了合适的索引之后,数据库利用葛总快速的定位技术,能够大大加快查询速率 特别是当表很大时,或者查询涉及到多个表时,使用索引可使查询加快成千倍 可以降低数据库的IO成本,并且索引还可以降低数据库的排序成本 通过创建唯一索引保证数据表数据的唯一性 可以加快表与表之间的连接 在使用分组和排序时,可大大减少分组和排序时间 索引分类 普通索引 这是最基本的索引类型,而且它没有唯一性的限制 唯一性索引 索引的列的所有值都只能出现一次,即必须唯一 主键 主键是一种唯一性索引,但它必须指定为“PRIMARY KEY” 全文索引 全文索引可以在VARCHAR或者TEXT类型的列上创建 创建索引的原则依据 表的主键,外键必须有索引 数据量超过300行的表应该有索引 经常与其他表进行连接的表,在连接字段上应该建立索引 唯一性太差的字段不适合建立索引 更新太频繁的字段不适合创建索引 经常出现在Where字句中的字段,特别是大表的字段

Apache深度优化

给你一囗甜甜゛ 提交于 2019-12-19 19:19:54
博文结构 Apache的Gzip(deflate)功能 Apache的缓存设置 Apache禁止目录遍历 Apache隐藏版本目录 Apache日志分割 Apache配置防盗链 关于apache源码包安装参考 apache安装及工作模式 一.apache的Gzip(deflate)功能 开启 apache 的 Gzip(deflate)功能 gzip 可以极大的加速网站,有时压缩比率高到 80%,最少都有 40%以上,还是相当不错的。 在 Apache2 之后的版本,模块名不叫 gzip,而叫 mod_deflate 未使用 Gzip 开启使用 如果要使用gzip(deflate)的功能,一定要打开两个模块 注:进入主配置文件里面把前面#号去掉就可以 如图: [root@localhost ~]# vim /usr/local/http-2.4.23/conf/httpd.conf LoadModule deflate_module modules/mod_deflate.so //模块的作用:对传输到客户端的代码进行gzip压缩 LoadModule headers_module modules/mod_headers.so /模块的作用:告诉客户端的浏览器,传输的文件使用了gzip压缩。如果不开启的话,则无法正常显示网页内容 mod_deflate 模块检查及安装 [root

visual c#设计的多功能关机程序

人盡茶涼 提交于 2019-12-19 18:49:58
【推荐】2019 Java 开发者跳槽指南.pdf(吐血整理) >>> Visual C# 设计多功能关机程序 许多软件都有自动关机功能, 特别是在长时间 下载 的时候, 这个功能可是使你不用以守候在计算机前面, 而电脑却能按照 您事先的设定自动关闭。现在我们用 visual C# 来编写一个多功能的关机程序。该程序具有:定时关机、倒计时关机、关机 提醒、系统信息获取等四项功能 , 可设定关机时间精确到秒。并且让你很快掌握 Visual C# 中对 API 的操作程序。 一 . 设计关闭 Windows 窗体 界面的设计 新建一个标准工程,向工程中增加一个 Windows 窗体并向窗体中添加如下控件,并分别设置其属性: 控件名 类别 Text 控件名 类别 Text CheckBox1 CheckBox 自动关机 GrouPBox1 GroupBox 当前系统时间 CheckBox1 CheckBox 倒计时执行操作 GroupBox2 GroupBox 设定时间 CheckBox1 CheckBox 定时报警 TxtTime TextBox ButCancle Button 取消 SetupTime DateTimePicker ButReOpen Button 重新启动 SetupDate DateTimePicker ButClose Button 关机 Timer1

基于PaddlePaddle的图像分类-DenseNet

别等时光非礼了梦想. 提交于 2019-12-19 18:49:10
# 解压花朵数据集 !cd data / data2815 & & unzip - qo flower_photos . zip # !export FLAGS_fraction_of_gpu_memory_to_use=0.9 # !echo $FLAGS_fraction_of_gpu_memory_to_use # 预处理数据,将其转化为标准格式。同时将数据拆分成两份,以便训练和计算预估准确率 import codecs import os import random import shutil from PIL import Image train_ratio = 4.0 / 5 all_file_dir = 'data/data2815' class_list = [ c for c in os . listdir ( all_file_dir ) if os . path . isdir ( os . path . join ( all_file_dir , c ) ) and not c . endswith ( 'Set' ) and not c . startswith ( '.' ) ] class_list . sort ( ) print ( class_list ) train_image_dir = os . path . join ( all_file

MySQL死锁

旧巷老猫 提交于 2019-12-19 13:08:06
https://dev.mysql.com/doc/refman/5.7/en/innodb-deadlocks.html 什么是mysql的死锁? A deadlock is a situation where different transactions are unable to proceed because each holds a lock that the other needs. Because both transactions are waiting for a resource to become available, neither ever release the locks it holds. 简单来说可以提炼出2个词:环路等待( each holds a lock that the other needs )和不可剥夺( neither ever release the locks it holds )。 其实广泛意义上死锁的四个必要条件也可以直接简化为上述两个条件,剩下的互斥和请求保持条件只是两个众所周知的补充。 一、一个简单的死锁示例: 会话A: mysql> CREATE TABLE t (i INT) ENGINE = InnoDB; Query OK, 0 rows affected (1.07 sec) mysql> INSERT INTO

Object最高父类的方法应用 equals和toString

删除回忆录丶 提交于 2019-12-19 09:35:10
** 一/ equals方法 ** 最高父类’Object’中的方法’equals’可以对比对象之间的各种内容是否相同,比如判断两个对象的 内存地址(哈希值) / 属性 / 参数内容 是否相同一致. 但是在没有重写的情况下,Object的’equals’方法包含了对地址值的判断,如果地址值不相同就不再进行 属性 或 参数内容 的判断. 因此,如果需要判断两个对象之间的 属性 或 参数内容 是否一致,需要在对象所属的类(如infoObj和infoObjTwo相对于info)中通过自动生成代码来重写’equals’的方法. 自动生成代码的操作方式:快捷键 Alt+Insert → 单击’equelt() and hashCode()’ → 单击’Next’ → 单击’Next’ → 单击’Finish’ →(可选) 删除其中附带生成的的’hashCode()'方法 public boolean equals ( Object o ) { //对比两个对象的内存地址(哈希值)是否一致.默认为:假如否则直接返回结果并退出. if ( this == o ) return true ; //对比两个对象的属性(即是通过同一个类创建的)是否一致.默认为:假如否则直接返回结果并退出. if ( o == null || getClass ( ) != o . getClass ( ) )

MySQL高可用方案 MHA之一MHA安装

喜夏-厌秋 提交于 2019-12-19 05:38:26
MHA0.58安装 MHA(Master High Availability)由两部分组成:MHA Manager(管理节点)和MHA Node(数据节点)。 管理节点 mha4mysql-manager-0.58 mha4mysql-manager-0.58 下载地址: wget https://github.com/yoshinorim/mha4mysql-manager/releases/download/v0.58/mha4mysql-manager-0.58.tar.gz wget https://github.com/yoshinorim/mha4mysql-node/releases/download/v0.58/mha4mysql-node-0.58.tar.gz MHA Manager 可以单独部署在一台独立的机器上管理多个master-slave集群,也可以部署在一台slave节点上。MHA Manager会定时探测集群中的master节点,当master出现故障时, 它可以自动将最新数据的slave提升为新的master,然后将所有其他的slave重新指向新的master。整个故障转移过程对应用程序完全透明。 MHA Node 运行在每台MySQL服务器上,定时和 MHA Manager交互信息。 在MHA自动故障切换过程中