last

scrapy爬虫之爬取豆瓣小说简介(七)

浪尽此生 提交于 2019-11-30 01:18:19
一、概述 1.1、通过pycharm创建一个scrapy工程 1、参考下面的博客创建scrapy工程 pycharm创建scrapy项目 2、项目目录如下 3、文件说明 scrapy.cfg :项目的配置信息,主要为Scrapy命令行工具提供一个基础的配置信息。(真正爬虫相关的配置信息在settings.py文件中) items.py : 设置数据存储模板,用于结构化数据,如:Django的Model pipelines : 数据处理行为,如:一般结构化的数据持久化 settings.py : 配置文件,如:递归的层数、并发数,延迟下载等 spiders : 爬虫目录,如:创建文件,编写爬虫规则 1.2、编写工程启动类 1、自动生成网站爬虫spider类 使用scrapy genspider 命令生成爬取豆瓣网站的爬虫类 scrapy genspider douban https : // book . douban . com / 示例: name : 用于区别Spider。 该名字必须是唯一的,您不可以为不同的Spider设定相同的名字。 start_urls : 包含了Spider在启动时进行爬取的url列表。 因此,第一个被获取到的页面将是其中之一。 后续的URL则从初始的URL获取到的数据中提取。 parse() :是spider的一个方法。 被调用时

Pytorch Sampler详解

∥☆過路亽.° 提交于 2019-11-30 00:02:12
关于为什么要用Sampler可以阅读 一文弄懂Pytorch的DataLoader, DataSet, Sampler之间的关系 。 本文我们会从源代码的角度了解Sampler。 Sampler 首先需要知道的是所有的采样器都继承自 Sampler 这个类,如下: 可以看到主要有三种方法:分别是: __init__ : 这个很好理解,就是初始化 __iter__ : 这个是用来产生迭代索引值的,也就是指定每个step需要读取哪些数据 __len__ : 这个是用来返回每次迭代器的长度 class Sampler(object): r"""Base class for all Samplers. Every Sampler subclass has to provide an __iter__ method, providing a way to iterate over indices of dataset elements, and a __len__ method that returns the length of the returned iterators. """ # 一个 迭代器 基类 def __init__(self, data_source): pass def __iter__(self): raise NotImplementedError def _

151. Reverse Words in a String (M)

江枫思渺然 提交于 2019-11-29 23:56:50
Reverse Words in a String (M) Given an input string, reverse the string word by word. Example 1: Input: "the sky is blue" Output: "blue is sky the" Example 2: Input: " hello world! " Output: "world! hello" Explanation: Your reversed string should not contain leading or trailing spaces. Example 3: Input: "a good example" Output: "example good a" Explanation: You need to reduce multiple spaces between two words to a single space in the reversed string. Note: A word is defined as a sequence of non-space characters. Input string may contain leading or trailing spaces. However, your reversed string

InvalidArgumentError: input and filter must have the same depth: 240 vs 128

和自甴很熟 提交于 2019-11-29 23:43:03
我得解决办法: 1.Linux系统,将 ~/.keras/keras.json中的 "image_data_format": "channels_first" 将channels_first改为channes_last 2.Windows系统中,C:\user\xxx\.keras\kera.json "image_data_format": "channels_first" 将channels_first改为channes_last 来源: CSDN 作者: 转悲为喜 链接: https://blog.csdn.net/weixin_42631693/article/details/102650442

keras 维度不对等问题

蓝咒 提交于 2019-11-29 23:40:27
1.在windows下面找到keras的配置文件, 修改channel_last 或者channel_first C:\Users\Administrator\.keras\keras.json 2. .在linux下面找到keras的配置文件, 修改channel_last 或者channel_first /home/.keras/keras.json 来源: CSDN 作者: 页页读 链接: https://blog.csdn.net/u014386899/article/details/95931766

对K.image_data_format() == 'channels_first' 的理解

旧街凉风 提交于 2019-11-29 23:40:17
我们在学习keras经常会看到下面这样的代码段: 查阅官方文档可以知道: 我们知道彩色图像一般会有Width, Height, Channels,而“channels_first”或“channels_last”,则代表数据的通道维的位置。该参数是 Keras 1.x中的image_dim_ordering ,“channels_last”对应原本的“tf”,“channels_first”对应原本的“th”。以128x128x128的数据为例,“channels_first”应将数据组织为(3,128,128,128),而“channels_last”应将数据组织为(128,128,128,3)。该参数的默认值是 ~/.keras/keras.json 中设置的值,若从未设置过,则为“channels_last”。 来源: CSDN 作者: sunidol 链接: https://blog.csdn.net/my_kingdom/article/details/84316000

数字图像处理中的 channels_first与channels_last

断了今生、忘了曾经 提交于 2019-11-29 23:39:47
在深度学习中,不同的框架可能对应不同的影像表达,在数据处理时应做相应的转换。 在表示一组彩色图片的问题上,Theano和Caffe使用 (样本数,通道数,行或称为高,列或称为宽) 通道在前的方式,称为channels_first;而TensorFlow使用 (样本数,行或称为高,列或称为宽,通道数) 通道在后的方式,称为channels_last。 使用numpy的moveaxis函数 x_train=gdal_array.LoadFile(label_src+'3.tif') x_train=np.moveaxis(x_train,0,2) #使用这种方式转为channel last 来源: CSDN 作者: niewzh 链接: https://blog.csdn.net/ScapeD/article/details/89305102

10.Nginx Rewrite重写

ぐ巨炮叔叔 提交于 2019-11-29 22:03:23
.Rewrite基本概述 1.什么是rewrite Rewrite主要实现url地址重写, 以及地址重定向,就是将用户请求web服务器的地址重新定向到其他URL的过程。 2.Rewrite使用场景 1.地址跳转,用户访问www.xuliangwei.com/class这个URL时,将其定向至一个新的域名class.xuliangwei.com 2.协议跳转,用户通过http协议请求网站时,将其重新跳转至https协议方式 3.伪静态,将动态页面显示为静态页面方式的一种技术, 便于搜索引擎的录入, 同时减少动态URL地址对外暴露过多的参数, 提升更高的安全性。 3.搜索引擎,SEO优化依赖于url路径, 好记的url便于支持搜索引擎录入 3.Rewrite配置示例 #rewrite表达式可以应用在server,location, if标签下 Syntax: rewrite regex replacement [flag]; Default: -- Context: server, location, if #用于切换维护页面场景 #rewrite ^(.*)$ /page/wh.html break; 2.Rewrite标记Flag rewrite指令根据表达式来重定向URI,或者修改URI字符串。 每行rewrite指令最后跟一个flag标记,支持的flag标记有如下表格所示:

MySQL索引原理及SQL优化

こ雲淡風輕ζ 提交于 2019-11-29 20:51:32
目录 索引(Index) 索引的原理 b+树 MySQL如何使用索引 如何优化 索引虽好,不可滥用 如何验证索引使用情况? SQL优化 explain查询执行计划 id select_type table type possible_keys key key_len ref rows Extra 优化数据库结构 优化数据大小 优化数据类型 索引(Index) MySQL官方对索引的定义为:索引(Index)是帮助MySQL高效获取数据的数据结构。索引的建立对于MySQL的高效运行是很重要的,索引可以大大提高MySQL的检索速度。 拿汉语字典的目录页(索引)打比方,我们可以按拼音、笔画、偏旁部首等排序的目录(索引)快速查找到需要的字。 索引分单列索引和组合索引。单列索引,即一个索引只包含单个列,一个表可以有多个单列索引,但这不是组合索引。组合索引,即一个索引包含多个列。 创建索引时,你需要确保该索引是应用在 SQL 查询语句的条件(一般作为 WHERE 子句的条件)。 实际上,索引也是一张表,该表保存了主键与索引字段,并指向实体表的记录。 索引的原理 索引用于快速查找具有特定列值的行。如果没有索引,MySQL必须从第一行开始,然后读取整个表以查找相关行。表越大,成本越高。如果表中有相关列的索引,MySQL可以快速确定要在数据文件中间寻找的位置,而无需查看所有数据