对象存储

一、安装scrapy 安装失败看博客>>>scrapy安装失败解决方案 pip install wheel pip install twisted pip install pywin32 pip install scrapy 二、创建爬虫项目 scrapy startproject firstPro # firstPro表示项目名称 项目目录结构 cmd命令行输入 D:\爬虫项目\first>tree /f └─first │ items.py │ middlewares.py │ pipelines.py │ settings.py │ __init__.py │ ├─spiders │ │ jingdong.py │ │ __init__.py │ │ │ └─__pycache__ │ jingdong.cpython-36.pyc │ __init__.cpython-36.pyc │ └─__pycache__ items.cpython-36.pyc pipelines.cpython-36.pyc settings.cpython-36.pyc __init__.cpython-36.pyc scrapy.cfg # scrapy部署时的配置文件 taobao # 项目的模块,需要从这里引入 __init__.py items.py # 定义爬取的数据结构

作者：Infinities Loop 概述 ViewState是一个被误解很深的动物了。我希望通过此 文章来澄清人们对ViewState的一些错误认识。为了达到这个目的，我决定从头到尾详细的描述一下整个ViewState的工作机制，其中我会同时用 一些例子说明我文章中的观点，结论。比如我会用静态控件(declared controls)和动态控件(dynamic controls)两个方面来说明同一个问题。 现在有关ViewState的文章可谓多如牛毛，你可能会说 再写有关ViewState的文章无异于炒剩饭(我这篇文章便是:D)。但是我却不这么认为，如果把ViewState看成一匹野马的话，那么这匹野马并 没有死去，它还活跃的很，说不定这个时候它正在你的客厅里撒野呢。所以我们有必要再次去把它击倒。不过你也不需要担心，从这篇文章你可以发现其实这匹马也 没有那么坏。 我的意思并不是否然目前还没有好好说明ViewState的 文章，只是我总觉得好像这些文章都缺少一些东西，而这些缺少的东西往往就会导致人们对ViewState的困惑。比如：理解ViewState是怎样跟踪 那些已经出现变化的数据(dirty data)就非常重要，但是很多文章却没有过多的涉及，或者即便涉及了可能其中却包含了错误的信息。比如这篇文章( W3Schools ) 中就说页面回传的值也是保存在ViewState中的

--------数组定义格式-------- 格式一 //【格式1】 数据类型[] 数组名 //示例 int[] arr double[] arr long[] arr boolean[] arr String[] arr 格式二： //【格式2】 数据类型 数组名[] //示例 数组的初始化的基本格式 package com.itheima_01; /* 数组：是一种用于存储多个相同类型数据的存储模型 定义格式：(推荐方式) 数据类型[] 数组名; 举例：int[] arr; 数组初始化： A:所谓初始化：就是为数组中的数组元素分配内存空间，并为每个数组元素赋值 B:数组初始化 动态初始化 静态初始化 动态初始化： 初始化时只指定数组长度，由系统为数组分配初始值 格式：数据类型[] 变量名 = new 数据类型[数组长度]; 范例：int[] arr = new int[3]; */ public class ArrayDemo { public static void main(String[] args) { int[] arr = new int[3]; /* 左边： int:说明数组中的元素类型是int类型 []:说明这是一个数组 arr:这是数组的名称 右边： new:为数组申请内存空间 int:说明数组中的元素类型是int类型 []:说明这是一个数组 3:数组长度

数据持久化的两种方式：（1）基于终端指令的持久化存储；（2）基于管道的持久化存储 基于终端指令的持久化存储 　　在爬虫文件的parse方法中必须要return可迭代对象类型（通常为列表或字典等）的返回值，该返回值作为基于终端指令持久化指定文件的输出内容。 执行输出指定格式进行存储-------将爬取到的数据写入不同格式的文件中进行存储，存储格式有限： scrapy crawl 爬虫文件 -o xxx.json scrapy crawl 爬虫文件 -o xxx.xml scrapy crawl 爬虫文件 -o xxx.csv 基于管道的持久化存储 　 　(1)编写爬虫文件进行数据解析 　　(2)在items.py中定义相关字段（用于存储解析的数据） 　　(3)在爬虫文件中将解析到的数据封装在实例化的item对象中 　　(4)通过yield将item对象提交到pipelines.py中的管道 　　(5)在管道中进行任意方式的数据持久化（数据库持久化需要重写两个方法open_spider和close_spider） 　　(6)在settings.py配置文件中开启管道（ITEM_PIPELINES ，同时处理ROBOTSTXT_OBEY协议、USER_AGENT 伪装和LOG_LEVEL='ERROR'日志输出等级） 　　(7)启动爬虫：scrapy crawl 爬虫文件

关于我 一个有思想的程序猿，终身学习实践者，目前在一个创业团队任team lead，技术栈涉及Android、Python、Java和Go，这个也是我们团队的主要技术栈。 Github： https://github.com/hylinux1024 微信公众号：终身开发者(angrycode) 数组类型是各种编程语言中基本的数组结构了，本文来盘点下 Python 中各种“数组”类型的实现。 list tuple array.array str bytes bytearray 其实把以上类型都说成是数组是不准确的。这里把数组当作一个广义的概念，即把列表、序列、数组都当作 array-like 数据类型来理解。 注意本文所有代码都是在 Python3.7 中跑的^_^ 0x00 可变的动态列表list list 应该是 Python 最常用到的数组类型了。它的特点是 可变的、能动态扩容，可存储 Python 中的一切对象，使用时不用指定存储的元素的类型 。 使用非常简单 >>> arr = ["one","two","three"] >>> arr[0] 'one' # 动态扩容 >>> arr.append(4) >>> arr ['one', 'two', 'three', 4] # 删除一个元素 >>> del arr[2] >>> arr ['one', 'two', 4]

LUCENE 1. 学习计划 1、案例分析：什么是全文检索，如何实现全文检索 2、Lucene实现全文检索的流程 a) 创建索引 b) 查询索引 3、配置开发环境 4、创建索引库 5、查询索引库 6、分析器的分析过程 a) 测试分析器的分词效果 b) 第三方中文分析器 7、索引库的维护 a) 添加文档 b) 删除文档 c) 修改文档 8、Lucene的高级查询Lucene的查询 a) 使用Query的子类查询 MatchAllDocsQuery TermQuery NumericRangeQuery BooleanQuery b) 使用QueryParser QueryParser MulitFieldQueryParser 2. 案例 实现一个文件的搜索功能，通过关键字搜索文件，凡是文件名或文件内容包括关键字的文件都需要找出来。还可以根据中文词语进行查询，并且需要支持多个条件查询。 本案例中的原始内容就是磁盘上的文件，如下图： 3. 需求分析 3.1. 数据库搜索 数据库中的搜索很容易实现，通常都是使用sql语句进行查询，而且能很快的得到查询结果。 为什么数据库搜索很容易？ 因为数据库中的数据存储是有规律的，有行有列而且数据格式、数据长度都是固定的。 3.2. 数据分类 我们生活中的数据总体分为两种：结构化数据和非结构化数据。 结构化数据：指具有固定格式或有限长度的数据，如数据库

localforage localStorage局限性：存储容量限制，仅支持字符串，如果是存对象还需要将使用JSON.stringify和JSON.parse方法互相转换；读取都是同步的。大多数情况ok。但如果存储数据比较大，例如一张重要图片base64格式存储了，再读可能会有可感知的延迟时间。 localforage 是一个js库，通过简单类似locaStorage的异步存储来改进你的 Web 应用程序的离线体验。它能存储多种类型的数据，而不仅仅是字符串。localforage 有一个优雅降级策略，若浏览器不支持 IndexedDB 或 WebSQL，则使用 localStorage; API: getItem setItem removeItem clear length key keys indexedDB IndexedDB数据库使用key-value键值对储存数据；任何操作都发生在事务（transaction）中，indexedDB API提供了索引(indexes), 表(tables), 指针(cursors)等, 但是所有这些必须是依赖于某种事务的；不使用sql，而是通过索引(index)所产生的指针(cursor)来完成查询操作，从而使你可以遍历到结果；和大多数web存储解决方案相同，indexedDB也遵从同源协议

5. List 的三个子类的特点 ArrayList 底层结构是数组,底层查询快,增删慢。 LinkedList 底层结构是链表型的,增删快,查询慢。 voctor 底层结构是数组 线程安全的,增删慢,查询慢。 6 . List 和 Map、Set 的区别**** 6.1 结构特点 List 和 Set 是存储单列数据的集合，Map 是存储键和值这样的双列数据的集合；List 中存储的数据是有顺序，并 且允许重复；Map 中存储的数据是没有顺序的，其键是不能重复的，它的值是可以有重复的，Set 中存储的数据是无 序的，且不允许有重复，但元素在集合中的位置由元素的 hashcode 决定，位置是固定的（Set 集合根据 hashcode 来进行数据的存储，所以位置是固定的，但是位置不是用户可以控制的，所以对于用户来说 set 中的元素还是无序的）； 6.2 实现类 List 接口有三个实现类（LinkedList：基于链表实现，链表内存是散乱的，每一个元素存储本身内存地址的同时还存储下一个元素的地址。链表增删快，查找慢；ArrayList：基于数组实现，非线程安全的，效率高，便于索引，但不便于插入删除；Vector：基于数组实现，线程安全的，效率低）。 Map 接口有三个实现类（HashMap：基于 hash 表的 Map 接口实现，非线程安全，高效，支持 null 值和 null键

一、 WebSocket 概述 http://www.ruanyifeng.com/blog/2017/05/websocket.html Workerman 一款开源高性能异步 PHP socket 即时通讯框架 https://workerman.net HTTP 是无连接的：有请求才会有响应，如果没有请求，服务器想主动推送信息给浏览器是不可能的。 比如图文直播、聊天室原理：长轮询。 setInterval(function(){ $.get() },1000) 间隔一定的时间，主动向服务器发起请求，询问是否有新消息。 WebSocket是一种网络通信协议， 是 HTML5中的新协议。 需要服务器和浏览器共同支持，实现全双工通信。 服务器： PHP5.6 、 Java1.7 、 Nodejs 6以上。 浏览器：Android 6.0及以上版本。 WebSocket 是 HTML5 开始提供的一种在单个 TCP 连接上进行全双工通讯的协议。 WebSocket 使得客户端和服务器之间的数据交换变得更加简单，允许服务端主动向客户端推送数据。在 WebSocket API 中，浏览器和服务器只需要完成一次握手，两者之间就直接可以创建持久性的连接，并进行双向数据传输。 在 WebSocket API 中，浏览器和服务器只需要做一个握手的动作，然后，浏览器和服务器之间就形成了一条快速通道

Java 是一门 面向对象 编程语言，不仅吸收了 C++ 语言的各种优点，还摒弃了C++里难以理解的 多继承 、 指针 等概念，因此Java语言具有功能强大和简单易用两个特征。Java语言作为静态面向对象编程语言的代表，极好地实现了面向对象理论，允许程序员以优雅的思维方式进行复杂的编程 [1] 。 1996年1月，Sun公司发布了Java的第一个开发工具包 （JDK 1.0） ，这是Java发展历程中的重要里程碑，标志着Java成为一种独立的开发工具。9月，约8.3万个网页应用了Java技术来制作。10月，Sun公司发布了Java平台的第一个即时 （JIT） 编译器。 1997年2月，JDK 1.1面世，在随后的3周时间里，达到了22万次的下载量。4月2日，Java One会议召开，参会者逾一万人，创当时全球同类会议规模之纪录。9月，Java Developer Connection社区成员超过10万。 1998年12月8日，第二代Java平台的企业版J2EE发布。1999年6月，Sun公司发布了第二代Java平台（简称为Java2）的3个版本： J2ME （Java2 Micro Edition，Java2平台的微型版），应用于移动、无线及有限资源的环境； J2SE （Java 2 Standard Edition，Java 2平台的标准版），应用于桌面环境； J2EE