数据存储

Python3爬虫(八) 数据存储之TXT、JSON、CSV

匿名 (未验证) 提交于 2019-12-02 22:51:30
http://www.cnblogs.com/Infi-chu/ TXT文本存储 TXT文本存储,方便,简单,几乎适用于任何平台。但是不利于检索。 1.举例: 使用requests获得网页源代码,然后使用pyquery解析库解析 import requests from pyquery import PyQuery as pq url = 'https://www.zhihu.com/explore' header = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)' } html = requests.get(url,headers=header).text doc = pq(html) items = doc('.explore-tab .feed-item').items() for item in items: question = item.find('h2').text() author = item.find('.author-link-line').text() answer = pq(item.find('.content').html()).text() with open('test.txt','a',encoding='uft

Python 类型,变量和数据存储

匿名 (未验证) 提交于 2019-12-02 22:51:30
1. python的变量不需要提前定义类型 ,他的变量类型和传入的值有关和名称是无关,典型的是动态类型的存储 1 #!/usr/bin/env python 2 # -*- coding:utf-8 -*- 3 name = 'Tom' 4 print ( type ( name )) 2. 小数据的赋值和引用的比较 ?? 来源:博客园 作者: Gookiki 链接:https://www.cnblogs.com/GooKiki/p/11481524.html

存储系列名词

会有一股神秘感。 提交于 2019-12-02 22:28:08
转载:https://www.cnblogs.com/cainiao-chuanqi/p/11686976.html 存储系列名词 专有名词简介: PCI-E 全称是PCI Express,是新一代的 总线接口。 SSD: 固态驱动器(Solid State Disk或Solid State Drive,简称SSD),俗称 固态硬盘 ,固态硬盘是用固态电子存储芯片阵列而制成的硬盘,因为台湾英语里把固体电容称之为Solid而得名。SSD由控制单元和存储单元(FLASH芯片、DRAM芯片)组成。固态硬盘在接口的规范和定义、功能及使用方法上与普通硬盘的完全相同,在产品外形和尺寸上也完全与普通硬盘一致。被广泛应用于军事、车载、工控、视频监控、网络监控、网络终端、电力、医疗、航空、导航设备等诸多领域。 DDR4 :DDR4内存是新一代的内存规格。2011年1月4日,三星电子完成史上第一条DDR4内存。DDR4相比DDR3最大的区别有三点:16bit预取机制(DDR3为8bit),同样内核频率下理论速度是DDR3的两倍;更可靠的传输规范,数据可靠性进一步提升;工作电压降为1.2V,更节能。 何为NVMe ?Non-Volatile Memory Express, 非易失性存储器标准 ,是跑在PCIe接口上的协议标准。NVMe的设计之初就有充分利用到PCIe SSD的低延时以及并行性

python 数据存储

匿名 (未验证) 提交于 2019-12-02 22:11:45
版权声明:本文为博主原创文章,未经博主允许不得转载。 https://blog.csdn.net/CoolScript/article/details/90286767 文章目录 python常用数据存储方法 txt json csv msyql 安装pymysql 连接 建库建表 插入 删除 修改 查询 mongodb 安装 连接 建库建文档 增 ɾ 改 查 redis 安装 连接 操作 公用方法 字符串 列表 集合 有序集合 散列 python常用数据存储方法 txt with open ( 'test.txt' , 'w' , encoding = 'utf8' ) as f : f . write ( 'sdfasdf' + '\n' ) json object = json.loads(jsonstr) : json字符串 转化为 python对象 str = json.dumps(objects,indent=2) :python对象 转化为 json字符串 注意:输出中文要设置ensure_ascii为False,还要注意编码 with open ( 'test.txt' , 'w' , encoding = 'utf8' ) as f : f . write ( json . dumps ( objects , indent = 2 , ensure_ascii =

java If_Switch

易管家 提交于 2019-12-02 21:31:42
###03.01_Java 语言基础(顺序结构语句)(了解) ###02.19_Java 语言基础(逻辑运算符的基本用法)(掌握) * A: 逻辑运算符有哪些 * &,|,^,! * &&,|| * B: 案例演示 * 逻辑运算符的基本用法 * 注意事项: * a: 逻辑运算符一般用于连接boolean类型的表达式或者值。 * b: 表达式:就是用运算符把常量或者变量连接起来的符合java语法的式子。 * 算术表达式:a + b * 比较表达式:a == b(条件表达式) * C: 结论: * & 逻辑与:有false则false。 * | 逻辑或:有true则true。 * ^ 逻辑异或:相同为false,不同为true。 * ! 逻辑非:非false则true,非true则false。 * 特点:偶数个不改变本身。 案例: class Demo1_Operator { public static void main ( String [] args ) { //&,|,^,! //int x = 10; //5 < x < 15 //x > 5 & x < 15 // 逻辑与 & 并且 and 遇 false 则 false int a = 10 ; int b = 20 ; int c = 30 ; /*System.out.println(a < b & b < c); /

数据存储级别

本秂侑毒 提交于 2019-12-02 17:45:21
计算机存储信息的最小单位,称之为位(bit),音译比特,二进制的一个“0”或一个“1”叫一位 1B=1Byte=1字节=8bit=8比特 (byte是字节,bit是位) 1MB=1024KB 1GB=1024MB 1TB=1024GB 1PB=1024TB 1EB=1024PB 1ZB=1024EB 1YB=1024ZB 来源: 51CTO 作者: 腿快抖断了 链接: https://blog.51cto.com/11093860/2455313

快速排序

不想你离开。 提交于 2019-12-02 12:20:50
**快速排序** 快速排序的基本思想: 首先选第一个数作为分界数据, 将比它小的数据存储在它的左边,比它大的数据存储在它的右边,它存储在左、右两个子集之间。 这样左、右子集就是原问题分解后的独立子问题。 再用同样的方法,继续解决这些子问题,直到每个子集只有一个数据,就完成了全部数据的排序工作。 利用快速排序算法的思想,来解决选择问题。 记一趟快速排序后,分解出左子集中元素个数为 nleft,则选择问题可能是以下几种情况之一: nleft =k﹣1,则分界数据就是选择问题的答案。 nleft >k﹣1,则选择问题的答案继续在左子集中找,问题规模变小了。 nleft <k﹣1,则选择问题的答案继续在右子集中找,问题变为选择第k-nleft-1 小的数,问题的规模变小了。 此算法在最坏情况时间复杂度为 O(n2) ,此时nleft总是为0,左子集为空,即第k小元素总是位于right子集中。 平均时间复杂度为 O(n )。 int select (int left, int right, int k){ if(left>=right) return a[left]; int i=left; int j=right+1; int pivot=a[left]; while(true){ do{ i=i+1;}while(a[i]<pivot); do{ j=j-1;}while(a[j]

SDN-based Network Management Solution

本小妞迷上赌 提交于 2019-12-02 02:43:09
SDN-based Network Management Solution 摘要: 在此项目中,我们开发了一种网络管理应用程序,以监视和控制由支持OpenFlow的交换机和支持SNMP的设备组成的企业网络。 我们正在利用由控制器集中式软件定义网络控制器旋转的REST接口来运行此应用程序。 我们正在使用的SDN控制器是一个名为OpenDaylight(ODL)的开源控制器。 我们已使用SNMP和OpenFlow南向插件与网络设备进行通信。 为了测试该应用程序,我们在GNS3中模拟了一个网络,该网络结合了传统设备和OpenFlow交换机。 介绍: 用Opendaylight控制器结合提供的SNMP等插件,搭建网络拓扑。我们检索网络统计信息,链路统计信息以及有关基础设备(例如交换机和路由器)的信息,以控制和改善网络性能。尽管SDN具有许多优点,但它仍然缺乏良好的网络管理解决方案,并且难以让运营商实现全面部署、完全替代其原有的网络管理解决方案。因此有必要用SDN来结合传统网络管理方法(因为现在的底层都是传统的)进行管理。 OpenDaylight介绍: 模型驱动的服务抽象层(MDSAL):它将YANG模型用作行业标准,以将基础设备映射到网络应用程序,以随时支持现有网络中的技术和硬件。 支持标准网络管理的模块化插件式南向接口方法, 与这些其他设备和OpenFlow一起也受支持

浏览器的数据存储方案之二:CacheObject(缓存)

拈花ヽ惹草 提交于 2019-12-02 01:54:03
Cache 虽然是在 SW 中定义的,但是我们也可以直接在 window 域下面直接使用它。它通过 Request/Response 流(就是 fetch)来进行内容的缓存。 概览 每个域名可以有多个 Cache Object,具体我们可以在控制台中查看: 并且 Cache Object 是懒更新,实际上,就可以把它比喻为一个文件夹。如果你不自己亲自更新,系统是不会帮你做任何事情的。对于删除也是一样的道理,如果你不显示删除,它会一直存在的。不过,浏览器对于每个域名的 Cache Object 数量是有限制的,并且,会周期性的删掉一些缓存信息。最好的办法,是我们自己管理资源,官方给出的建议是: 使用版本号进行资源管理。 service worker中删除特定版本的缓存资源: 12345678910111213 self.addEventListener('activate', function(event) { var cacheWhitelist = ['v2']; event.waitUntil( caches.keys().then(function(keyList) { return Promise.all(keyList.map(function(key) { if (cacheWhitelist.indexOf(key) === -1) { return caches

浏览器的数据存储方案之二:CacheObject(缓存)

半城伤御伤魂 提交于 2019-12-02 01:52:17
Cache 虽然是在 SW 中定义的,但是我们也可以直接在 window 域下面直接使用它。它通过 Request/Response 流(就是 fetch)来进行内容的缓存。 概览 每个域名可以有多个 Cache Object,具体我们可以在控制台中查看: 并且 Cache Object 是懒更新,实际上,就可以把它比喻为一个文件夹。如果你不自己亲自更新,系统是不会帮你做任何事情的。对于删除也是一样的道理,如果你不显示删除,它会一直存在的。不过,浏览器对于每个域名的 Cache Object 数量是有限制的,并且,会周期性的删掉一些缓存信息。最好的办法,是我们自己管理资源,官方给出的建议是: 使用版本号进行资源管理。 service worker中删除特定版本的缓存资源: 12345678910111213 self.addEventListener('activate', function(event) { var cacheWhitelist = ['v2']; event.waitUntil( caches.keys().then(function(keyList) { return Promise.all(keyList.map(function(key) { if (cacheWhitelist.indexOf(key) === -1) { return caches