pq

Python3爬虫(八) 数据存储之TXT、JSON、CSV

拥有回忆 提交于 2020-04-29 23:22:41
Infi-chu: http://www.cnblogs.com/Infi-chu/ TXT文本存储 TXT文本存储,方便,简单,几乎适用于任何平台。但是不利于检索。 1.举例: 使用requests获得网页源代码,然后使用pyquery解析库解析 import requests from pyquery import PyQuery as pq url = 'https://www.zhihu.com/explore' header = { 'User-Agent':'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 (KHTML, like Gecko)' } html = requests.get(url,headers=header).text doc = pq(html) items = doc('.explore-tab .feed-item').items() for item in items: question = item.find('h2').text() author = item.find('.author-link-line').text() answer = pq(item.find('.content').html()).text() with open('test.txt','a'

PAT甲级考前整理(2019年3月备考)之二,持续更新中.....

一笑奈何 提交于 2020-04-29 18:57:15
PAT甲级考前整理之一网址: https://www.cnblogs.com/jlyg/p/7525244.html ,主要总结了前面131题的类型以及易错题及坑点。 PAT甲级考前整理三网址: https://www.cnblogs.com/jlyg/p/10364727.html 主要是讲132题开始的题目。 考前注意:   1、写函数(有返回值的函数)容易忘记返回值,可能本地运行没问题,但是提交了就会有问题。   2、不要把strlen()函数写到for、while的循环中,有时候会超时,最好是 int len = strlen(str);提前求出来。   3、用sort比较的时候,比较函数 int comp(const ST& st1,const ST& st2);如果在comp中调用ST的fun函数,fun函数必须加上const,例子 int fun()const{return 0;}   4、二位数组初始化不要直接赋值,比如int a[10][10] ={0},是错误的,应该使用memset(a,0,sizeof(a));(一维数组也最好不要直接复制,通过循环复制最好)   5、不要使用gets,PAT系统不支持。可以使用fprintf,使用fprintf注意最后一个字符是'\n',特别是比较的时候就不相等了。使用这一类函数时,注意需要把前一个输入的'\n

黑客从入门到精通,拿站,入侵全部资料

笑着哭i 提交于 2020-04-27 17:04:34
花了200块买来的黑客从入门到精通的资料,自己没时间看,贴出来,给需要的博友,感觉可以的给点个赞。谢谢 华中红客基地端口漏洞利用系列教程 链接: http://pan.baidu.com/s/1c0pPg8C 密码: tg57 解压密码:www.mukedaba.com 华夏黑客联盟黑客新手入门系列教程(第二套) 链接:http://pan.baidu.com/s/1bUa2FO 密码:20tl 解压密码:www.mukedaba.com 华夏黑客联盟黑客新手入门系列教程(第一套) 链接:http://pan.baidu.com/s/1eSl3pq6 密码:82aa 解压密码:www.mukedaba.com 中国白客安全网玩转Android智能手机教程 链接: http://pan.baidu.com/s/1kT5jUKZ 密码: roy3 解压密码:www.mukedaba.com 黑手安全网新手基础入侵系列培训教程 链接: http://pan.baidu.com/s/1gdu2Mfp 密码: pydh 解压密码:www.mukedaba.com 黑盾网安菜鸟一天一节速成系列教程 链接: http://pan.baidu.com/s/1jGh5ycu 密码: vd9k 解压密码:www.mukedaba.com 法客论坛杨凡WVS教程(无密) 链接: http://pan

源码安装Mysql5.7

我是研究僧i 提交于 2020-04-27 10:19:14
Linux Mysql务器安装 关系型数据库:MySQL、MaraiDB、Oracle、SQL Server、PostgreSQL、DB2 MySQL引擎包括:ISAM、MyISAM、InnoDB、Memory、CSV、BlackHole、Archive、Performance_Schema、Berkeley、Federated、Cluster/NDB Mysql服务器安装YUM/rpm mysql5.7.16-10 yum install mysql-server mysql-devel mysql-libs -y CentOS 6.X版本 yum install mariadb-server mariadb mariadb-libs -y CentOS 7.X版本 Mysql服务器安装源码 http://down1.chinaunix.net/distfiles/mysql-5.5.20.tar.gz wget https://cdn.mysql.com//Downloads/MySQL-5.7/mysql-5.7.25-linux-glibc2.12-x86_64.tar.gz yum install cmake ncurses - devel ncurses -y yum install -y cmake make gcc gcc-c++ libaio ncurses

Leetcode题解——算法思想之排序

浪尽此生 提交于 2020-04-25 19:19:49
快速选择 堆 1. Kth Element 桶排序 1. 出现频率最多的 k 个元素 2. 按照字符出现次数对字符串排序 荷兰国旗问题 1. 按颜色进行排序 快速选择 用于求解 Kth Element 问题,也就是第 K 个元素的问题。 可以使用快速排序的 partition() 进行实现。需要先打乱数组,否则最坏情况下时间复杂度为 O(N 2 )。 堆 用于求解 TopK Elements 问题,也就是 K 个最小元素的问题。可以维护一个大小为 K 的最小堆,最小堆中的元素就是最小元素。最小堆需要使用大顶堆来实现,大顶堆表示堆顶元素是堆中最大元素。这是因为我们要得到 k 个最小的元素,因此当遍历到一个新的元素时,需要知道这个新元素是否比堆中最大的元素更小,更小的话就把堆中最大元素去除,并将新元素添加到堆中。所以我们需要很容易得到最大元素并移除最大元素,大顶堆就能很好满足这个要求。 堆也可以用于求解 Kth Element 问题,得到了大小为 k 的最小堆之后,因为使用了大顶堆来实现,因此堆顶元素就是第 k 大的元素。 快速选择也可以求解 TopK Elements 问题,因为找到 Kth Element 之后,再遍历一次数组,所有小于等于 Kth Element 的元素都是 TopK Elements。 可以看到,快速选择和堆排序都可以求解 Kth Element 和 TopK

学习JDK1.8集合源码之--PriorityQueue

江枫思渺然 提交于 2020-04-25 16:23:00
1. PriorityQueue简介   PriorityQueue是一种优先队列,不同于普通队列的先进先出原则,优先队列是按照元素的优先级出列,每次出列都是优先级最高的元素。优先队列的应用很多,最典型的就是线程了,例如守护线程(GC)就是优先级比较低的一个线程。   PriorityQueue底层是通过堆(完全二叉树)这种数据结构来存储数据的,每次出列的元素都是堆中最小的(最小堆),判断元素大小的依据由使用者指定,相当于指定优先级。   文章参考自:https://www.cnblogs.com/tstd/p/5125949.html 2. PriorityQueue继承关系   PriorityQueue继承自AbstractQueue,实现了java.io.Serializable接口。   AbstractQueue实现了Queue接口,并对队列的基本方法进行了实现。   实现了 java.io.Serializable 接口:可以启用其序列化功能,能通过序列化去传输。 3. PriorityQueue实现 1. 核心参数 // 定义了底层数组的最大长度 private static final int MAX_ARRAY_SIZE = Integer.MAX_VALUE - 8 ; // 比较器,通过比较器确定优先级 private final Comparator<?

Mac PyCharm激活/激活码

一个人想着一个人 提交于 2020-04-24 23:08:49
此教程实时更新,请放心使用;如果有新版本出现猪哥都会第一时间尝试激活; pycharm官网下载地址:http://www.jetbrains.com/pycharm/download/ 激活前准备工作 配置文件修改已经不在bin目录下直接修改,而是通过pycharm修改 如果输入code一直弹出来,请去hosts里移除jetbrains相关的项目 激活出问题可扫描下方二维码,加入激活群寻求帮助! 两种激活方式 永久激活:推荐优先使用,永久有效 有效期激活:如果你实在激活不了又着急使用,这是备选激活方案,简单快捷 一、永久激活 1.下载新版破解补丁 点击链接: https://pan.baidu.com/s/1nGDqikqT0Moi3zd6MVx82w 提取码: h27m 复制这段内容后打开百度网盘手机App,操作更方便哦 或阅读原文下载补丁文件 jetbrains-agent.jar 并将它放置到 pycharm安装目录的\bin目录:/应用程序/PyCharm.app/Contents/bin下(位置可随意,放这里是怕误操作删除了破解文件)。 2.进入项目界面 如果你之前已经使用有效期激活过可跳过此步骤,如果你是刚下载的pycharm,则需要点击激活窗口的“Evaluate for free”免费试用,然后再创建一个空项目,这样就可以进入到pycharm的工作页面 3

【安富莱】各种开发板和模块的资料下载汇总贴(2020-04-06)

不羁岁月 提交于 2020-04-24 16:18:20
论坛新域名: www.armbbs.cn 最新工作进展: 事隔五年之后,开启第2版DSP数字信号处理和CMSIS-NN神经网络教程,同步开启三代示波器(2020-03-30) https://www.cnblogs.com/armfly/p/11286169.html 开发板类: 1、STM32-V7开发板(2020-04-06更新): (1)STM32H7用户手册发布,重在BSP驱动包设计方法,HAL库的框架学习: https://www.cnblogs.com/armfly/p/11255485.html (2)V7开发板详情看此贴: https://www.cnblogs.com/armfly/p/11255864.html 2、STM32-V6开发板(2020-04-06更新): (1)【安富莱】V6,V5开发板用户手册,重在BSP驱动包设计方法,HAL库的框架学习,授人以渔 https://www.cnblogs.com/armfly/p/11254157.html (2) V6开发板详细介绍及其资源下载: https://www.cnblogs.com/armfly/p/11276978.html 3、STM32-V5开发板(2020-04-06更新): (1)V5入门视频链接:https://pan.baidu.com/s/1D-Asd7G8NcMEd5v5z

Pycharm 及 python的安装详细教程

折月煮酒 提交于 2020-04-24 08:28:54
一、安装python----首先我们来安装python 1、首先进入网站下载:点击打开链接(或自己输入网址https://www.python.org/downloads/),进入之后如下图,选择图中红色圈中区域进行下载。 二、直接使用anaconda 或者使用 下载 anaconda 安装后集成环境 可以直接在网络上查找anaconda的相关资料 下载后进行安装 三、接下来安装pycharm 首先从网站下载pycharm:点击打开链接(链接为:http://www.jetbrains.com/pycharm/download/#section=windows),进入之后如下图,根据自己电脑的操作系统进行选择,对于windows系统选择图中红色圈中的区域。 我们选择第二个,然后点击Ok: 划到最后一步之后 点击上图中的Accept进入下一步: Pycharm2019最新激活注册码(亲测有效) PyCharm是由著名的JetBrains公司所打造的一款功能强大的Python IDE,它具有一般IDE都具备的功能,并且使用起来非常方便好用。最近需求PyCharm激活码的网友非常多,小编就在这里给大家分享一下PyCharm2019最新可用的激活注册码。激活 Pycharm专业版 的方法有很多,小编在这里主要给大家分享最有效的两种,一种是使用最新可用的注册激活码,一种是使用破解补丁的方法