js获取url参数

python requests库学习

偶尔善良 提交于 2019-11-27 07:43:51
Requests python的request库官方介绍就是让HTTP服务人类,所以从这点我们就可以知道request库是为了让我们更加方便的进行http相关的各种操作 我们学习request有什么用呢? 1)web时代我们需要熟悉掌握web交互原理 2)爬虫 3)服务器编程 4)自动化测试 实验环境准备 首先是环境的准备,首先我们肯定要装requests库 直接使用pip命令即可(注意:本文使用的是py3.6版本) 同时我们需要一个服务器来测试我们的各种操作,我们可以直接使用requests库作者写的一个网站 httpbin.org 来进行我们的各种实验操作 requests例程 我们可以从下面的简单的例程来简单了解下requests import requests #实验web地址 http://httpbin.org url_ip='http://httpbin.org/ip' url_get='http://httpbin.org/get' #直接使用 def requests_simple(): #利用get方法得到一个response response1=requests.get(url_ip) #打印头部headders print('Response Headers:',response1.headers) #打印Body print('Response Body:

动态调整线程数的python爬虫代码分享

萝らか妹 提交于 2019-11-27 06:27:27
  这几天在忙一个爬虫程序,一直在改进他,从一开始的单线程,好几秒一张图片(网络不好),,,到现在每秒钟十几张图片,,, 四个小时586万条数据,,,简直不要太爽 先上图      最终写出来的程序,线程数已经可以动态调整了,贼暴力。。。峰值能稳定在50个线程,具体思路可以继续看   这里终于用到了操作系统的知识,就是生产者和消费者的模型。。。(参考源码忘记记录了,抱歉   先简单说一下目标网站的情况,目标网站是一个图片网站,有一个列表页,点进列表页之后,可以看到很多图片,这只爬虫的目的是收集这些图片链接(有了链接当然也能下载了...   简单分析之后发现,在列表页,会向后台请求一个json格式的数据文件,然后js动态的把里面的id组合成一个链接,最终组成如下样式的链接      http://www.xxxxxx.com/photo/json?page=1977   显而易见,page参数就是指定页数的,那么,这里就可以先生成一个列表,用for循环把所有列表页的url加进去,接下来只需要遍历这个链接列表就好了。    #首先构造产品队列 for i in range(1,11613): url_list.append("http://www.xxxxxx.com/photo/json?page="+str(i)); print('产生链接完成');   接下来,就是启动生产者线程

node js中的req.body,req.query,req.params取参数

只愿长相守 提交于 2019-11-26 15:55:07
1、原生node中怎么获取get/post请求参数 1.1 处理get请求参数 使用node自带的核心模块----url模块 url.parse();方法将一个完整的URL地址,分为很多部分,常用的有:host、port、pathname、path、query。 第一个参数是地址, 第二个参数默认是false,设置为ture后,将字符串格式转换为对象格式。字符串(“a=1&b=2”)转换为了对象格式({a: 1,b: 2})。 代码: 1 var urlObj = url.parse(req.url ,true); 2 var query = urlObj.query; 1.2 处理post请求参数 POST请求一般会提交数据给服务器,服务器在接收数据的时候也是分块接收的; 要想获得post参数对象,需要用到第三方包querystring 代码: 1 const http = require('http'); 2 const server = http.createServer(); 3 server.listen(3000, () => console.log('启动了')); 4 5 // 只要有浏览器发来请求,就会触发下面的事件 6 server.on('request', (req, res) => { 7 // console.log('123'); 8 //

锋利的js前端分页之jQuery

雨燕双飞 提交于 2019-11-26 15:45:14
大家在作分页时,多数是在后台返回一个导航条的html字符串,其实在前端用js也很好实现。 调用pager方法,输入参数,会返回一个导航条的html字符串。方法的内部比较简单。 1 /** 2 * pageSize, 每页显示数 3 * pageIndex, 当前页数 4 * pageCount 总页数 5 * url 连接地址 6 * pager(10, 1, 5, 'Index')使用方法示例 7 */ 8 function pager(pageSize, pageIndex, pageCount, url) { 9 var intPage = 7; //数字显示 10 var intBeginPage = 0;//开始的页数 11 var intEndPage = 0;//结束的页数 12 var intCrossPage = parseInt(intPage / 2); //显示的数字 13 14 var strPage = "<div class='fr'><span class='pageinfo'>第 <font color='#FF0000'>" + pageIndex + "/" + pageCount + "</font> 页 每页 <font color='#FF0000'>" + pageSize + "</font> 条</span>"; 15 16 if

django 路由层(反向解析)03

孤街浪徒 提交于 2019-11-26 03:08:20
目录 ORM表关系建立 Django请求生命周期流程图 urls.py 路由层 无名分组 有名分组 反向解析 无名分组的反向解析 有名分组的反向解析 以编辑功能为例 路由分发 名称空间 伪静态 虚拟环境 django 版本区别 form表单上传文件,后端如何获取文件 ORM表关系建立 orm表关系如何建立 多对多 一对多 一对一 换位思考 先站在一张表上面分析 然后再站在另一张分析 一对多 外键字段建在 多的那一方 多对多 多对多的外键关系需要建立第三章来专门处理 图书表 出版社表 作者表 from django.db import models # Create your models here. # 先不要考虑外键关系 先创基表 class Book(models.Model): title = models.CharField(max_length=32) # 小数总共八位 小数占两位 price = models.DecimalField(max_digits=8,decimal_places=2) # 书跟出版社是一对多 并且书是多的一方 所以外键字段健在书表中 publish_id = models.ForeignKey(to='Publish') # to用来指代跟哪张表有关系 默认关联的就是表的主键字段 """ 一对多外键字段 创建的时候 同步到数据中

day53

*爱你&永不变心* 提交于 2019-11-25 23:20:13
目录 上周内容 今日内容 orm表关系如何建立 django请求生命周期流程图 反向解析 路由分发(******) 伪静态 django版本区别 视图层 上周内容 ​ 静态文件配置 ​ 1.你在浏览器中输入网址能够有响应的资源返回给你 ​ 是因为后端已经提前给你开设该资源的接口,也就意味着你所能 ​ 访问到的资源 都是人家事先定义好的 2.django如何给用户开设资源接口呢? 在urls.py中 开设路由与视图函数对应关系 3.什么是静态文件 网站所使用的已经提前写好的css文件 js 图片 第三方的类库 一般情况下 我们都默认将网站所用到的静态文件统一放在一个叫 static文件夹下 该文件夹内部 还可以根据文件类型的不同划分成不同的子文件 css文件 js文件 font文件 img文件 第三方模块专门的文件 B F django不会自动帮你建static文件 需要你自己手动创建 4.如何暴露静态文件资源给用户访问 django为了你暴露方便 不需要你自己手动去urls.py中配置 你只需要在settings.py配置即可 STATIC_URL = '/static/' # 访问静态文件资源接口前缀 """ 如果你想访问静态文件资源 你必有以上面的名字开头 你才有访问静态文件资源的权限 一旦你是以接口前缀开头 我会拿着接口前缀后面的文件路径 去下面的列表中从上往下去每一个文件夹