url

1、下载包：从Ueditor的官网下载1.4.3.3jsp版本的Ueditor编辑器，官网地址为： 　　　　　　http://ueditor.baidu.com/website/ 2、下载好之后，将Jsp版本解压，解压后文件夹改名为ueditor,将文件夹中的jsp单独剪切到一边，之后将整个ueditor文件夹拷贝到Vue的public或者static目录下，项目结构如下： 3、修改 ueditor.config.js ，如下 4、在前面的工作中，我们找到jsp文件夹中的这个jar包ueditor-1.1.2，将其解压，反编译成java文件，复制到 后台工程中。 注意jsp文件夹中有个 config.json 文件，这是Ueditor上传功能所需的配置文件，找到将之复制到资源目录中。 5、原来Ueditor是通过访问controller.jsp文件来初始化配置文件以及进行上传操作的,我们现在将之用代码进行替换。下面看一下上传图片功能的源码： package com.plat.controller; import com.baidu.ueditor.ActionEnter; import com.platform.oss.OSSFactory; import org.json.JSONObject; import org.slf4j.Logger; import org.slf4j

爬虫步骤 确定需求 寻找需求 发送请求 解析数据 存储数据 请求方式：GET和POST GET是默认的HTTP请求方式，用于直接输入网址的方式去访问网页 POST方法主要是像Web服务器提交表单数据，通常扁担提交时采用POST方法 GET把请求参数包含在url中,POST通过请求体传递参数 GET相对POST不安全，参数直接暴露在url上，不用来传递敏感信息 requests 安装：pip install requests import requests #定义请求的url url = 'https://www.baidu.com/' #定义请求头信息 headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537.36' } #发起Get请求 res = requests.get(url=url,headers=headers) #获取相应状态码，当响应状态码为200 时则表示请求成功 code = res.status_code print(code) #相应成功后把相应的内容加入文件中 if code ==200: with open ('E:/Learn

官方解释： 301 代表永久性转移 302 代表暂时性转移 共同点： 301和302状态码都表示重定向，就是说浏览器在拿到服务器返回的这个状态码后会自动跳转到一个新的URL地址，这个地址可以从响应location首部中获取（用户看到的效果就是他输入的地址A瞬间变成了另一个地址B）—这是他们的共同点 不同点： 301表示旧地址A的资源已经被永久性移除了（这个资源不可访问了），搜索引擎在抓取新内容的同时也就将旧的网址交换为重定向之后的网址； 302表示旧地址A的资源还在（仍然可以访问），这个重定向只是临时从旧地址A跳转到地址B，搜索引擎会抓取新的内容而保存旧的网址。 常见应用场景： 场景一：想换个域名，旧的域名不用了，这样用户访问旧域名时用301就重定向到新的域名。其实也是告诉搜索引擎收录的域名需要对新的域名进行收录。 场景二： 登录后重定向到指定的页面，这种场景比较常见的就是登陆成功跳转到具体的系统页面。 场景三：有时候需要自动刷新页面，比如5秒后自动返回到订单详细页面之类。 场景四：有时系统进行升级或者切换某些功能时需要临时更换地址。 场景五：像微博之类的使用短域名，用户浏览后需要重定向到真实的地址之类。 301与302在选择上注意的问题–302重定向和网址劫持 从网址A 做一个302 重定向到网址B 时，主机服务器的隐含意思是网址A 随时有可能改主意

你是否有过这种体验？遇到一个技术问题或一个关键词，一遍遍google、baidu、知乎……、 一遍遍输入、一遍遍搜索，以求获取最佳结果 。 太累，这两天实在受不了，就在想有没有一个网站， 有个类似百度或谷歌的输入框，输入一次，把我们关心的各个搜索引擎的结果都展示出来 呢？寻觅未果(找到的不是不能用就是不符合自己需要) so，既然没有轮子， 那就自己写一个吧 。 写这种聚合类型网站，首先想到的当然是爬虫啦，不过爬虫还得依赖服务器，手头没有(穷)怎么破？没关系，那我们就用 纯前端 的方式去做， 互联网上有很多免费的空间 。这里我们选择coding.net提供的免费page服务，可以放一些静态资源，当然你选择github也是可以的，不过速度相对会比较慢。而后我又去Freenom注册了一个免费域名：） https://www.moresearch.ga/ 就叫「 猫搜 」，猫搜一下，给你更多结果。 万事俱备，只欠东风。接下来就是代码时刻啦~ 先看下最终效果图： 噔！噔！噔！ 对，就这么一个简单页面就可以满足我们需求了。别看它看似简单（刚开始我也是这么想的），后来我可是 趟了很多坑 。😓 1. 准备搜索引擎链接地址 类似 https://www.baidu.com/s?wd={query} 这种，使用{query}代表一个变量，即你要搜索的关键词，替换之后访问链接即可拿到搜索的结果。

定向爬虫 定义：定向爬虫可以精准的获取目标站点信息。 仅对输入URL进行爬取 ，不拓展爬取。 【实例练习】 【中国的大学排名爬取】 1 查看网页是否对爬虫有限制 1.查看 robots.txt 无robots.txt文件说明无爬虫限制 2.查看原网页 要提取的信息被封装在html内 2.程序的结构设计 步骤1：从网络上获取大学排名网页内容 步骤2：提取网页内容中信息到合适的数据结构（二维数据） 步骤3：利用数据结构展示并输出结果 属于二维数据 import requests from bs4 import BeautifulSoup import bs4 def getHTMLText ( url ) : #获取该网页内容 try : r = requests . get ( url , timeout = 30 ) r . raise_for_status ( ) r . encoding = r . apparent_encoding return r . text except : return "" def fillUnivList ( ulist , html ) : #提取网页内容中的信息到合适的数据结构 soup = BeautifulSoup ( html , "html.parser" ) for tr in soup . find ( 'tbody' ) .

HTTP状态码 1xx（信息类）： 表示接收到请求并且继续处理。 2xx（响应成功）： 3xx（重定向类）：为了完成指定的动作，必须接受进一步处理。 4xx（客户端错误类）：请求包含错误语法或不能正确执行： 5xx（服务端错误类）：服务器不能正确执行一个正确的请求。 总结：是摘抄的之前的笔记，还有很多状态码工作中没有遇到过，没有一一去校准，谨以记录。如有错误请告知，谢谢。 1xx（信息类）： 表示接收到请求并且继续处理。 100 -- 客户必须继续发出请求。 101 -- 客户要求服务器根据请求转换HTTP协议版本。 2xx（响应成功）： 200 -- 表明请求被成功完成，所请求的资源发送回客户端。 201 -- 提示知道新文件的URL。 202 -- 接受和处理，但处理未完成。 203 -- 返回信息不确定或不完整。 204 -- 收到请求，但返回信息为空。 205 -- 服务器完成了请求，用户代理必须复位当前已经浏览过的文件。 206 -- 服务器已经完成了部分用户的GET请求。 3xx（重定向类）：为了完成指定的动作，必须接受进一步处理。 300 -- 请求的资源可在多处得到。 301 -- 本网页被永久性转移到另一个URL。 302 -- 请求的网页被转移到一个亲的地址，但客户访问仍继续通过原始的URL地址，重定向，新的URL会在response中的location中返回

get 由于GET请求直接被嵌入在路径中，URL是完整的请求路径，包括了?后面的部分，因此你可以手动解析后面的内容作为GET请求的参数。 get.js var http = require ( 'http' ) ; var url = require ( 'url' ) ; var util = require ( 'util' ) ; http . createServer ( function ( req , res ) { var data = url . parse ( req . url , true ) ; console . log ( 'Request Data: ' ) ; console . log ( util . inspect ( data ) ) ; var params = data . query ; res . writeHead ( 200 , { 'Content-Type' : 'text/plain' } ) ; res . write ( 'Website Name: ' + params . name ) ; res . write ( '<br>' ) ; res . write ( 'Website Url: ' + params . url ) ; res . end ( ) ; } ) . listen ( 8888 ) ;

提高爬虫效率主要从三个方面开始复习。 并发 ip cookies 并发必然引发的一个结果就是反爬虫机制，这种时候爬虫的效率不会因为并发而提高，反而会因为网站的防御机制拖累爬虫的速度。 自然而然地就引出了2，代理爬虫。代理爬虫能够从多个ip发送请求，减小了单个ip的请求频率，自然触发反爬虫机制的概率也就小了很多。 但是新的问题又出现了，对于需要 登录 的网站，需要提交cookies来模拟登录情况，模拟登录不难，但是同一个cookies从不同的ip同时发送请求很明显不合常理，依然会触发反爬虫机制。 这是到目前为止我所遇到的影响爬虫效率的问题，就在这里做一个总结吧，如果后续遇到新的效率相关的问题，再做补充。 并发 前言 在2019年，我阅读了python cookbook，其中对这一方面有较为详细且透彻的讲述，比较适合有python基础的人学习。 多进程、多线程是python程序员的必修课之一。因为，即使脱离了爬虫，机器学习、web开发等方面，多线程、多进程依旧有着举足轻重的地位。 这是开发者的一个小分水岭，它在一定程度上决定了程序效率的高低。 python中的多进程方法 多线程、多进程、协程爬虫 对于操作系统来说，一个任务就是一个进程（Process），比如打开一个浏览器就是启动一个浏览器进程，打开一个记事本就启动了一个记事本进程，打开两个记事本就启动了两个记事本进程

目录 HTTP协议 HTTP概述 HTTP之URL HTTP状态码 HTTP首部 HTTP首部字段 HTTP通用首部字段 HTTP请求首部字段 HTTP工作原理 HTTP报文内的HTTP信息 HTTP之请求消息Request HTTP之响应Response get请求和post请求 get请求 post请求 post和get请求的区别 HTTP协议 @ HTTP概述 http协议是用来规定客户端和服务器间通信的报文的格式的； 客户端和服务器端通信的内容称为报文； 客户端和服务器间通信是基于请求和响应的模式的；客户端给服务器发送请求报文，服务器给客户端返回响应报文； 服务器：接收请求返回响应； 请求 request 响应 response http客户端和服务器端 客户端发送给服务器的请求就相当于是客户端给服务器写信（请求报文）； 服务器返回的相应就相当于服务器给客户端写回信（响应报文）； http协议就是规定客户端和服务器端传输的协议； HTTP之URL HTTP使用统一资源标识符（Uniform Resource Identifiers, URI）来传输数据和建立连接。URL是一种特殊类型的URI，包含了用于查找某个资源的足够的信息； URL,全称是UniformResourceLocator, 中文叫统一资源定位符,是互联网上用来标识某一处资源的地址。 以下面这个URL为例