url | 易学教程

网络爬虫与搜索引擎优化（SEO）

阅读更多关于网络爬虫与搜索引擎优化（SEO）

一、网络爬虫网络爬虫（又被称为网页蜘蛛，网络机器人，在FOAF社区中间，更经常的称为网页追逐者），是一种按照一定的规则，自动地抓取万维网信息的程序或者脚本。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。简单来讲，它是一种可以在无需人类干预的情况下自动进行一系列web事务处理的软件程序。web爬虫是一种机器人，它们会递归地对各种信息性的web站点进行遍历，获取第一个web页面，然后获取那个页面指向的所有的web页面，依次类推。因特网搜索引擎使用爬虫在web上游荡，并把他们碰到的文档全部拉回来。然后对这些文档进行处理，形成一个可搜索的数据库。简单来说，网络爬虫就是搜索引擎访问你的网站进而收录你的网站的一种内容采集工具。例如：百度的网络爬虫就叫做BaiduSpider。二、网络爬虫基本原理网络 < --- > 爬虫 < --- > 网页内容库 < --- > 索引程序 < --- > 索引库 < --- > 搜索引擎 < --- > 用户三、爬虫程序需要注意的地方 1、链接提取以及相对链接的标准化爬虫在web上移动的时候会不停的对HTML页面进行解析，它要对所解析的每个页面上的URL链接进行分析，并将这些链接添加到需要爬行的页面列表中去 2、避免环路的出现 web爬虫在web上爬行时，要特别小心不要陷入循环之中，至少有以下三个原因，环路对爬虫来说是有害的。

Strtus2标签<s:url>

阅读更多关于 Strtus2标签

在没有使用 Struts2 的时候可以使用 el 来进行 url 传参。而在 Struts2 中不推荐使用 el （其实在 Struts2.0.0.11 之后就不再支持 el ）而推荐使用功能更为强大的 ognl 表达式语言。那么怎么使用 ognl 实现 url 传参 ? <s:url> 就是解决这一问题的标签 <s:url> 标签一般和超链接 <a> 一起使用，用于带多个参数。 [html] view plain copy print ? < a href =" < s:url action = "" > < s:param name = " " value = "" > </ s:param > < s:param name = " " value = "" > </ s:param > < s:param name = " " value = "" > </ s:param > </ s:url > " > 测试连接 </ a > <a href=" <s:url action=""> <s:param name=" " value=""></s:param> <s:param name=" " value=""></s:param> <s:param name=" " value=""></s:param> </s:url>" >测试连接</a> <s:url> 生成一个

JSTL 核心标签库使用

阅读更多关于 JSTL 核心标签库使用

JSTL 核心标签库标签共有13个，功能上分为4类： 1.表达式控制标签： out 、 set 、 remove 、 catch 2.流程控制标签： if 、 choose 、 when 、 otherwise 3.循环标签： forEach 、 forTokens 4.URL操作标签： import 、 url 、 redirect 使用标签时，一定要在jsp文件头加入以下代码： <%@taglib prefix="c" uri="http://java.sun.com/jsp/jstl/core" %> 下面分别对这些标签进行说明： 1. <c:out> 用来显示数据对象（字符串、表达式）的内容或结果使用Java脚本的方式为：<% out.println("hello") %> <% =表达式 %> 使用JSTL标签：<c:out value="字符串">，例如： <body> <c:out value="&lt要显示的数据对象（未使用转义字符）&gt" escapeXml="true" default="默认值"></c:out><br/> <c:out value="&lt要显示的数据对象（使用转义字符）&gt" escapeXml="false" default="默认值"></c:out><br/> <c:out value="${null}" escapeXml=

drupal常用api

阅读更多关于 drupal常用api

最短的函数 // 语言字串，除了可以获取对应语言外，还可以设置字串变量。可以是!var, @var或 %var，%var就添加元素外层。@var会过滤HTML，!var会原样输出HTML，%var会添加span外层。 t('my name is @name', array('@name' => 'willam')); // 一个链接 l('User Edit', 'user/1/edit'); 判断首页 drupal_is_front_page(); GLOBALS $GLOBALS['base_url'] // URL root GLOBAL 文档加载inc文件 module_load_include('inc', 'mymodule', 'mymodule.field'); 得到ROOT目录 getcwd() DRUPAL_ROOT 把URI(public://)地址转换为绝对地址 drupal_realpath('public://xxx.csv'); // 得到系统路径 file_create_url('public://xxx.csv'); // 得到URL 加载脚本&CSS drupal_add_js('misc/collapse.js'); drupal_add_js('misc/collapse.js', 'file'); drupal_add_js(drupal

充分利用缓存来提高网站性能

阅读更多关于充分利用缓存来提高网站性能

[原文作者]： Omar [原文链接]： Making best use of cache for high performance website 使用URLs时要确保一致性浏览器基于URL来缓存资源。当URL改变后，浏览器从源服务器获该资源的新的版本。查询字符串参数的改变也被视为URL的改变。例如，"/default.aspx" 被缓存到浏览器，如果你请求了"/default.aspx?123"，浏览器将从服务器获取新的版本。对于这个新URL的响应，如果你返回的是正确的缓存报头，它仍然会被缓存。这样的话，再把查询字符串改成类似于"/default.aspx?456”，那么服务器将又返回一个新的版本。因此，当你想响应得到缓存时，就要确保你在各处使用了一致性的URL。在主页里，如果你请求了一个URL为"/welcome.gif"的文件，那么确保在其他页面里在请求该文件时也使用相同的URL。常见的一个错误是，有时会从URL中省略"www"子域。 www.pageflakes.com/default.aspx 与pageflakes.com/default.aspx是不同的，两者会被分别的缓存。静态内容会被缓存得更久静态内容可以被缓存得更久，例如一个月。如果你正考虑应该只缓存几天，以便当你修改文件后，用户可以很快获取到新的版本，那么你错了。如果一个文件是通过设置过期报头

REST服务和HTTP Headers

阅读更多关于 REST服务和HTTP Headers

REST服务 REST service是一种架构模式，RESTFul架构应该遵循统一接口原则，统一接口包含了一组受限的预定义的操作，不论什么样的资源，都是通过使用相同的接口进行资源的访问。接口应该使用标准的HTTP方法，如GET，POST，PUT，DELETE，并遵循这些方法的语义。 REST实例【1】假设用户正在访问一个电商网站www.egoods.com。用户登陆该网站进行购物时，首先需要在该网站上选择其所需要寻找物品的分类，进而列出属于该分类的各个物品。看似简单的流程其实浏览器向服务器发送了多次请求：1，页面加载时将得到所有商品分类，服务器将这些分类显示在浏览器上。2，用户选择一个分类，浏览器请求该分类的详细信息，服务器将该分类的所有商品显示在浏览器上。3，用户选择商品，浏览器请求该产品的信息，服务器将该产品显示在浏览器上。 1，向www.egoods.com/api/categories发送GET请求 GET /api/categories Host: www.egoods.com Authorization: Basic xxxxxxxxxxxxxxxxx Accept: application/json 从服务器端返回的JSON HTTP/1.1 200 OK Content-Type: application/json Content-Length: xxx [ {

mitmproxy charles 夜神模拟器实现抖音半自动化无水印视频爬虫（2020.3.8）

阅读更多关于 mitmproxy charles 夜神模拟器实现抖音半自动化无水印视频爬虫（2020.3.8）

前言：出于兴趣，这里来做了一个半自动化的抖音视频爬虫，该爬虫可以实现爬取某一用户发布的所有视频。环境：夜深模拟器（安卓4） CODE： import json,os import requests def response(flow): #分析数据发现这是抖音旧的视频请求地址（估计是防爬取定时换的吧） #url='https://api.amemv.com/aweme/v1/aweme/post/' url='https://api3-normal-c-lq.amemv.com/aweme/v1/aweme/post/' #筛选出以上面url为开头的url if flow.request.url.startswith(url): text=flow.response.text #将已编码的json字符串解码为python对象 data=json.loads(text) #在charles中刚刚看到每一个视频的所有信息 #都在aweme_list中 video_url=data['aweme_list'] print(video_url) path='G:/Others/Douyin' #path='D:\crawler_data\douyin' if not os.path.exists(path): os.mkdir(path) for each in video_url:

python之多线程图片抓取

阅读更多关于 python之多线程图片抓取

站点目标： https://www.2717.com/ 编写脚本： import os import threading import time import requests from bs4 import BeautifulSoup headers = { 'user-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_15_3) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/80.0.3987.132 Safari/537.36', } def do_request(url, tries=3): # 添加重试机制 i = 0 while i < tries: try: res = requests.get(url, timeout=5) return res except requests.exceptions.RequestException as e: i += 1 print('request error.', e) return False def download_local(url, img_file): ''' 下载图片到本地 :param url: 远程图片地址 :param img_file: 本地存储地址 ''' res = do_request(url) if

爬虫初识

阅读更多关于爬虫初识

爬虫什么是爬虫? 通过编写代码，模拟浏览器发送请求，让其去网络上抓去数据的过程。爬虫分类？通用爬虫抓取整张网页的全部内容聚焦爬虫抓去一张页面的部分内容通用爬虫和聚焦爬虫的关联：聚焦是建立在通用爬虫的基础上增量式监测网站数据的更新情况，以便将最新的数据进行爬取。 reqeusts基本介绍作用：实现爬虫，模拟浏览器上网。编码流程：指定url地址(指定要爬取的网站地址) 发起请求获取响应的数据持久化储存环境安装： pip install requests 反爬之UA伪装什么是UA？请求载体的身份标识 UA查找路径：打开浏览器，搜索一个网页→Ctrl+Shift+c→Network→选择网址对饮的name→Headers→User-Agent（把后面的值复制）常用浏览器请求头UA 1) Chrome Win7: Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1 win10 64 Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/79.0.3945.130 Safari/537

python Django请求生命周期

阅读更多关于 python Django请求生命周期

首先我们知道HTTP请求及服务端响应中传输的所有数据都是字符串. 在Django中,当我们访问一个的url时,会通过路由匹配进入相应的html网页中. Django的请求生命周期是指当用户在浏览器上输入url到用户看到网页的这个时间段内,Django后台所发生的事情而Django的生命周期内到底发生了什么呢?? 1. 当用户在浏览器中输入url时,浏览器会生成请求头和请求体发给服务端请求头和请求体中会包含浏览器的动作(action),这个动作通常为get或者post,体现在url之中. 2. url经过Django中的wsgi,再经过Django的中间件,最后url到过路由映射表,在路由中一条一条进行匹配, 一旦其中一条匹配成功就执行对应的视图函数,后面的路由就不再继续匹配了. 3. 视图函数根据客户端的请求查询相应的数据.返回给Django,然后Django把客户端想要的数据做为一个字符串返回给客户端. 4. 客户端浏览器接收到返回的数据,经过渲染后显示给用户. 视图函数根据客户端的请求查询相应的数据后.如果同时有多个客户端同时发送不同的url到服务端请求数据服务端查询到数据后,怎么知道要把哪些数据返回给哪个客户端呢?? 因此客户端发到服务端的url中还必须要包含所要请求的数据信息等内容. 例如, http://www.aaa.com/index/?nid=user

订阅 url