url

这两天在弄分享，从第三方应用或者浏览器打开自己app的东西 传统的方式是通过URL Scheme的方式，但是iOS9以后又出了新的更完美的方式Universal Links。 传统的URL Scheme方式微信内置的浏览器都是封锁了所有它投资的公司之外的，只有白名单的才可以（比如京东，B站，等）。Universal Links也不能算是完美的实现，但是已经是目前为止最好的了。 就说一下这个东西的介绍，就像在windows里面为某一类型的文件添加了默认的打开方式。只不过这个文件类型变成了某一个“域名”（并非完全是某个域名，或者可以称之为某段有特殊意义的URL）的URL。这个东西只能在iOS9以后才有。 具体的表现在在iOS系统中，当你邮件或者短信或者其他方式收到含有某段“特定标示”的URL的时候如果安装有你的app，就可以直接默认调用app去打开，否则只能调用你的Safari去打开。具体到微信里面就是打开了分享的H5，右上角更多－在Safari中打开，可以直接调用你的app去打开这个URL。具体在app的中怎么展示相关的逻辑就看你的了。 具体介绍的相关文章： 苹果文档： https://developer.apple.com/library/ios/documentation/General/Conceptual/AppSearch/UniversalLinks.html

Nginx_Rewrite 一、介绍 Rewrite根据nginx提供的全局变量或自己设置的变量，结合正则表达式和标志位实现url重写和者重定向。 Rewrite和location类似，都可以实现跳转，区别是rewrite是在同一域名内更改url，而location是对同类型匹配路径做控制访问，或者proxy_pass代理到其他服务器。 Rewrite和location执行顺序： 执行server下的rewrite 执行location匹配 执行location下的rewrite 二、语法和参数说明 1.rewrite语法格式 rewrite <regex> <replacement> <flag>; 关键字 正则表达式 代替的内容 重写类型 Rewrite：一般都是rewrite Regex：可以是字符串或者正则来表示想要匹配的目标URL Replacement：将正则匹配的内容替换成replacement Flag：flag标示，重写类型： - last：本条规则匹配完成后，继续向下匹配新的location URI规则；相当于Apache里德(L)标记，表示完成rewrite，浏览器地址栏URL地址不变；一般写在server和if中; - break：本条规则匹配完成后，终止匹配，不再匹配后面的规则，浏览器地址栏URL地址不变；一般使用在location中； -

1. 列举Http请求中常见的请求方式? GET 向特定的路径资源发出请求，数据暴露在url中 POST 向指定路径资源提交数据进行处理请求（一般用于上传表单或者文件），数据包含在请求体中 OPTIONS 返回服务器针对特定资源所支持的HTTP请求方法，允许客户端查看、测试服务器性能 HEAD 向服务器与GET请求相一致的响应，响应体不会返回，可以不必传输整个响应内容 PUT 从客户端向服务器传送的数据取代指定的文档的内容 DELETE 请求服务器删除指定的页面 TRACE 回显服务器收到的请求，主要用于测试或诊断 CONNECT 2. http协议和https协议有什么区别? HTTPS和HTTP的区别主要如下： 　　1、https协议需要到ca申请证书，一般免费证书较少，因而需要一定费用。 　　2、http是超文本传输协议，信息是明文传输，https则是具有安全性的ssl加密传输协议。 　　3、http和https使用的是完全不同的连接方式，用的端口也不一样，前者是80，后者是443。 　　4、http的连接很简单，是无状态的；HTTPS协议是由SSL+HTTP协议构建的可进行加密传输、身份认证的网络协议，比http协议安全。 3. 简述Django请求生命周期(非常重要) 当用户在浏览器中输入url时,浏览器会生成请求头和请求体发给服务端 请求头和请求体中会包含浏览器的动作

retreive()被认为是个老旧函数，可能会在将来抛弃。 urllib.request.urlretrieve(url, filename=None, reporthook=None, data=None) Exceptions和函数urlopen()相同。 具体文档，参见 https://docs.python.org/3/library/urllib.request.html#module-urllib.request 代码片段 from urllib.request import urlretrieve import socket import os import sys def reporthook(blocknum, bs, size): # blocknum:已经下载的数据块 bs:数据块的大小 size:远程文件的大小 per = 100.0 * blocknum * bs / size if per > 100 : per = 100 sys.stdout.write('Download progress: %.2f%% \r'%per) sys.stdout.flush() class ClassName(): def __init__(self): socket.setdefaulttimeout(30) def run(self): ... while

因特网的迅猛发展、WEB信息的增加，用户要在信息海洋里查找信息，就像大海捞针一样，搜索引擎技术恰好解决了这一难题，它可以为用户提供信息检索服务。目前，搜索引擎技术正成为计算机工业界和学术界争相研究、开发的对象。 　　搜索引擎（Search Engine）是随着WEB信息的迅速增加，从1995年开始逐渐发展起来的技术。 　　据发表在《科学》杂志1999年7月的文章《WEB信息的可访问性》估计，全球目前的网页超过8亿，有效数据超过9TB，并且仍以每4个月翻一番的速度增长。例如，Google目前拥有10亿个网址，30亿个网页，3.9 亿张图像，Google支持66种语言接口，16种文件格式，面对如此海量的数据和如此异构的信息，用户要在里面寻找信息，必然会“大海捞针”无功而返。 　　搜索引擎正是为了解决这个“迷航”问题而出现的技术。搜索引擎以一定的策略在互联网中搜集、发现信息，对信息进行理解、提取、组织和处理，并为用户提供检索服务，从而起到信息导航的目的。 　　目前，搜索引擎技术按信息标引的方式可以分为目录式搜索引擎、机器人搜索引擎和混合式搜索引擎；按查询方式可分为浏览式搜索引擎、关键词搜索引擎、全文搜索引擎、智能搜索引擎；按语种又分为单语种搜索引擎、多语种搜索引擎和跨语言搜索引擎等。 　　目录式搜索引擎 　　目录式搜索引擎（Directory Search Engine

此文纯理论知识，很不错的搜索引擎的资料。 搜索引擎的定义 搜索引擎是传统IR技术在Web环境中的应用。一般来说，搜索引擎是一种用于帮助用户在Internet上查询信息的搜索工具，它以一定的策略在Internet中搜索，发现信息，对信息进行理解，提取，组织和处理，并为用户提供检索服务，从而起到信息导航的目的。 搜索引擎的体系结构 典型的搜索引擎结构一般由以下三个模块组成：信息采集模块（Crawler），索引模块（Indexer），查询模块（Searcher）。 Crawler ：从web中采集网页数据 Indexer ：对Crawler采集数据进行分析生成索引。 Searcher ：接受查询请求，通过一定的查询算法获取查询结果，返回给用户。 -->Crawler Crawler 负责页面信息的采集，工作实现基于以下思想：既然所有网页都可能链接到其他网站，那么从一个网站开始，跟踪所有网页上的所有链接，就有可能检索整个互联 网。Crawler首先从待访问URL队列中获取URLs，根据URL从中抓取网页数据，然后对网页进行分析，从中获取所有的URL链接，并把它们放到待 访问的URL队列中，同时将已访问URL移至已访问的URL队列中。不断重复上面的过程。 Crawler存在以下的关键问题： >多线程抓取时的任务调度问题： 搜索引擎会产生多个Crawler同时对网页进行抓取

#! /usr/bin/python2.7 # -- coding:utf-8 -- import os, urllib,urllib2, thread,threading import re #匹配音乐url reg=re.compile('{"name":"(.+?)".+?"rawUrl":"(.+?)",.+?}', re.I) class downloader(threading.Thread): def __init__(self, url, name): threading.Thread.__init__(self) self.url=url self.name=name def run(self): print 'downloading from %s' % self.url urllib.urlretrieve(self.url, self.name) threads=[] #多线程下载文件 def main(url): response=urllib.urlopen(url) text=response.read() groups=re.finditer(reg, text) for g in groups: name=g.group(1).strip() + ".mp3" path=g.group(2).replace('\\', '') t

　　 一、python模块 1、urllib.request常规使用 import urllib.request #1、指定URL url = 'http://www.baidu.com' #2、发起请求：urlopen可以根据指定的url发起请求，且返回一个响应对象 response = urllib.request.urlopen(url=url) #3、获取页面数据：read函数返回的就是响应对象中存储的页面数据（byte） response_text = response.read() #4、持久化存储 with open('./baidu.html','wb') as f: f.write(response_text) print('写入成功') urllib.request urllib.request处理url中文 import urllib.request import urllib.parse #1、指定URL # url = 'https://tieba.baidu.com/f?ie=utf-8&kw=你好&fr=search' url = 'https://tieba.baidu.com/f?ie=utf-8&kw=%s&fr=search' #url不可以存在非ascii编码的字符数据 wd = urllib.parse.quote("你好") new

最近工作需要用到pdd的一些接口，官方竟然没有提供，python的sdk，于是就自己简单的写了一个订单接口的api。 希望能帮助到使用python的小伙伴： #!/usr/bin/python3 # -*- coding: utf-8 -*- # @Time : 2020/3/29 0021 下午 19:40 # @Author : xiaozhi！ # @FileName: pdd_api # @Software: PyCharm import time import hashlib import requests from urllib.parse import urlencode class PddApi: host = "https://gw-api.pinduoduo.com/api/router?" headers = { "accept": "application/json" } def __init__(self, id=None, token=None, secret=None): """ 初始化 """ self.client_id = id self.secret = secret self.access_token = token self.data_type = "JSON" def sign_md5(self, params): """

目录 Scrapy爬虫框架入门 Scrapy概述 组件 数据处理流程 安装和使用Scrapy Scrapy爬虫框架入门 Scrapy概述 Scrapy是Python开发的一个非常流行的网络爬虫框架，可以用来抓取Web站点并从页面中提取结构化的数据，被广泛的用于数据挖掘、数据监测和自动化测试等领域。下图展示了Scrapy的基本架构，其中包含了主要组件和系统的数据处理流程（图中带数字的红色箭头）。 组件 Scrapy引擎（Engine）：Scrapy引擎是用来控制整个系统的数据处理流程。 调度器（Scheduler）：调度器从Scrapy引擎接受请求并排序列入队列，并在Scrapy引擎发出请求后返还给它们。 下载器（Downloader）：下载器的主要职责是抓取网页并将网页内容返还给蜘蛛（Spiders）。 蜘蛛（Spiders）：蜘蛛是有Scrapy用户自定义的用来解析网页并抓取特定URL返回的内容的类，每个蜘蛛都能处理一个域名或一组域名，简单的说就是用来定义特定网站的抓取和解析规则。 条目管道（Item Pipeline）：条目管道的主要责任是负责处理有蜘蛛从网页中抽取的数据条目，它的主要任务是清理、验证和存储数据。当页面被蜘蛛解析后，将被发送到条目管道，并经过几个特定的次序处理数据。每个条目管道组件都是一个Python类，它们获取了数据条目并执行对数据条目进行处理的方法