url

python-爬虫-庆余年小说-词云胡乱分析

孤人 提交于 2020-01-31 02:45:42
进入正题,首先要搞到资源,我先去了搜索了一番,找到个网站“落霞”。一言不合就按下了F12,翻了下网页源码,超级简单。 from bs4 import BeautifulSoup from requests import Session from re import sub , DOTALL sess = Session ( ) txt = [ ] url = 'https://www.luoxia.com/qing/48416.htm' def find ( url ) : res = sess . get ( url ) soup = BeautifulSoup ( res . content , 'html.parser' ) title = soup . find ( 'title' ) div = soup . find ( 'div' , id = 'nr1' ) ps = div . find_all ( 'p' ) page = title . text + '\n' print ( page ) for p in ps : page += p . text + '\n' txt . append ( page ) try : a = soup . find ( 'a' , rel = 'next' ) href = a [ 'href' ] except :

iOS开发——网络篇——HTTP/NSURLConnection(请求、响应)、http响应状态码大全

你。 提交于 2020-01-31 01:12:57
一、网络基础 1、基本概念 > 为什么要学习网络编程 在移动互联网时代,移动应用的特征有 几乎所有应用都需要用到网络,比如QQ、微博、网易新闻、优酷、百度地图 只有通过网络跟外界进行数据交互、数据更新,应用才能保持新鲜、活力 如果没有了网络,也就缺少了数据变化,无论外观多么华丽,终将变成一潭死水 移动网络应用 = 良好的UI + 良好的用户体验 + 实时更新的数据 新闻:网易新闻、新浪新闻、搜狐新闻、腾讯新闻 视频:优酷、百度视频、搜狐视频、爱奇艺视频 音乐:QQ音乐、百度音乐、酷狗音乐、酷我音乐 LBS:百度地图、高德地图、大众点评、墨迹天气、滴滴打车 电商:淘宝、京东商城、天猫、蘑菇街、凡客诚品、美丽说 社交:QQ、微信、微博、陌陌、比邻 为什么要学习网络编程 网络编程是一种实时更新应用数据的常用手段 网络编程是开发优秀网络应用的前提和基础 > 基本概念 在网络编程中,有几个必须掌握的基本概念 客户端(Client):移动应用(iOS、android等应用) 服务器(Server):为客户端提供服务、提供数据、提供资源的机器 请求(Request):客户端向服务器索取数据的一种行为 响应(Response):服务器对客户端的请求做出的反应,一般指返回数据给客户端 作为移动开发工程师,主要的精力都是放在客户端开发 2、服务器 按照软件开发阶段来分,服务器可以大致分为2种

Python3+flask+mysql+echarts:实现对新型冠状病毒肺炎疫情追踪的可视化数据的采集、处理。(中国地图、饼图、柱形图、折线图)

纵饮孤独 提交于 2020-01-31 00:48:18
浏览器页面返回的结果视图: 1. 获取数据 : 这里我用到的数据源是: 腾讯的疫情实时追踪 (此处获取json数据转载来源: https://blog.csdn.net/xufive/article/details/104093197 ) 深入分析,我们就得到了url地址、请求方法、参数、应答格式等信息。查询参数中,callback是回调函数名,我们可以尝试置空,_应该是以毫秒为单位的当前时间戳。有了这些信息,分分钟就可以抓到数据了。 代码: import time , json , requests url = 'https://view.inews.qq.com/g2/getOnsInfo?name=wuwei_ww_area_counts&callback=&_=%d' % int ( time . time ( ) * 1000 ) data = json . loads ( requests . get ( url = url ) . json ( ) [ 'data' ] ) print ( data ) data显示的结果为 [ { 'country' : '中国' , 'area' : '湖北' , 'city' : '武汉' , 'confirm' : 2261 , 'suspect' : 0 , 'dead' : 129 , 'heal' : 51 } . .

【前端学习笔记day28】3.12. background属性

风流意气都作罢 提交于 2020-01-30 22:20:58
文章目录 3.12. background属性 3.12. background属性 ## background属性 属性解释 background属性是css中应用比较多,且比较重要的一个属性,它是负责给盒子设置背景图片和背景颜色的,background是一个复合属性,它可以分解成如下几个设置项: background-color 设置背景颜色 background-image 设置背景图片地址 background-repeat 设置背景图片如何重复平铺 background-position 设置背景图片的位置 background-attachment 设置背景图片是固定还是随着页面滚动条滚动 实际应用中,我们可以用background属性将上面所有的设置项放在一起,而且也建议这么做,这样做性能更高,而且兼容性更好,比如:“background: #00FF00 url(bgimage.gif) no-repeat left center fixed”,这里面的“#00ff00”是设置background-color;“url(bgimage.gif)”是设置background-image;“no-repeat”是设置background-repeat;“left center”是设置background-position;“fixed”是设置background

python-爬虫-庆余年小说-词云胡乱分析

▼魔方 西西 提交于 2020-01-30 22:02:35
真的不想再看见有谁未经许可也不标明出处搬运我的文章了,所以我自己先在博客园同步发一个。 进入正题,首先要搞到资源,我先去了搜索了一番,找到个网站“落霞”。一言不合就按下了F12,翻了下网页源码,超级简单。 1 from bs4 import BeautifulSoup 2 from requests import Session 3 from re import sub,DOTALL 4 sess = Session() 5 txt=[] 6 url = 'https://www.luoxia.com/qing/48416.htm' 7 def find(url): 8 res = sess.get(url) 9 soup = BeautifulSoup(res.content,'html.parser') 10 title = soup.find('title') 11 div = soup.find('div',id='nr1') 12 ps = div.find_all('p') 13 page = title.text+'\n' 14 print(page) 15 for p in ps: 16 page += p.text+'\n' 17 txt.append(page) 18 try: 19 a = soup.find('a',rel='next') 20 href =

requests模块

和自甴很熟 提交于 2020-01-30 21:08:59
安装 pip install requests pip install -i https://pypi.doubanio.com/simple/ requests requests.request() 请求接受的参数 requests.request(method, url,** kwargs)类能够构造一个请求,支持不同的请求方式 import requests response = requests.request(method='get', url='https://www.baidu.com') print(response.status_code) request类中几个参数: method:请求方式。 url:请求URL。 **kwargs: params:字典或者字节序列,作为参数增加到url中,使用这个参数可以把一些键值对以 k1=v1&k2=v2 的模式增加到url中,get请求中用的较多。 data:字典、字节序列或者文件对象,重点作为向服务器提供或提交资源,作为请求的请求体,与params不同放在url上不同。它也可以接受一个字符串对象。 json:json格式的数据,可以向服务器提交json类型的数据。 headers:字典,定义请求的请求头,比如可以headers字典定义user agent。 cookies:字典或者CookieJar。 auth:元组

Scrapy 基础

≡放荡痞女 提交于 2020-01-30 19:42:15
1.requests 安装: -pip install requests 确认requests是否安装成功 -import requests eg : -import requests r = requests.get("htpp://www.baidu.com")# 获取百度 r.status_code #状态码 返回值 :200 说明 请求成功 t.encoding = 'utf-8' t.text #打印百度的html网页的代码 -- html 代码 --2.get方法: r =requests.get(url) request.get(url,params=None, **kwargs) url: 拟获取页面的url的链接, params: url中的额外参数,字典或字节流格式,可选 ** kwargs 可选的3.Response 对象: -属性: r.status_code:http请求的返回状态,200表示链接成功, 404表示连接失败 t.text; http响应内容的字符串形式, 即, url对应的页面内容\ r.encoding:从http header中猜测的响应内容编码方式, r.apparent_encoding: 从内容分析出的响应内容编码方式(备选编码方式) r.content :http响应内容的二进制形式4.requests库的异常:

HTTP和GET/POST请求(NSURLConnection)

耗尽温柔 提交于 2020-01-30 19:19:20
网络编程 网络编程是一种实时更新应用数据的常用手段 网络编程是开发优秀网络应用的前提和基础 网络基本概念 客户端(就是手机或者ipad等手持设备上面的APP) 服务器(远程服务器-本地服务器) 请求(客户端索要数据的方式) 响应(需要客户端解析数据) 数据库(服务器的数据从哪里来) HTTP URL 如何找到服务器(通过一个唯一的URL) URL介绍 统一资源定位符 url格式(协议\主机地址\路径) 协议:不同的协议,代表着不同的资源查找方式、资源传输方式 主机地址:存放资源的主机(服务器)的IP地址(域名) 路径:资源在主机(服务器)中的具体位置 请求协议 【file】访问的是本地计算机上的资源,格式是file://(不用加主机地址) 【ftp】访问的是共享主机的文件资源,格式是ftp:// 【mailto】访问的是电子邮件地址,格式是mailto: 【http】超文本传输协议,访问的是远程的网络资源,格式是http://(网络请求中最常用的协议) HTTP协议 简介 a.超文本传输协议 b.规定客户端和服务器之间的数据传输格式 c.让客户端和服务器能有效地进行数据沟通 优缺点 a.简单快速(协议简单,服务器端程序规模小,通信速度快) b.灵活(允许传输各种数据) c.非持续性连接(1.1之前版本是非持续的,即限制每次连接只处理一个请求,服务器对客户端的请求做出响应后

Java中网络相关API

余生颓废 提交于 2020-01-30 18:20:29
InetAddress:用于标识网络上的硬件资源,即表示IP地址。 /* * InetAddress类 */ public class Test01 { public static void main(String[] args) throws UnknownHostException { // 获取本机的InetAddress实例 InetAddress address = InetAddress.getLocalHost(); System.out.println("计算名:" + address.getHostName()); System.out.println("IP地址:" + address.getHostAddress()); byte[] bytes = address.getAddress();// 获取字节数组形式的IP地址 System.out.println("字节数组形式的IP:" + Arrays.toString(bytes)); System.out.println(address);// 直接输出InetAddress对象 // 根据机器名获取InetAddress实例 // InetAddress address2 = InetAddress.getByName("NJZBXXNB015"); InetAddress address2

Http php proxy server

|▌冷眼眸甩不掉的悲伤 提交于 2020-01-30 12:09:29
问题 how to recover a a url along with the message which it sends form a client system in the proxy server.there is any command to recover the url and take the message out of the url in the proxy server before forwarding the url to Internet. For Example: http://companion_proxy/ocl.cgi?req=cnc_cmd;target=12;action=setchannel;channel=34 this is the url is typed in address bar,then how to recover the above url and the message such as target=12,action=setchannel,channel=34,req=cnc_cmd from the url. I