url

服务端： const http = require("http"); const fs = require("fs"); const url = require("url"); const querystring = require("querystring"); let data = '成功开启服务'; fs.writeFile('文件.txt', data, 'utf8',(err) => { if (err) throw err; console.log('日志已经输出'); }); let server = http.createServer(function (req,res) { let arr = req.url.toString().split('/'); let arr1 = __dirname.toString().split('\\'); const UrlArr = arr1.join('/'); if(req.url === '/') { console.log(2); fs.readFile('./server.html', (err, data) => { res.setHeader("Access-Control-Allow-Origin","*"); res.writeHead(200, { 'Content-Type': 'text/html'

#爬取百度网页代码： from urllib import request # url = 'http://www.baidu.com'# 我写的 url = 'https://www.baidu.com/' # 我复制的 header = { 'User-Agent' : "Mozilla/5.0 (Windows NT 6.1; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/74.0.3729.169 Safari/537.36" } #设置 header是为了让爬虫看起来更像是从正常浏览器访问，防止被禁等等 req = request . Request ( url , headers = header ) response = request . urlopen ( req ) print ( response . read ( ) . decode ( ) ) 以下代码可直接用： from urllib import request from bs4 import BeautifulSoup url = 'https://www.baidu.com' headers = { "Host" : 'www.baidu.com' , "User-Agent" : "Mozilla/5.0 (Windows

在web中，get和post的区别详解 在说get和post的区别之前，我们应该先了解一下什么是HTTP。 HTTP 简介 HTTP是一个简单的请求-响应协议，是Hyper Text Transfer Protocol（超文本传输协议）的缩写，是一个基于TCP/IP通信协议的用来传递数据的协议。 HTTP 工作原理 HTTP是基于客户/服务器模式的，面向连接的，一种无状态协议。浏览器作为HTTP客户端通过URL向HTTP服务端（即WEB服务器）发送请求。典型的HTTP处理过程如下： （1）客户与服务器建立连接 （2）客户向服务器提出请求 （3）服务器接受请求，并根据请求返回相应的结果作为应答 （4）客户与服务器断开连接 HTTP注意事项： HTTP是面向连接的 ：即每次连接只处理一个请求。服务器处理完客户的请求，并收到客户的应答后，即断开连接。 HTTP是媒体独立的 ：只要客户端和服务器知道如何处理数据的内容，任何类型的数据都可以通过HTTP发送。客户端以及服务器指定使用适合的MIME-type内容类型。 HTTP是无状态的 ：无状态是指协议对于事务处理没有记忆能力。缺少状态意味着如果后续处理需要前面的信息，则它必须重传，这样可能导致每次连接传送的数据量增大。但另一方面，在服务器不需要先前信息时它的应答就较快。 HTTP 请求方法 OPTIONS

（一）fs - 文件系统 用法： 变量 = fs.readFileSync(‘文件路径’) fs.renameSync(‘改前’,‘改后’); fs.unlinkSync(‘文件路径’) let fs = require("fs");//引入fs模块 // 同步写法 try catch try{ let data = fs.readFileSync("./html/index.html"); console.log("data",data); }catch(e){ console.log("e",e) } console.log("11"); // 更名 fs.renameSync("./html/index.html","./html/one.html") //文件名更改之前 文件名更改之后 //删除 fs.unlinkSync("./html/one.html") （二）静态资源托管 let http = require("http");//引入http模块 let fs = require("fs");//引入fs模块 let app = http.createServer((req,res)=>{//创建服务器 //判断是动态资源还是静态资源 if(req.url.indexOf("./api")!==-1){ console.log("处理接口",req.url);

在论坛好久了没有怎么正式的发表过东西，今天给大家共享一下我的采集代码！ 思路： 　　采集程序的思路很简单大体可以分为以下几个步骤： 　1.获取远程文件源代码（file_get_contents或用fopen）. 2.分析代码得到自己想要的内容（这里用正规匹配，一般是得到分页）。 　　3.跟根得到的内容进行下载入库等操作。 在这里第二步有可能要重复的操作好几次，比如说要先分析一下分页地址，在分析一下内页的内容才能取得我们想要的东西。 代码： 记的以前发部过部分的代码今天我在这里在简单的发部一下 复制php内容到剪贴板 PHP代码: @$nl=file_get_contents($rs['url']);//抓取远程内容 PReg_match_all("/var url = \"gameswf\/(.*?)\.swf\";/is",$nl,$connect);//进行正规匹配取得自己要的内容 MySQL_query("insert ......插入数据库部分"); 上面的代码就是所有采集要用到的代码了，当然大家也可以用fope来作，我个人喜欢用file_get_contents。 下面在共享一下我的下载图片Flash到本地的办法，太简单了两行代码 复制PHP内容到剪贴板 PHP代码: if(@copy($url,$newurl)){ echo 'ok'; }

用Node.js创建一个静态服务器,然后将二阶段项目部署在这个服务器中 源代码： ```javascript var http = require( 'http' ); var port = 8080 ; var hostname = '127.0.0.1' var path = require( 'path' ) // 磁盘路径处理的模块 var fs = require( 'fs' ) // 操作文件、目录的模块 var url = require( 'url' ) // 处理url var server = http.createServer( function ( request, response ) { var staticPath = path.join( __dirname,'static' ) var urlObj = url.parse( request.url ) /* Url { protocol: null, slashes: null, auth: null, host: null, port: null, hostname: null, hash: null, search: null, query: null, pathname: '/static/css/index.css', path: '/static/css/index.css', href

这一周我学习了python的一些基本语法和函数 以及如何从不同类型的网站爬虫 爬取了丁香园-的疫情数据还有拉勾网，猫眼的一些信息 学到两种方法，一种是xpath方法，一种是正则表达式 xpath import requests from lxml import etree import xlwt url='http://www.beijing.gov.cn/hudong/hdjl/com.web.consult.consultDetail.flow?originalId=AH20021900306' headers = { "user-agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/71.0.3578.98 Safari/537.36" } response=requests.post(url,headers=headers) res_html=etree.HTML(response.text)//将爬取出的数据解析为要xpath的形式 dd_list=res_html.xpath('//*[@id="f_baner"]/div[1]/div[1]/div[2]/strong/text()')[0].strip() print(dd

这个图片随机切换代码也很简单,大家可以自己看代码 <script language="JavaScript"> var how_many_ads = 5 var now = new Date() var sec = now.getSeconds() var ad = sec % how_many_ads; ad +=1; if (ad==1){ url="; alt="ad1"; banner="images/01.jpg"; width="440"; height="230"; } if (ad==2) { url=""; alt="ad2"; banner="images/02.jpg"; width="440"; height="230"; } if (ad==3) { url="http://wanhyul931.com"; alt="ad3"; banner="images/03.jpg"; width="440"; height="230"; } if (ad==4) { url="http://baomhylc781.com"; alt="ad4"; banner="images/04.jpg"; width="440"; height="230"; } if (ad==5) { url="http://xinsd681.com"; alt="ad5"; banner

用if循环当游戏分数达到520分时，将弹出准备收获小惊喜的弹窗，再通过 window.location.href="js/suiprise.html"; 实现当前页面打开URL页面，从原来的页面跳转到另一个新的页面。 location.href 常见的几种形式： self . location . href ; //当前页面打开URL页面 window . location . href ; //当前页面打开URL页面 this . location . href ; //当前页面打开URL页面 location . href ; // 当前页面打开URL页面 parent . location . href ; //在父页面打开新页面 top . location . href ; //在顶层页面打开新页面 四、构建新的页面 1. 设置背景图片 在< head >对中创建< style >对，添加对象body{ }中包含背景图设置 background - image : url ( . . / img / b . jpg ) ; //设置背景图片，图片位于img文件中 background - size : auto ; //图片尺寸为原图尺寸 background - repeat : repeat ; //重复背景图，实现平铺 background - attachment

问题： 换页url不边，Ajax加载，于是进行抓包： 可是发现换页的时候Request URL也不变（看很多类似教程都是找url变化规律） 这时候我选择使用selenium和Chrome配合，模拟浏览器输入页数获得网页： 源代码： from lxml import etreeimport requestsimport csvfrom selenium import webdriverimport timeimport osfrom selenium.webdriver.chrome.webdriver import WebDriver#创建csvoutPath = 'D://xinfang_data.csv'if (os.path.exists(outPath)): os.remove(outPath)fp = open(outPath, 'wt', newline='', encoding='utf-8') # 创建csvwriter = csv.writer(fp)writer.writerow(('kind', 'time', 'processingDepartment', 'content'))#请求头headers = { 'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36