info

豆瓣高分电影500部的信息爬取

試著忘記壹切 提交于 2020-02-08 23:48:31
第一步:明确需求 1. 分析数据来源的规律 2. 获取豆瓣高分电影的具体信息的访问链接 3. 利用具体信息的url 获取所有信息 4. 将2和3两张数据表连接成一张表格,并保存在Excel中 第二步:分析数据存储路径 豆瓣高分电影存储位置: 源访问链接: url = ' https://movie.douban.com/ explore#! type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=recommend&page_limit=20&page_start=0 ' 通过此链接寻找到数据加载链接: url = 'https://movie.douban.com /j/search_subjects? type=movie&tag=%E8%B1%86%E7%93%A3%E9%AB%98%E5%88%86&sort=recommend&page_limit=20&page_start=0' 发现通过改变page_limit=xxxx可以获取更多信息,当page_limit=500时电影数量不在增加。 因此可以通过这个url获取所有高分电影的电影名和访问链接: 1 # 访问链接 2 url = 'https://movie.douban.com/j/search_subjects?type=movie&tag=%E8%B1

springBoot进阶02

守給你的承諾、 提交于 2020-02-08 23:33:05
SpringBoot 进阶 02 1. 日志的使用 1.1 基本使用 /** * 获取日志记录器 */ Logger logger = LoggerFactory.getLogger(this.getClass()); @RequestMapping("/hello") @ResponseBody public String sayHello(){ //日志级别 trace<debug<info<warn<error logger.trace("trace...."); logger.debug("debug...."); logger.info("info...."); logger.warn("warn...."); logger.error("error..."); return "hello springBoot!"; } 基本使用 1.2 yml 修改日志级别 在 application.yml 中 ( 指定到修改的包 ) # 修改日志级别 ( 默认是 info) trace<debug<info<warn<error logging: level: cn: dyier: trace 1.3 指定配置文件配置 logback.xml <?xml version="1.0" encoding="UTF-8"?> <!-- scan:当此属性设置为true时

一次linux死锁问题的调试

元气小坏坏 提交于 2020-02-08 11:48:54
系统环境 内核配置:单核单cpu,禁抢占,内核版本linux4.1.15 问题描述 读取sys节点无法返回,系统没有报panic 等ops 信息,这个现象和死锁比较像,打开内核lockdep 配置来检测调试:如下图,打开这些检测。来进行定位 好了,运行后重新操作一遍果然打印出来信息: [ 223.052568] mm ERR line = 869 mm_read_data_and_report_camaro : check sum error [ 223.060730] mm ERR line = 1030 mm_irq_handle_thread : I2C report point process error [ 223.070885] mm ERR line = 869 mm_read_data_and_report_camaro : check sum error [ 223.079103] mm ERR line = 1030 mm_irq_handle_thread : I2C report point process error [ 223.089128] mm ERR line = 869 mm_read_data_and_report_camaro : check sum error [ 223.097291] mm ERR line = 1030 mm_irq

【小伟哥AI之路】Rasa之训练集与验证集评测指标及问题

会有一股神秘感。 提交于 2020-02-08 09:36:54
本文主题:Rasa之训练集与验证集评测指标 在刚刚接触nlp自然语言处理这块,调试中,想到需要有测试集进行协调对比。 自动拆分nlu数据为训练集和测试集 rasa data split nlu 测试集数据验证制定nlu模型进行测试 rasa test nlu -u train_test_split/test_data.md --model models/nlu-20180323-145833.tar.gz If you don’t want to create a separate test set, you can still estimate how well your model generalises using cross-validation. To do this, add the flag --cross-validation : 如果不想创建单独的测试集,仍然可以使用交叉验证来估计模型的泛化程度。--cross-validation 此过程不会生成模型,会直接输入结果 rasa test nlu -u data/nlu.md --config config.yml --cross-validation 扩展参数 -f 为层叠划分,系统默认为5层(怎么理解?每次把数据分成5份,为1/5测试集,依次作为测试推理5次,取结果) rasa test nlu -u data

使用Heartbeat实现双机热备

好久不见. 提交于 2020-02-08 08:25:00
使用Heartbeat实现”双机热备”或者称为“双机互备” heartbeat的工作原理:heartbeat最核心的包含两个部分,心跳监測部分和资源接管部分,心跳监測能够通过网络链路和串口进行,并且支持冗余链路,它们之间相互发送报文来告诉对方自己当前的状态,假设在指定的时间内未受到对方发送的报文,那么就觉得对方失效,这时需启动资源接管模块来接管执行在对方主机上的资源或者服务。 heartbeat的两台主机分别为主节点和从节点。主节点在正常情况下占用资源并执行全部的服务,遇到故障时把资源交给从节点并由从节点执行服务 一、网络环境设定 每一个主机分别带有两块以太网卡,当中一块用于网络通信,还有一块用于心跳功能。两个节点的网络设置例如以下: node1: 主机名:srv5.localdomain ( NodeA ) eth0: 192.168.8.5 255.255.255.0 //对外IP地址 eth1: 192.168.9.5 255.255.255.0 //HA心跳使用地址 node2: 主机名:srv6.localdomain ( NodeB ) eth0: 192.168.8.6 255.255.255.0 //对外IP地址 eth1: 192.168.9.6 255.255.255.0 //HA心跳使用地址 vip: 192.168.8.100

每天一个linux命令(6):rmdir 命令

我的梦境 提交于 2020-02-08 05:56:31
今天学习一下linux中命令: rmdir 命令 。 rmdir 是常用的命令,该命令的功能 是 删除空目录 ,一个目录被删除之前必须是空的。(注意,rm - r dir命令可代替rmdir,但是有很大危险性。)删除某目录时也必须具有对父目录的写权限。 1. 命令格式: rmdir [选项]... 目录... 2. 命令功能: 该命令从一个目录中删除一个或多个子目录项 , 删除某目录时也必须具有对父目录 的写权限。 3. 命令参数: - p 递归删除目录dirname,当子目录删除后其父目录为空时,也一同被删除。如 果整个路径被删除或者由于某种原因保留部分路径,则系统在标准输出上显示相应的信 息。 -v, --verbose 显示指令执行过程 4. 命令实例: 实例一: rmdir 不能删除非空目录 命令: rmdir doc 输出: [root@localhost scf] # tree . |-- bin |-- doc | |-- info | `-- product |-- lib |-- logs | |-- info | `-- product ` -- service ` -- deploy |-- info ` -- product 12 directories, 0 files [root @localhost scf] # rmdir doc rmdir:

Scrapy使用shell调试

有些话、适合烂在心里 提交于 2020-02-08 04:41:34
使用shell尝试爬取 $ scrapy shell https: / / www . zhipin . com / c101280100 / 2020 - 02 - 07 10:42:20 [scrapy.utils.log] INFO: Scrapy 1 . 8 . 0 started ( bot: scrapybot ) 2020 - 02 - 07 10:42:20 [scrapy.utils.log] INFO: Versions: lxml 4 . 5 . 0 . 0 , libxml2 2 . 9 . 10 , cssselect 1 . 1 . 0 , parsel 1 . 5 . 2 , w3lib 1 . 21 . 0 , Twisted 19 . 10 . 0 , Python 3 . 8 . 0 ( v3 . 8 . 0:fa919fdf25 , Oct 14 2019 , 10:23:27 ) - [Clang 6.0 (clang-600.0.57)] , pyOpenSSL 19 . 1 . 0 ( OpenSSL 1 . 1 . 1d 10 Sep 2019 ) , cryptography 2 . 8 , Platform macOS - 10 . 15 . 2 - x86_64 - i386 - 64bit 2020 - 02 - 07 10

HGAME2020 Week3 Writeup

安稳与你 提交于 2020-02-08 02:39:06
签到成功 只求week4不要交白卷 Crypto - Exchange 题目: Our admin hijacked a secret channel and it looks like there are two teams doing some unspeakable transactions. nc 47.98.192.231 25258 一开始先是考了个week2的Crypto签到题,直接用上次的解题脚本即可 之后的题目是“我”截获了Alice和Bob的通信,并且“我”可以篡改当中的部分内容 然而双方使用了非对称加密,使得“我”无法直接获得解密用的密钥 一段正常的、消息未被篡改的对话记录如下: root@tesla:~# nc 47.98.192.231 25258 sha256(XXXX+xAkaaFN1enC5UQm1) == a196d23933aaa95a960505f51b0bbb80e4d5e171c650ee77e5f690db0da49f9d Give me XXXX: hhA9 Bob: Hi Alice, I got the second half of the flag. Alice: Really? I happen to have the first half of the flag. Bob: So let's exchange flags, :

VIC运行笔记2020.1.13

孤街浪徒 提交于 2020-02-07 19:33:05
[07:13:56][root@DESKTOP-5GD45DM]~# vic_classic.exe -g/home/VIC_hanjiang/parameters/global_param.hanjiang.txt VIC Driver : Classic VIC Version : 5.0.1 February 1, 2017 VIC Git Tag : Compiled : by root on DESKTOP-5GD45DM (LINUX) Jan 12 2020 17:59:50 Compiler : gcc version : 5.4.0 Variable Infiltration Capacity (VIC) macroscale hydrologic model version 5.0.1, Copyright (C) 2016 Computational Hydrology Group, Dept. of Civil and Environmental Engineering, University of Washington. VIC comes with ABSOLUTELY NO WARRANTY. This is free software, you may redistribute it under certain conditions; see

vue-cli3 一直运行 sockjs-node info t= 解决方案

跟風遠走 提交于 2020-02-07 12:50:13
vue-cli3 一直运行 /sockjs-node/info?t= 解决方案 首先 sockjs-node 是一个JavaScript库,提供跨浏览器JavaScript的API,创建了一个低延迟、全双工的浏览器和web服务器之间通信通道。 服务端:sockjs-node( https://github.com/sockjs/sockjs-node ) 客户端:sockjs-clien( https://github.com/sockjs/sockjs-client ) 如果你的项目没有用到 sockjs,vuecli3 运行 npm run serve 之后 network 里面一直调研一个接口: http://localhost:8080/sockjs-node/info?t=1462183700002 作为一个有节操的程序猿,实在不能忍受,特意自己研究了下源码,从根源上关闭这个调用 1. 找到/node_modules/sockjs-client/dist/sockjs.js 2.找到代码的 1605行 try { // self.xhr.send(payload); 把这里注掉 } catch (e) { self.emit('finish', 0, ''); self._cleanup(false); } 3.刷新,搞定。 来源: https://www.cnblogs