virtualbox

Python 爬虫之 Scrapy 分布式原理以及部署

廉价感情. 提交于 2020-04-26 08:29:20
Scrapy分布式原理 关于Scrapy工作流程 Scrapy单机架构 上图的架构其实就是一种单机架构,只在本机维护一个爬取队列,Scheduler进行调度,而要实现多态服务器共同爬取数据关键就是共享爬取队列。 分布式架构 我将上图进行再次更改 这里重要的就是我的队列通过什么维护? 这里一般我们通过Redis为维护,Redis,非关系型数据库,Key-Value形式存储,结构灵活。 并且redis是内存中的数据结构存储系统,处理速度快,提供队列集合等多种存储结构,方便队列维护 如何去重? 这里借助redis的集合,redis提供集合数据结构,在redis集合中存储每个request的指纹 在向request队列中加入Request前先验证这个Request的指纹是否已经加入集合中。如果已经存在则不添加到request队列中,如果不存在,则将request加入到队列并将指纹加入集合 如何防止中断?如果某个slave因为特殊原因宕机,如何解决? 这里是做了启动判断,在每台slave的Scrapy启动的时候都会判断当前redis request队列是否为空 如果不为空,则从队列中获取下一个request执行爬取。如果为空则重新开始爬取,第一台丛集执行爬取向队列中添加request 如何实现上述这种架构? 这里有一个scrapy-redis的库,为我们提供了上述的这些功能 scrapy

2018-2019-2 20165329 《网络对抗技术》Exp0 Kali安装 Week1

我的梦境 提交于 2020-04-25 05:34:26
2018-2019-2 20165329 《网络对抗技术》Exp0 Kali安装 Week1 一、kali安装步骤 Kali官网,选择Kali Linux VirtualBox。 解压下载好的镜像文件, vbox 会自动识别此文件 双击后安图选择网络格式等,导入即可。 二、软件源 在命令行中输入 leafpad /etc/apt/sources.list 进入 sources.list 文件 安装输入法 apt-get install ibus ibus-pinyin kali 的默认账号是 root 密码是 toor 来源: oschina 链接: https://my.oschina.net/u/4393327/blog/3628793

H3C交换机Telnet远程登录基本配置

扶醉桌前 提交于 2020-04-24 17:04:37
H3C交换机Telnet远程登录基本配置 工具/原料 模拟软件 华三云实验室 H3C Cloud Lab 版本 2.1.1 方法/步骤 1 打开HCL软件,拖一个交换机,一个本地主机Host,到工作区, 鼠标右键点交换机图标,左键选【启动】,再选【连线】点到Host,交换机连接端口选 GE_0/2 我们在这里用虚拟的网络环境模拟测试,所以选电脑里的网卡(VirtualBox Host-Only Network)。 见图1 (注:安装HCL软件时,会自动安装虚拟机软件Oracle VM VituaBox,安装完成后会自动生成一张虚拟网卡 VirtualBox Host-Only Network,一般情况下在工作区里虚拟另一个网络环境时使用。) 2 右键点交换机图标,左键选【启动命令行终端】 1.给交换机配置一个vlan管理地址,默认vlan1 <H3C>system-view //进入系统视图 [H3C]interface Vlan-interface1 [H3C-Vlan-interface1]ip address 192.168.56.254 255.255.255.0 //给vlan1配置IP地址 [H3C-Vlan-interface1]quit 可以看到,现在我的电脑已经可以ping通交换机了。见图2 3 2.配置VTY(Virtual Teletype Terminal

【Linux系列】Centos 7安装以及网络配置(一)

回眸只為那壹抹淺笑 提交于 2020-04-24 15:51:06
目的 本文主要介绍以下两点: 一. 如何在Oracle VM VirtualBox安装centos(已有VirtualBox) 二. 如何在内网里实现虚拟机访问外网、物理主机以及物理主机访问虚拟机 一、如何在Oracle VM VirtualBox安装centos 1. 下载centos7 打开 阿里云开源镜像站 ,点击右边按钮“下载OS镜像”。 发行版选择“centos”,版本选择“7(x86_64-DVD-1908)”(有兴趣的可以选择8),点击下载。 2. 安装centos 下载完成后,打开Oracle VM VirtualBox软件,点击“新建”。 接下来,会分配内存,新建虚拟硬盘,大家可以根据实际情况分配大小(如果做开发环境,设备允许的话,可以分配2g内存,40g虚拟硬盘), 这里一路默认值。 虚拟机创建完成后,开始安装centos操作系统,点击“启动”。 选择下载的centos镜像 回车 安装 出现语言选择界面,选择“English”。 设置时区,Asia/ShangHai。 打开网络,会自动获取。 继续,初试化root密码, 密码一定要记住 ,下面要用到。 等待操作系统安装成功,点击Reboot。 重启成功后,输入root,以及上面设置的密码,即可进入操作系统。 二、 如何在内网里实现虚拟机访问外网、物理主机以及物理主机访问虚拟机 此时的虚拟机是可以访问网络

virtualbox 配置记录

柔情痞子 提交于 2020-04-24 15:38:33
网络配置 网络模式 Host-only Internal Bridged NAT 之间的区别 https://www.virtualbox.org/manual/ch06.html virtualbox 各网络连接方式的访问性如上图所示 vmware和virtualbox的nat网络模式有个很大的区别,在vmware的nat模式下vm能够访问互联网,且host够与vm互通。而virtualbox下host与vm是不通的,需要配置端口转发 网络配置最佳实践 如果你希望外网其他机器访问你的虚拟机且能够确保使用某一固定ip不会与他人冲突那么你可以直接使用Bridged模式 如果你的虚拟机需要访问外网,但是你的公司对网络访问进行了较强的限制,例如登录认证,ip固定分配等等,你应该使用双网卡配置:NAT(网卡1)+ host-only(网卡2),通过NAT进行外网访问,通过host-only的ip访问和操作该虚拟机。这就相当于vmware的nat网络模式。 移动虚拟机 全局设定修改存储路径后 移动原存储路径文件到新路径 控制-注册 .vbox文件 https://www.jianshu.com/p/a05615d1a17c 安装增强功能 VBoxGuestAdditions VBoxGuestAdditions类似于vmware的 vmware tools 使用 设备-安装增强功能菜单

Virtualbox设置虚拟机访问外网以及主机访问虚拟机

我是研究僧i 提交于 2020-04-24 09:30:45
由于以前都是用VMware,第一次使用VirtualBox,所以使用的一些功能记录一下。 现在主要想满足下面功能: 1、虚拟机可以访问外网; 解决方案:网卡1 配置连接方式为网络地址转换(NAT)模式; 2、主机可以访问虚拟机。 解决方案:网卡2 配置连接方式为仅主机(Host-Only)适配器模式。 3、虚拟机、主机可以互相复制文件 解决方案:点击设备,共享粘贴板,拖放的双向功能 最后别忘了重启机器 来源: oschina 链接: https://my.oschina.net/u/2764829/blog/806621

怎么解决VirtualBox无法安装增强工具

笑着哭i 提交于 2020-04-24 08:34:24
点击「设备」-「安装增强功能」,然后就弹出下面这个东西,百度和 bing 了很久,终于解决啦~ Unable to insert the virtual optical disk D : \Program\Orade\VirtualBox\ VBoxGuestAdditions . iso into the machine lubuntu1810 . Could not mount the media / drive 'D:\Program\Orade\VirtualBox\VBoxGuestAdditions.iso' ( VERR_PDM_MEDIA_LOCKED ) . Result Code : E_FAIL ( 0x80004005 ) Component : ConsoleWrap Interface : IConsole { 872 da645 - 4 a9b - 1727 - bee2 - 5585105 b9eed } Callee : IMachine { 5047460 a - 265 d - 4538 - b23e - ddba5fb84976 } 解决方案: 1。手动安装VBoxGuestAdditions sudo mkdir --p /media/cdrom sudo mount -t auto /dev/cdrom /media/cdrom/ cd

Docker Machine的使用

回眸只為那壹抹淺笑 提交于 2020-04-24 07:10:35
  前面两篇文章( 《Asp.Net Core 发布到 Docker(Linux Centos 虚拟机,使用Dockerfile)》 《Docker Compose的使用》 ),简单介绍了Dockerfile和Compose的使用,主要是基于教学使用(或者快速上手Docker)。如果想要深入理解还是需要去看 Docker官网 。接下来介绍时,我会尽量详细一些。 目录:   一、Virtualbox网络设置   二、Docker Machine 简介和安装   三、Docker Machine Driver 的选择   四、创建 Machine   五、总结 一、虚拟机Virtualbox网络设置 1.1 配置   软件配置:Windows 10(主机)+ Virtualbox(虚拟机)+ Centos 7 系统(虚拟机系统) + Docker   虚拟机数量:2(使用相同的Virtualbox网络配置) 1.2 Virtualbox的网络连接方式   参考: https://blog.csdn.net/bifengmiaozhuan/article/details/79887692       https://www.cnblogs.com/jpfss/p/8616613.html   关键点:    1.3 选择网络连接方式   目标: 主机和虚拟机互通 虚拟机之间互通

快速理解 VirtualBox 的四种网络连接方式

限于喜欢 提交于 2020-04-22 13:33:40
VirtualBox 中有 4 中网络连接方式: NAT Bridged Adapter Internal Host-only Adapter VMWare 中有三种,其实他跟 VMWare 的网络连接方式都是一样概念,只是比 VMWare 多了 Internal 方式。 要让自己(或别人)理解深刻,方法就是做比较和打比方,比较之间的不同和相同,拿熟知的事物打比方。先来一张图,通过这张图就很容易看出这 4 种方式的区别: (注:此图直接取至 Finalbug 的 Blog ,表示感谢) 再来用文字做详细的解释(其实归结起来就是上面的那张图): 1、NAT NAT:Network Address Translation,网络地址转换 NAT 模式是最简单的实现虚拟机上网的方式,你可以这样理解: Guest 访问网络的所有数据都是由主机提供的,Guest 并不真实存在于网络中,主机与网络中的任何机器都不能查看和访问到 Guest 的存在。 Guest 可以访问主机能访问到的所有网络,但是对于主机以及主机网络上的其他机器,Guest 又是不可见的,甚至主机也访问不到 Guest。 虚拟机与主机的关系: 只能单向访问,虚拟机可以通过网络访问到主机,主机无法通过网络访问到虚拟机。 虚拟机与网络中其他主机的关系: 只能单向访问,虚拟机可以访问到网络中其他主机,其他主机不能通过网络访问到虚拟机。

学习k8s——从安装minikube开始

最后都变了- 提交于 2020-04-21 01:57:45
在 Kubernetes 上使用 Kubernetes 命令行工具 kubectl 部署和管理应用程序。使用 kubectl,您可以检查集群资源;创建、删除和更新组件;查看您的新集群;并启动实例应用程序。 1. 安装kubectl brew install kubectl 2. 安装虚拟机virutualbox 3. 启动minikube $ minikube start --vm-driver=virtualbox 😄 minikube v1.9.2 on Darwin 10.14.6 ✨ Using the virtualbox driver based on existing profile 👍 Starting control plane node m01 in cluster minikube 🔄 Restarting existing virtualbox VM for "minikube" ... 🐳 Preparing Kubernetes v1.18.0 on Docker 19.03.8 ... 🌟 Enabling addons: default-storageclass, storage-provisioner 🏄 Done! kubectl is now configured to use "minikube" 假如启动失败报错: ❌ [VBOX_HOST