暗网

第一节：理解网络爬虫 1.1网络爬虫的定义 网络爬虫（又被称为网页蜘蛛，网络机器人）就是模拟浏览器发送网络请求，接收请求响应，一种按照一定的规则，自动地抓取互联网信息的程序。另外一些不常使用的名字还有蚂蚁、自动索引、模拟程序或者蠕虫。 原则上,只要是浏览器(客户端)能做的事情，爬虫都能够做。 当今最大的网络是互联网，最大的爬虫就是各类搜索引擎，包括谷歌丶百度等。网络爬虫就是按照一定规则去爬去人类所需要的信息的程序，主要通过对URL的请求来实现。一般来说，从搜索引擎这类爬虫搜索到的信息是非常宽泛的，而且夹杂着各种广告，信息是不纯粹的，也有可能不是我们需要的。这种时候，就需要一些聚焦于某一方面信息的爬虫来为我们服务，比方说，专门爬取某一类书的信息，在网站上浏览的时候，可能会有形形色色的图片和一些其他信息干扰我们，如果编写网络爬虫的话，就可以单单把自己想要的信息存储下来，以便数据分析，提取有用的信息。 像我们平时用的，谷歌浏览器、火狐浏览器、IE浏览器等，这些浏览器不是搜索引擎，主要的作用是：渲染我们的这些网页。 其实，这个浏览器和我们平时写的小爬虫最大的区别就是：我们平时的小爬虫抓取的网页源代码的不渲染的，直接把网页的源代码 HTML 展现出来，而浏览器是会加载 HTML 相关的 CSS、JS 等。爬虫是不会执行这些关联的文件。 1.2网络爬虫的原理 我们写了一个简单的网络爬虫，

翻墙＆代理 1.GFW长城防火墙(原因) 　facebook,youtube 2.翻墙(产生) 　http代理---明文传输，不安全 　socks代理--- 　ssh隧道 　vpn 3.代理Goagent 4.暗网tor 代理的意思所在 加密通信 隐藏来源 突破网络封锁 注意事项 不触及敏感地带 不从事非法行为 GOAGENT https://code.google.com/p/goagent/ 注册:appengine.google.com https://github.com/goagent/goagent GOAGENT安装 apt-get install python-dev pythongreenlet python-grvent python-vte python-openssl python-crypto python-appindicator python-pip libnss3-tools pip install pyOpenSSL pip install gevent --upgrade mkdir -p ~/.pki/nssdb certutil -d sql:$HOME/.pki/nssdb –N 导入入证书 设置浏览器代理 使用 TOR 保护隐私防止止被追踪 志愿者组成 ⻓长期在天朝完全无无法使用用 感谢 云 暗网 互联网搜索引擎无法发现 互联网黑市

1、黑帽 　　为非法目的进行黑客攻击的人，通常是为了经济利益。他们进入安全网络以销毁，赎回，修改或窃取数据，或使网络无法用于授权用户。这个名字来源于这样一个事实：老式的黑白西部电影中的恶棍很容易被电影观众识别，因为他们穿着黑色的斯泰森，而“好人”则戴着白帽子。 2、后门 　　隐藏在计算机系统中的“管道”，绕过登录和密码的正统保护，从而使它们在保护数据方面基本上无效。 3、蛮力攻击 　　黑客对系统中的每一个可能的密码进行高度密集的自动搜索，从而破坏安全并获得对计算机的访问权限。 4、Doxing 　　通过在线查看其详细信息，发现并发布互联网用户的身份。黑客专业术语大全 5、灰色的帽子 　　执行黑客攻击的人，但不是为了个人或经济利益。一个例子是黑客行为，作为更广泛的政治抗议活动的一部分进行，活动家们使一个组织的政策或官方观点被视为诅咒而令人尴尬或羞辱。 6、IP 　　Internet协议地址-计算机的标识符或“指纹”。这用于识别使用设备的人，跟踪其活动或显示其位置。 7、按键记录 　　跟踪计算机用户按下哪些键，以便黑客可以将登录代码和密码记录到系统中。 8、恶意软件 　　旨在控制或窃取计算机数据的程序。 9、网络钓鱼 　　通过向他们发送看似来自真正的人或组织的电子邮件，重复某人向您提供他们的个人信息，例如密码，银行帐户详细信息(例如PIN号码)和信用卡详细信息。 10、欺骗 　

一、肉鸡、抓鸡 1：肉鸡 一些个人PC电脑和网吧主机，以及各类网站上的服务器，黑客通过各类手段攻击植入木马、病毒方式到机器上，成为黑客掌控的机器，也叫肉鸡。成为肉鸡的机器，黑客可以随便查看文件和执行一些操作。 肉鸡也可以用来攻击，肉鸡攻击方式一般都是成千上万台肉鸡联合去攻击一台或者多台机器，其主要目的是致使对方机器和站点进入瘫痪状态，无法正常运行。 2：抓鸡 通过扫描漏洞、暴力破解、弱口令方式进行对机器植入木马达到控制机器，常见的做法是通过扫描一些端口号，比如：1433抓鸡、3389抓鸡、3306抓鸡等，获取机器的漏洞，从而实现种马，这个过程叫抓鸡。 二、计算机木马、网页木马 1：计算机木马 黑客通过编写的后门程序，进行捆绑到一些互联网上常用的程序压缩包中，然后发布在互联网上，引诱用户进行下载并执行使用，从而达到种马机器被黑客窥探文件内容隐私、破坏系统、远程操控等。 2：网页木马（网页木马中又分布一些术语，大马、小马、一句话木马。） 大马：体积比较大，功能丰富齐全，可以更改、浏览等，种马机器上的文件目录，扫描端口。常见大马有webshell，webshell就是以asp、php、jsp或者cgi等网页文件形式存在的一种命令执行环境，也可以将其称做为一种网页后门。黑客在入侵了一个网站后，通常会将asp或php后门文件与网站服务器WEB目录下正常的网页文件混在一起