爬虫概述
（约2016年）网络爬虫个人使用和科研范畴基本不存在问题，但商业盈利范畴就要看对方了。
通过网站的Robots协议（爬虫协议）可以知道可以和不可以抓取的内容，其中User-Agent: 为允许的url，Allow:为允许的内容，Disallow: 为不允许。Disallow: /为禁止抓取允许以外的内容。 Disallow: /abc 表示禁止访问收录abc.php、abc.html和abc文件夹下的所有文件。 Disallow: /abc/ 表示仅禁止访问abc文件夹下的所有文件，但是不限制abc.php、abc.html文件。
爬取的时候要遵循Robots协议，约束网络爬虫程序速度；使用数据时必须遵守网站的知识产权。
爬虫流程
1、获取网站
2、解析网页（提取数据）
3、存储数据。
4、（1）获取网站——基础技术：request、urllib、selenium（模拟浏览器）；进阶技术：多进程多线程抓取、登陆抓取、突破IP封禁、服务器抓取。
（2）解析网页——基础技术：re正则表达式、BeautiSoup、lxml，进阶技术：解决中文乱码。
（3）存储数据——基础技术：txt文件、csv文件；进阶技术：MySQl、MongoDB。
安装
安装Anaconda来一键安装python编码环境。利用pip(window进cmd，Mac进terminal）安装bs4、request、lxml等第三方库。
pip install bs4
pip install request
pip install lxml
编译器Jupyter（其他还有Notepad++、SublimeTexture、Spyder），cmd下输入jupyter notebook浏览器启动Jupyter界面
*（自己弄的部分）Spyder安装pip install --pre -U spyder……好像有Anaconda最好不要用这个
Python基础
（1）严格的代码缩进，以Tab键或者4个空格进行缩进。
“#”后面是注释
*python没有限制关键字，方法和变量名也没有加以区分，编写的时候自己得注意取不同的名字。变量会根据赋值的内容自动决定类型。
输出语句
print(“内容”)
4种 数据类型 ：1）String字符串、2）Number数字、3）list列表、4）Dictionaries字典。
String字符串——‘和“都可以用来放字符串，可以使用+来连接。
string1 ='abc'
str = "fe"
print(string1+str)
Number数字——常用的有int（整数）和float（浮点数）两种。如果要转换，在变量前加int或float。注意Number不能直接和string相加
thisSeven = 7
float1 = 1.1
chase = int(float1)
print(thisSeven+chase)
另外，Number还有长整数和复数。
5. list列表——列表可以包括任意种类数据类型！此外可以通过[起始下标：结束下标]其他的倒和一般的数组没什么区别。
*用[]赋值，查询也是[]
list1 = ['a', 2, "new", 1.9]
print(list1[1:3])
list1[3] = float(list1[1])
print(list1)
6.Dictionaries字典——可变容器模型，含有key和value（就是键值对啦）。key必须唯一，value可用任意种类数据类型。
*用{}赋值，但用[]查询
notebook = {"name": '1234', "age":7, "class":"first"}
print(notebook["name"])
print(notebook)
#循环遍历notebook的键和值
for key1, value1 in notebook.items():
print(key1, value1)
Python基础（1）++
python的列表还有一种只读格式——元组Tuple，它用（）进行赋值，且只能在初始化时赋值。
列表有追加元素的内置方法append（）
字典有内置方法keys()（获得所有键的值），values()
元组用 “( )” 标识， 列表用 “[ ]” 标识，字典用 “{ }” 标识
type(变量) 查看该变量的数据类型，还可以用 isinstance（变量，类型） 来判断是不是那种类型。type()不会认为子类是一种父类类型，isinstance()会认为子类是一种父类类型。
Python基础（2）
条件语句——格式上是if 条件 :，取代Java中（）的是一个在最后的：同样有else存在（但是else后面要加：），另外还有else if简写而成的elif。
a = 'book'
b = 'java'
c = "book"
if a == b :
print(a)
else :
print('a!=b')
if a == c :
print(a)
elif b == c :
print('b==c')
else :
print('c!=a/b')
循环语句——常用的有for循环和while循环两种，同样是（）变成末尾的：。不过python的for循环形式上更接近foreach循环，python中的循环还可以使用else。
myBook = ['java', 'python', 'c']
for book in myBook:
print(book)
print('\n')
for i,j in enumerate(('a','b','c')):
print (i,j)
for i,j in enumerate(myBook):
print (i,j)
count = 0
while count < 3:
print(myBook[count])
count = count + 1
for循环中利用内置函数 len() 和 range(),函数 len() 返回列表的长度，即元素的个数， range返回一个序列的数。(例子来自菜鸟）（菜鸟你的括号呢？）
fruits = ['banana', 'apple', 'mango']
for index in range(len(fruits)):
print ('当前水果 :', fruits[index])
else使用例子(例子来自菜鸟）
for num in range(10,20): # 迭代 10 到 20 之间的数字
for i in range(2,num): # 根据因子迭代
if num%i == 0: # 确定第一个因子
j=num/i # 计算第二个因子
print ('%d 等于 %d * %d' % (num,i,j))
break # 跳出当前循环
else: # 循环的 else 部分,不break跳出循环的话就会执行
print (num, '是一个质数')
此外循环中可以用continue、break、pass（什么也不做）。
3. 函数——参数（()里的内容）必须要正确地写入函数中
def add(x):
y = x + 1
return y
w = 1
print(w)
print(add(w))
运算符，外汇返佣http://www.fx61.com/，这里只提一下python中有**——幂 - 返回x的y次幂，//——取整除 - 返回商的整数部分（向下取整）并且没有++、–（- -，间隙被间隙掉了！）。另外与或非分别写成and、or、not。python还有成员运算符in、not in；身份运算符is，not is（用于比较两个对象的存储单元）
类
class Person:
#这是一个类变量，它的值将在这个类的所有实例之间共享
n = 0
#__init__构造方法,注意前后均有两个_
#self 代表类的实例，self 在定义类的方法时是必须有的
#，虽然在调用时不必传入相应的参数。
def __init__(self, name, age):
self.name = name
self.age = age
def detail(self): #通过这个函数来调用被封装的内容
print(self.name)
print(self.age)
obj1 = Person('sss', 16)#对象声明
obj1.detail()
obj1.name
obj1.n
继承格式
class 子类名(父类名):
构造方法重写时用super关键字来使用父类构造方法
class Father(object):
def __init__(self, name):
class Son(Father):
def __init__(self, name):
super(Son, self).__init__(name)
基础重载方法
下表列出了一些通用的功能，可以在自己的类重写：
__init__ ( self [,args...] )
构造函数
简单的调用方法: obj = className(args)
__del__( self )
析构方法, 删除一个对象
简单的调用方法 : del obj
__repr__( self )
转化为供解释器读取的形式
简单的调用方法 : repr(obj)
__str__( self )
用于将值转化为适于人阅读的形式
简单的调用方法 : str(obj)
__cmp__ ( self, x )
对象比较
简单的调用方法 : cmp(obj, x)
模块Module——是一个 Python 文件，以 .py 结尾，包含了 Python 对象定义和Python语句。使用 import 语句来引入模块。
# 导入模块
import support
# 现在可以调用模块里包含的函数了
support.print_func("Runoob")