Anaconda

在学习python时，不可避免下载了Anaconda，当我打算写爬虫时，urllib，requests，selenium，pyspider都已经安装好了，可以直接使用了，但是有一天我想要使用scrapy模块时，发现竟然没有安装，于是自己参照网上教程写下win64安装scrapy步骤： 1.升级pip python -m pip install --upgrade pip 2.安装wheel，有了wheel就可以离线安装各种模块了 pip install wheel 3.安装Twisted 从 https://www.lfd.uci.edu/~gohlke/pythonlibs/ 中找到Twisted进行下载。 像我这台机子又下python3.5又下了anaconda3，有时候会犯浑不知道自己要下载哪个版本的 参照如下命令可以查看pip支持的安装包名： >>> import pip._internal >>> print(pip._internal.pep425tags.get_supported()) [('cp36', 'cp36m', 'win_amd64'), ('cp36', 'none', 'win_amd64'), ('py3', 'none', 'win_amd64'), ('cp36', 'none', 'any'), ('cp3', 'none', 'any'),

一.安装scrapy 由于scrapy依赖较多，建议使用虚拟环境 windows下pip安装（不推荐） 1.安装virtualenv pip install virtualenv 2.在你开始项目的文件中创建虚拟环境 virtualenv --no-site- packages venv # 这个是创建一个比较纯净的环境，与全局的packages隔绝，即原版环境。 3.进入虚拟环境 # linux环境 source venv/bin/ activate # windows .\venv\Scripts\activate 4.安装scrapy pip install scrapy 大概率这里会报错，提示Twisted没有安装 解决办法是,先确定python的版本与32位还是64位，到这个网站 https://www.lfd.uci.edu/~gohlke/pythonlibs/#twisted 下载Twisted的whl安装 比如我python 3.6 64位就是Twisted‑19.2.1‑cp36‑cp36m‑win_amd64.whl pip install Twisted‑19.2.1‑cp36‑cp36m‑win_amd64.whl 安装Twisted成功后再pip install scrapy，一般就会成功， 但是这里仅仅是安装成功了而已，实际运行的时候各种报错

最近学习scrapy爬虫框架，在使用pycharm安装scrapy类库及创建scrapy项目时花费了好长的时间，遇到各种坑，根据网上的各种教程，花费了一晚上的时间，终于成功，其中也踩了一些坑，现在整理下相关教程，希望帮助那些遇到和我一样问题的码农。 1、环境 操作系统：windows10。 python版本：python3.7，必须使用Anaconda，目前是Anaconda5.3.1。下载地址： https://www.anaconda.com/download/。 下载64位的安装包。scrapy依赖的类库比较多，使用Anaconda会将相关的依赖的类库都安装好，并且版本保持一致。 pycharm：pycharm2018。 2、安装Anaconda 安装好Anaconda之后，将下面的变量加入到系统环境变量中： e:\Anaconda3;e:\Anaconda3\Library\mingw-w64\bin;e:\Anaconda3\Library\usr\bin;e:\Anaconda3\Library\bin;e:\Anaconda3\Scripts; 上面是我本机上的环境变量，我是将Anaconda3安装在E盘的Anaconda3文件夹中。 3、安装scrapy相关类库 打开pycharm，创建一个项目，然后开始安装相关的类库。通过下面的方式查找类库

项目地址： https://github.com/yuanfuzhi/ScrapyDemo.git 一 Scrapy介绍与安装 1， Scrapy介绍 Scrapy是一个为了爬取网站数据，提取结构性数据而编写的应用框架。可以应用在包括数据挖掘，信息处理或存储历史数据等一系列的程序中。其最初是为了 页面抓取 (更确切来说, 网络抓取 )所设计的，也可以应用在获取API所返回的数据(例如 Amazon Associates Web Services ) 或者通用的网络爬虫。 2， Scrapy安装 ①使用pip安装 pip install scrapy 网上有很多安装Scrapy的教程，这里不多解释，但不推荐这种安装方式，因为Scrapy依赖一些包，如果你的电脑上没有的话，使用pip安装会出现问题，比较麻烦。推荐使用下面的安装方式 ②使用Anaconda安装scrapy Anaconda是一个开源的包、环境管理神器，不多解释，先从官网下载安装Anaconda，然后傻瓜式点next安装，装好之后打开命令行，输入conda install scrapy，然后根据提示按Y，就会将Scrapy及其依赖的包全部下载下来，十分好用。 测试scrapy是否安装成功：在dos窗口输入scrapy回车 另外附上Anaconda常用指令： https://www.cnblogs.com

先安装好Anaconda Anaconda3-4.2.0 百度网盘 链接: http://pan.baidu.com/s/1c1JdXV6 密码: mt9b Anaconda安装教程 http://jingyan.baidu.com/article/7908e85c9e4725af481ad2e2.html cmd 进入控制台 conda install scrapy 输入:y 测试是否安装成功： 1). 模块成功引入，安装成功！！！ 2）创建一个scrapy工程 D盘新建文件夹scrapy ,进入文件夹 按住shift 选择在此处打开命令窗口， 键入scrapy startproject tutorial_test 回车 工程创建成功！！！ 来源： oschina 链接： https://my.oschina.net/u/2938426/blog/783820

现在学习这个确实时间很紧，但是迟早得学，以后PYTHON自动化运维，PYTHON自动测试都需要用的到，甚至可以往数据分析方向发展，刚好最近有 数据观 组织的python100天计划，就参加了，做好笔记，一个是用于记录学习中遇到的问题，二是对自己起监督作用，希望能够好好坚持下来，加油，老杨！ #1、环境搭建 自己操作系统是windows10，使用anaconda 4.2.9、python3.5，还有pycharm。 全英文，看不太懂，而且第一次使用也蒙头蒙脑的整不太清楚，先暂时随便总结一下 参考文章： Anaconda使用总结 Anaconda初学者入门指南/ Anaconda完全入门指南 1.1 anaconda简介 Anaconda是一个用于科学计算的Python发行版，支持 Linux, Mac, Windows系统，提供了包管理与环境管理的功能，可以很方便地解决多版本python并存、切换以及各种第三方包安装问题。Anaconda利用工具/命令conda来进行package和environment的管理，并且已经包含了Python和相关的配套工具。 这里先解释下conda、anaconda这些概念的差别。conda可以理解为一个工具，也是一个可执行命令，其核心功能是包管理与环境管理。包管理与pip的使用类似，环境管理则允许用户方便地安装不同版本的python并可以快速切换

1.在anaconda下安装scrapy库 首先打开anaconda prompt命令行输入界面 在命令行下输入: conda install scrapy 输入完成执行该命令后,会进行环境检查.稍等一会： 接着环境监测完成，需要确认继续，输入y 输入y并回车后，自动下载所需文件，等其自动安装。 最后，全部组件安装完成后，会有done的标记： 此时键入scrapy会打开下图界面，告知可新建工程，表明安装成功。 这里需要提示的是：当下载包安装时，可能会报如下错误：CondaHTTPError: HTTP 000 CONNECTION FAILED for url <https://repo.anaconda.com/pkgs/main/win-64/twisted-19.2.0-py37he774522_0.tar.bz2>， 不过不要紧张，是有解决办法的，解决办法可以参考我的博客： https://i.cnblogs.com/EditPosts.aspx?postid=10858781 2.安装完scrapy库之后就可以新建scrapy工程了，但是要怎样新建工程呢？ 这里我们采用命令行的形式来创建scrapy工程。 但是要启动哪个命令行工具呢？ （1）之前按照网上的教程在需要新建工程的目录下键入cmd,然后在命令行下输入scrapy startproject 工程名，发现报错

1.Anconda/Miniconda安装与简单使用 1.1 下载Anaconda和配置Jupyter环境变量 1.2 下载Miniconda和配置Jupyter Lab 1.2.1 安装jupyter 1.3 其他下载源 2.使用Anaconda/Miniconda 2.1 conda环境管理 2.2 conda配置Jupyter Lab环境 3 实战：构建科学计算专用虚拟环境 参考资料 1.Anconda/Miniconda安装与简单使用 主要目的：使用虚拟环境（VirtualEnv）管理不同的Python包 1.1 下载Anaconda和配置Jupyter环境变量 安装64位版本的Anaconda，其中自带了jupyter lab/jupyter notebook （jupyter lab是jupyter notebook的升级版，推荐使用jupyter lab，有好用的widge有待探索） 可以从Anaconda官方网站（ 点击这里 ），Anaconda是跨平台运行的软件，支持Windows、Linux和MacOS 接下来需要在系统环境变量中加上jupyter的安装路径，这样在命令行工具中才能够使用jupyter关键字 1.2 下载Miniconda和配置Jupyter Lab 由于Anaconda集成了许多软件包，十分臃肿，下载耗时，安装也占用较大的空间

原文地址 https://blog.csdn.net/lanchunhui/article/details/71379555 Configuration — Conda documentation .condarc 以点开头，一般表示 conda 应用程序的配置文件，在用户的家目录（windows： C:\\users\\username\\ ，linux： /home/username/ ）。但对于 .condarc 配置文件，是一种可选的（optional）运行期配置文件，其默认情况下是不存在的，但当用户第一次运行 conda config 命令时，将会在用户的家目录创建该文件。 1. 换国内源 查看源： conda config --show-sources 清华源： conda config --add channels https://mirrors.tuna.tsinghua.edu.cn/anaconda/pkgs/free/ # 设置搜索时显示通道地址 conda config --set show_channel_urls yes 下面辨析下与Conda常常一起出现的几个小伙伴： pip 、 virtualenv 、 Anaconda 、 Miniconda 等。 pip：从官网上下载的Python，是一个相对纯净的默认环境，里面有Python内核和标准库

关于Pycharm中的Virtualenv Environment、Conda Environment、System Interpreter、Pipenv Environment-- （自己记性不好，赶紧记录下来，多看看- -||） 1.打开Pycharm中的Project Interpreter，菜单路径： File-->Settings-->Project-->Project Interpreter 2.点击右侧的设置图标，再点击Add： 3.弹出Add Python Interpreter设置窗口： 4.左侧有4种选择：Virtualenv Environment、Conda Environment、System Interpreter、Pipenv Environment ①其中System Interpreter如字面意思，系统里安装的本地Python作为解释器，一般很少用，不推荐； ②Pipenv Environment，只知道pip包的一个管理模块，不了解； ③说一下Virtualenv Environment和Conda Environment。网上其实有很多资料了，找了两天，我还是没看明白Virtualenv Environment和Conda Environment的区别到底在哪里。后来觉得也不用太纠结这个问题，先会用，满足学习和工作的需要就行