pip

淘宝口红爬虫入门+数据分析(超详细)

有些话、适合烂在心里 提交于 2020-08-14 00:36:25
大家可以先下载代码,这是我的github地址 起因: 刚好高中学金融同学遇到课程要对进行商品爬虫和分析的,自己实在没办法的情况下找到了我。自己对爬虫也是一头雾水,数据分析倒是有一定的基础,也只能硬着头皮上了。 开始 自己尝试先在csdn和github找能够爬虫的代码,好像都碰到挺多问题的,大多数都不能跑,要不就是代码太多人跑了链接被封了,要不就是环境问题。能找到要不就是爬的数据太简陋了,只有商品名称和价格。 import requests from bs4 import BeautifulSoup import urllib import xlsxwriter headers = { "User-Agent" : "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/56.0.2924.87 Safari/537.36" } def get_good_urls ( word ) : url_str = urllib . parse . quote ( word ) urls = ( "https://search.jd.com/Search?keyword={}&enc=utf-8&qrst=1&rt=1&stop=1&vt=2&offset=4&page={

python开发之虚拟环境管理:virtualenv、virtualenvwrapper、pycharm

浪子不回头ぞ 提交于 2020-08-13 23:19:24
1 引言 进行Python开发时,多个项目可能使用到不同的依赖,例如A项目需要1.8版本的Django,而B项目需要2.0版本的Django,这时候如果没有使用虚拟环境,就需要来回卸载和安装Django,十分不便。虚拟环境的出现可以很好的解决这一问题。 本篇博文主要绍Python的虚拟环境管理方法,包括virtualenv、virtualenvwrapper、pycharm等。需要说明的是,在使用前面提到的几种方法之前,必须确保系统中已经至少安装有一个Python版本。 2 virtualenv (1 安装 virtualenv的安装与Python普通第三方包安装一样,都可以通过pip来安装: pip install virtualenv (2)创建虚拟环境 创建一个名为firstenv的虚拟环境: virtualenv firstenv 上图中最后一行出现“done”的字样说明虚拟环境安装成功,此时,在当前文件夹会出现一个与刚新建的虚拟环境同名的文件夹: 在firstenv文件夹内部的有一个铭文Scripts的子文件夹,这个文件夹存放了Python环境必备的一些可执行文件: 看到这里你应该明白了,virtualenv所谓的虚拟环境就是在当前文件夹中以真实环境为模板,另外存储一套编译工具,实现与正式环境的隔离。 那么,刚新建号的环境该怎么使用呢? (3)进入-退出虚拟环境

Python修改镜像源

微笑、不失礼 提交于 2020-08-13 19:57:53
国内的常用镜像地址 清华大学 https://pypi.tuna.tsinghua.edu.cn/simple/ 阿里云 https://mirrors.aliyun.com/pypi/simple/ 中国科学技术大学 http://pypi.mirrors.ustc.edu.cn/simple/ 豆瓣 https://pypi.doubanio.com/simple/ 网易 https://mirrors.163.com/pypi/simple/ 华中理工大学:http://pypi.hustunique.com/ 山东理工大学:http://pypi.sdutlinux.org/ 临时使用镜像 // pip install -i 镜像地址 包名 , 例如安装pandas: pip install -i https://pypi.tuna.tsinghua.edu.cn/simple/ pandas 永久使用镜像 window系统 // 找到C:\Users\qinghuo,新建pip文件夹,里面新建一个pip.ini文件,内容如下: [global] index-url = https://pypi.tuna.tsinghua.edu.cn/simple [install] trusted-host=mirrors.aliyun.com timeout = 150 永久使用镜像

odoo连接外部数据库

你说的曾经没有我的故事 提交于 2020-08-13 17:12:48
odoo框架默认的访问时Postgres数据库,但在实际的应用场景中,不可避免的使用到其他数据库,所以有必要研究如何连接其他第三方数据库,这里分享下OCA的相关模块, 具体的源代码在这里 。 我将第三方的数据库需要连接的情况汇总成如下一张列表: 目前主要有7个模块,base_external_dbsource是最基本的模块,其他都依赖于它。接下来以MSSQL为例来看odoo的访问过程。 1.安装需要的python依赖包 pip install sqlalchemy pip install pymssql 2.安装 base_external_dbsource base_external_dbsource_sqlite 和base_external_dbsource_mssql 模块。对应的操作界面如下图所示 这里由于官方的布局有些问题,就自己重新排版了下。按图中的模式配置连接MSSQL的字符串和对应的密码,测试连接结果如下图所示: 成功的连接到了目标数据库,这样就可以在odoo的模块中调用本类访问第三方数据库,开展自己的业务了。 来源: oschina 链接: https://my.oschina.net/u/4313784/blog/4492143

Python语言简介、环境搭建、PyCharm的安装和配置

不想你离开。 提交于 2020-08-13 16:34:51
一、Python语言简介 1.1 Python语言的基本概念 官方对 Python 语言的介绍如下: Python 是一款易于学习且功能强大的编程语言。 它具有高效率的数据结构,能够简单又有效地实现面向对象编程。Python 简洁的语法与动态输入之特性,加之其解释性语言的本质,使得它成为一种在多种领域与绝大多数平台都能进行脚本编写与应用快速开发工作的理想语言。 通俗地讲,Python 是一种语法与结构简单并且功能强大的编程语言。学了这门语言你就会发现它是如此简单,它专注于如何解决问题,而非拘泥于语法与结构。 Python 的创造者是吉多·范罗苏姆(Guido van Rossum),业内称他为龟叔,龟叔很喜欢 BBC 的一个电视节目《蒙提·派森的飞行马戏团(Monty Python’s Flying Circus,一译巨蟒剧团)》,便用马戏团的名字来为这门编程语言命名 1.2 编译型语言与解释型语言 根据转换时机的不同,语言分成了两大类:编译型语言、解释型语言 编译型语言 代表:C语言 代码执行的特点:在代码执行前将代码编译为机器码,后由计算机自动执行 语言特点: 执性速度较快、 跨平台性较差 解释型语言 代表:Python 代码执行的特点:解释一句后就提交计算机执行一句,并不形成目标程序。就像外语翻译中的“口译”一样,说一句翻一句,不产生全文的翻译文本。 语言特点: 执性速度较慢

Python读取取yaml文件

99封情书 提交于 2020-08-13 16:28:45
yaml简介 1.yaml [ˈjæməl]: Yet Another Markup Language :另一种标记语言。yaml 是专门用来写配置文件的语言,非常简洁和强大,之前用ini也能写配置文件,看了yaml后,发现这个更直观,更方便,有点类似于json格式。在自动化测试用的相当多所以需要小伙伴们要熟练掌握 2.yaml基本语法规则: 大小写敏感 使用缩进表示层级关系 缩进时不允许使用Tab键,只允许使用空格。 缩进的空格数目不重要,只要相同层级的元素左侧对齐即可 #表示注释,从这个字符一直到行尾,都会被解析器忽略,这个和python的注释一样 3.yaml支持的数据结构有三种: 对象:键值对的集合,又称为映射(mapping)/ 哈希(hashes) / 字典(dictionary) 数组:一组按次序排列的值,又称为序列(sequence) / 列表(list) 纯量(scalars):单个的、不可再分的值。字符串、布尔值、整数、浮点数、Null、时间、日期 安装yaml 1.使用pip安装pyyaml模块 pip install pyyaml 键值对(dict) 1.yaml里面的键值对,也就是python里面的字典(dict)数据类型,比如python里面的字典,用yaml如何去写 # python3.6 { "user": "码上开始", "psw":

Py之zhon:zhon库的简介、安装、使用方法之详细攻略

冷暖自知 提交于 2020-08-13 14:55:16
Py之zhon:zhon库的简介、安装、使用方法之详细攻略 目录 zhon库的简介 zhon库的安装 zhon库的使用方法 1、在字符串中查找CJK字符、验证拼音音节、单词或句子: zhon库的简介 Zhon是一个Python库,它提供了中文文本处理中常用的常量。 包括常用常量: 中日韩文字和部首 中文标点符号 汉语句子规则表达模式 拼音元音、辅音、小写、大写和标点符号 拼音音节、单词和句子规则表达模式 诸印文字 竹音音节规则表达模式 CC-CEDICT字符 zhon库的安装 pip install zhon zhon库的使用方法 1、在字符串中查找CJK字符、验证拼音音节、单词或句子: 在字符串中查找CJK字符: >>> re.findall('[%s]' % zhon.hanzi.characters, 'I broke a plate: 我打破了一个盘子.') ['我', '打', '破', '了', '一', '个', '盘', '子'] 验证拼音音节、单词或句子: >>> re.findall(zhon.pinyin.syllable, 'Yuànzi lǐ tíngzhe yí liàng chē.', re.I) ['Yuàn', 'zi', 'lǐ', 'tíng', 'zhe', 'yí', 'liàng', 'chē'] >>> re.findall(zhon

利用IntelliJ IDEA编辑器创建Django项目开发环境-python开发工具第三篇

一个人想着一个人 提交于 2020-08-13 14:54:47
step1.下载安装 一共有两个版本,每个版本各有两个类型文件(exe安装包,解压即用zip包)使用完整版即可。 step2.破解 http://idea.lanyus.com/ https://www.jb51.net/article/186186.htm (anyway,支持付费) step3.python环境搭建 见我的系列博文第一篇 https://my.oschina.net/guiguketang/blog/3142254 step4:安装自己要使用的django 默认安装 最新版本,通常使用pip安装, >pip install django 指定版本安装 >pip install django=1.11.14 指定源站安装 (超时解决方案) >pip install -i https://pypi.douban.com/simple django step5:安装python插件 安装完成后要restart IntelliJ File-Settings -Plugins-Python(搜索)->Install step6:创建django项目 File-New-Project-Python-Django 默认下一步,不需要勾选 如果想创建flask project需要先在python环境安装flask模块,这里不做介绍 创建完成后,项目的目录结构 step7

linux下安装openexr python包踩坑总结

ぃ、小莉子 提交于 2020-08-13 12:58:36
linux下安装openexr python包踩坑总结 我有个朋友前段时间一直尝试装openexr的python包,参考了很多网上教程,但是最后都以失败告终。后来在我的帮助下终于装好了,在这里给大家分享一下,免得更多的人踩坑。 1.linux版本不能太低 最大的坑是linux版本不能太低,比如我这个朋友一开始使用的是ubuntu 16.04,很多教程也是用的16.04,比如当时主要参考的是这三个链接: https://blog.csdn.net/TNove/article/details/103163295 https://blog.csdn.net/qq_24306353/article/details/89111971 https://www.jianshu.com/p/aaa7c51afa30 首先对这几位博主表示感谢和致敬。按照这几位博主的指导依然没能成功 import OpenEXR,于是我就猜测是系统的问题,有可能OpenEXR包更新了,依赖的一些包也是新版本的Linux才有,所以无论怎么弄import的时候总是提示 undefined symbol: _ZTIN7Iex_2_27BaseExcE 或者其它问题。最后在虚拟机中重装了系统,装的是unbuntu 20.04,然后执行下面的步骤,就能成功 import OpenEXR 并使用啦! 2.安装步骤 安装 gcc

python学习第一周

隐身守侯 提交于 2020-08-13 12:49:05
小知识点 1.当我们安装python时,主要包含以下内容: 解释器(python.exe)+ lib(内置库(python本身自带的库))+ pip.exe(包管理器(增加第三方库)) 2.在讲解pip前先要讲一下cmd指令: 1)切换目录 cd    退上级目录 cd…(两点)    cd +指定路径(跳转到指定路径)但不会立即跳转,还需要在下一行第一级路径(d:)  2)浏览目录 :dir, 创建新目录: mkdir+ 文件夹名称, 删除目录: rmdir  3)查看IP地址 ipconfig  4)查看能否连上对方的电脑 ping + ip地址 为什么DOS能够识别以上命令,那是因为这些命令都在系统环境path内,就可以在任何地方调用。 3.python(pip)在cmd中的命令: 1)退出python.exe环境   exit() 2)查看pip的版本   pip -V 或 pip - - version 3) 安装第三方库以及指定版本的库   pip install +库名/ == 指定版本 4)删除第三方库   pip uninstall +库名 5)列出所有的第三方库   pip list 6)更新某个包   python -m pip install - - upgrade pip (更新pip) 7)pip安装的包在哪:   …lib\site-packages