pycharm

手把手教你使用Python网络爬虫获取招聘信息

[亡魂溺海] 提交于 2020-08-06 05:24:15
1.前言 现在在疫情阶段,想找一份不错的工作变得更为困难,很多人会选择去网上看招聘信息。可是招聘信息有一些是错综复杂的。而且不能把全部的信息全部罗列出来,以外卖的58招聘网站来看,资料整理的不清晰。 很多人学习python,不知道从何学起。 很多人学习python,掌握了基本语法过后,不知道在哪里寻找案例上手。 很多已经做案例的人,却不知道如何去学习更加高深的知识。 那么针对这三类人,我给大家提供一个好的学习平台,免费领取视频教程,电子书籍,以及课程的源代码! QQ群:1097524789 2.项目目标 获取招聘信息,并批量把地点、 公司名、工资 、下载保存在txt文档。 3.项目准备 软件:PyCharm 需要的库:requests、lxml、fake_useragent 网站如下: https: //gz.58.com/job/pn2/?param7503=1&from=yjz2_zhaopin&PGTID=0d302408-0000-3efd-48f6-ff64d26b4b1c&ClickID={} 点击下一页时,ClickID={}每增加一页自增加1,用{}代替变换的变量,再用for循环遍历这网址,实现多个网址请求。 4.反爬措施 该网站上的反爬主要有两点: 1、 直接使用requests库,在不设置任何header的情况下,网站直接不返回数据 2、同一个ip连续访问多次

python新手学习使用库

百般思念 提交于 2020-08-06 03:28:32
本文主要介绍下如何使用第三方库。 1. 理解第三方库 Python相当于一个手机,第三方库相当于手机里各种各样的APP。 当我们想搭建网站时,可以选择功能全面的Django、轻量的Flask等web框架;当我们想做一个爬虫时,可以使用Scrapy框架;当我们想做数据分析时,可以选择Pandas数据框架等,这些都是一些很成熟的第三方库。 那么,如何根据自己的需求找到相应的库呢? 可以在 https://awesome-python.com 这个网站上按照分类去查找需要的库。 2. 安装第三方库 这里主要介绍如何在PyCharm中安装第三方库。 1)打开PyCharm——顶部菜单File——选择Default Settings; 2)搜索project interpreter,选择当前Python环境,然后底部点击“+”号添加库; 3)搜索数据库名称——选中该库后点击底部的Install Package,在安装成功后会出现成功提示,此时可以返回到之前的Project Interpreter中查看自己安装的库,点击“-”号可以卸载掉不需要的库。 3. 使用第三方库 使用第三方库时,只要在在PyCharm中输入库之后就可以使用了。输入库用import,比如输入requests库为:import requests。 第一阶段关于Python的基础知识大致先到这里

Jetbrains系列产品2020.1最新激活方法[持续更新]【转】

跟風遠走 提交于 2020-08-06 02:44:09
Jetbrains系列产品2020.1最新激活方法[持续更新]【转】 本站惯例:本文假定你知道Jetbrains家的产品。不知道可以问问搜索引擎。 大家熟知Jetbrains的话应该知道:他们家的所有产品升级到2018.2.1及以上版本后,先前可用的注册服务器都失效了,无法激活升级到最新版本体验最新黑科技。 这次要送的这份礼就是: Jetbrains全系列产品2020.1及以下版本(理论上适用于目前所有新老版本)最新注册服务器(License Server)的破解,可使用它来激活你手头上的Jetbrains IDE,具体支持产品和版本见下文的列表。 传送门: 百度云下载(baidu pan) ,提取码(password):di4k。 OneDrive(download link) ,需扶墙。 sha1sum: 832e9a35df3ea690d4165099619d1adac725e144 具体使用方法已写在压缩包的 README.pdf / README.txt 内。 (要个毛的 readme ,直接把 jetbrains-agent-latest.zip 拖进IDE就行了) 本站下载的包中都是带有 important.txt 的,缺失这个文件会不定时有 弹框 出现,请注意看弹框内容。 最近封禁厉害,为防失联,狡兔亦需三窟!多加个微信订阅号渠道,可以放补丁信息: 已更新v3.2

【系列】Python编程思想(1):Python简介与开发环境搭建

眉间皱痕 提交于 2020-08-06 02:08:09
李宁老师的 《Python编程思想》 上线了,囊括了Python的核心技术,以及Python的主要函数库的使用方法。读者可以关注「 极客起源 」微信公众号,并输入 160442 开始学习。   本系列文章深入介绍了Python的各种技术,堪称是目前最全的Python教程。主要目的是让读者可以了解Python的各种核心技术,包括各种Python函数库。本教程使用Python 3.8讲解,读者也并不需要纠结Python版本。如果读者当前正在使用更低的Python版本,如Python3.6或Python 3.7,并不需要更换Python版本。只要使用Python3.5以上的版本,就完全可以运行本教程的代码。   如果读者使用的是Anaconda中的Python环境,是无法使用最新的Python版本的。因为Anaconda集成了Python环境,但升级的速度并不快,所以大多数时候,Anaconda中的Python版本会比Python官方的版本滞后一些,如果也足够运行本教程的代码了。 本教程使用PyCharm作为Python的IDE,这也是本教程推荐使用的Python IDE。因为PyCharm功能非常强大,而且可以下载免费的社区版本来完成本教程的各种实验。 1. Python简介   伴随着大数据和人工智能的兴起, Python这门“古老”的语言重新出了青春。其实

Linux系统下安装jenkins使用

蓝咒 提交于 2020-08-06 01:23:35
jenkins 2.190.1 yum 安装 不要点击:https://item.taobao.com/item.htm?id=613711271112 devops一梦千年 发布时间:10-09 16:28 jenkins 2.190.1 yum 安装记录 安装环境: 所需安装包: https://pkg.jenkins.io/redhat-stable/jenkins-2.190.1-1.1.noarch.rpm 安装: yum install jenkins-2.190.1-1.1.noarch.rpm -y 启动: systemctl start jenkins 出错: 查看错误信息:journalctl -xe 新系统没有JAVA环境,因此报错。 安装JAVA: yum -y install java 再次启动jenkins systemctl start jenkins 启动正常,默认端口是8080。 直接访问http://192.168.100.45:8080 输入密码安装完成。 作者最新文章 docker-ce-19 之yum安装 jenkins 2.190.1 yum 安装 60岁腰围缩小、一个月减重10公斤,全靠均衡饮食这样吃 相关文章 小白讲Excel:关于跨工作表引用怎么用的那点儿事,都在这啦! 使用Python创建自己的Instagram滤镜

Python学习之路——pycharm的第一个项目

泪湿孤枕 提交于 2020-08-05 22:18:27
Python学习之路——pycharm的第一个项目 简介: 上文中已经介绍如何安装Pycharm已经环境变量的配置。现在软件已经安装成功,现在就开始动手做第一个Python项目。第一个“Hello World”项目。 第一步: 打开Pycharm软件 1.双击,桌面图标,运行软件,进入软件后,点击“Create NewProject” 2.在弹出的窗口中,在工程路径Location处选择存放路径以及为建立的新工程命个名,如: MyFristProject 。这个文件名必须在工程路径下是不存在的文件夹。 第二步: 添加解释器 1.点击File,选择settings,点击MyFristProject。点击下拉选择解释器,最后点击Apply,等待系统配置。 2.如果我们需要添加新的模块,点击绿色"+"号,选择要添加的模块。在输入框输入关键字,选择搜索结果。最后点击"Install Package"。 第三步: 创建项目 1.右击工程,点击"New",然后选择“Python File”。在弹出的对话框为新创建的项目取个名字。此处就取“HelloWorld”,点击"OK"。 2.在创建的.py文件中输入如下文字,保存。 3.运用快捷键 ctrl+shift+F10或者点击小绿三角形进行编译运行。执行结果如下: 至此,可以算是一个小小的“Hello World”项目就完成了。 来源:

Python3.7+Pycharm+cuda10.0+tensorflow GPU版本 安装

≡放荡痞女 提交于 2020-08-05 17:31:37
处理器:I5-7500 显卡 :GTX1050Ti 系统 :Win10 1. 首先搭建Python环境。 官网 https://www.python.org/downloads/ 下载Python3.7(目前最新的版本为3.7.4,暂时不用最新版本)。下载安装完成后在环境变量中添加bin路径。 cmd 运行 python 查看是否配置成功。 C:\Users\admin> python Python 3.7 . 0 (v3. 7.0 :1bf9cc5093, Jun 27 2018 , 04 : 59 : 51 ) [MSC v. 1914 64 bit (AMD64)] on win32 Type " help " , " copyright " , " credits " or " license " for more information. >>> 2. 下载Cuda 官网链接: https://developer.nvidia.com/cuda-downloads 网盘链接:https://pan.baidu.com/s/1K_PEdQ-aJRu3mnCpVvPREQ 提取码:l2vw 按步骤安装。 3. Cuddn 链接:https://pan.baidu.com/s/1BXCwyUb6fUF7ULfKJd_8VA 提取码:qlgy 将解压出来的文件替换到CUDA

挑战每分钟爬取100个视频,只要网速够快,反爬就追不到我

ε祈祈猫儿з 提交于 2020-08-05 13:40:02
前言 好看视频大部分是精品短视频!相同的接口返回不同的视频给用户 今天就带大家把系统推荐的视频给爬取下来! 知识点 1、动态数据抓包演示 2、json数据解析方法 3、视频数据保存 环境介绍 python 3.6 pycharm requests json 爬虫的一般思路 1、分析目标网页,确定爬取的url路径,headers参数 2、发送请求 -- requests 模拟浏览器发送请求,获取响应数据 3、解析数据 4、保存数据 -- 保存在目标文件夹中 步骤 1、导入工具 import requests import time import pprint 2、确定爬取的url路径,headers参数 # 获取时间戳 """ 时间戳是指格林威治时间1970年01月01日00时00分00秒(北京时间1970年01月01日08时00分00秒)起至现在的总毫秒数。 秒级时间戳,10位 毫秒级时间戳,13位 微秒级时间戳,16位 """ time_one = str(int(time.time() * 1000 )) # print(time_one) base_url = ' https://haokan.baidu.com/videoui/api/videorec?tab=gaoxiao&act=pcFeed&pd=pc&num=20&shuaxin_id= ' + time_one

自动化不知如何参数化?xlrd来帮你解决

巧了我就是萌 提交于 2020-08-05 09:25:02
平时在做自动化测试的时候,一直都是要求数据与业务逻辑分离。把测试数据都写在业务里面的话,比较混杂。为了方便管理测试数据,所以引入了python的一个扩展库--xlrd。该库使用简单,能满足自动化测试的数据分离的需求。 闲语少聊,我们直接来看,xlrd是如何完成数据读取的。 安装 安装很简单,方式①:直接命令pip install xlrd;方式②:在Pycharm中直接安装即可。 基础命令 ①打开excel文件并创建对象 excel_object = xlrd.open_workbook(excel_path) ②根据工作表名称获取数据 sheet_object = excel_object.sheet_by_name('Sheet1') ③获取excel文件中所有工作表名称 print(excel_object.sheet_names()) ④获取有效行数 row_nrows = sheet_object.nrows ⑤获取有效列数 col_ncols = sheet_object.ncols ⑥获取当前行的单元格长度 row_length = sheet_object.row_len(1) ⑦获取第一行数据 rows_cell_value = sheet_object.row_values(0) ⑧获取坐标为第一行、第一列单元格数据 row_cell_value1 =

Pycharm2019.2.1永久激活

北城余情 提交于 2020-08-05 07:52:30
Pycharm2019.2.1永久激活    Pycharm2019.2.1永久激活 Pycharm官网自7月24更新到pycharm2019.2版本后,在短短的一个月内与8月23又带来新版本2019.2.1,不可说更新不快,对于"喜新厌旧"的我怎能错过新版本呢?本公众号将持续关注pycharm最新动向,为防走丢,请关注本公众号,让我们一起愉快的玩耍! 免 责 声 明 : 本方法只做学习研究之用,不得用于商业用途! 若经济条件允许,请支持并购买正版,链接地址 https://www.jetbrains.com/pycharm/buy 1 官网下载Professional(专业版) https://www.jetbrains.com/pycharm/download/ 具体安装方法这里就不赘述 2 下载补丁jetbrains-agent.jar链接: (公众号内可见链接) 并将其保存在pycharm根目录bin下 3 打开IDE,如果上来就提示注册,选择“Evaluate for free”(免费试用)->点击Evaluate 4 在弹出的新画面中,点击右下角的"Configure"弹出下拉菜单->选择"Edit Custon VM Options"并单击此按钮 5 在弹出的画面中输入以下内容(输入-javaagent:后用ctrl+v粘贴上面复制的补丁的绝对路径)