pip

Python爬虫:爬取虎牙星秀主播图片

末鹿安然 提交于 2020-08-16 17:26:35
Python爬虫:爬取虎牙星秀主播图片 动态爬取思路讲解 导入需要的python模块 通过爬虫获得的主播图片 在Pycharm中所敲的代码 代码中涉及的模块详解 Python 之禅 动态爬取思路讲解 1.简单的爬虫只需要访问网站搜索栏处的url,就可以在开发者工具(F12)处,利用正则表达式、Xpath、css等进行定位并抓取数据; 2.虎牙星秀页面不同于简单的网页,随时都在更新,但搜索栏处的url并未改变,所以它是一个动态加载(ajax)的页面; 3.需要在开发者工具界面处对network进行抓包,提取真正给网站页面提供图片链接的url; 4.通过抓包的url,会发现打开的是一个json格式的文本,在里面可以抓取到需要的数据以及链接; 5.最后我们就可以打开Pycharm,活动小手指,敲击小键盘啦!!! (不要太忘情,打扰到身边的小伙伴哦~) 导入需要的python模块 通过pip install 模块名,本人使用的是Anaconda Prompt导入 import requests import os import json import time from random import randint 使用Python导入的话比较麻烦,所以强烈建议大家使用Anaconda导入模块。 通过爬虫获得的主播图片 链接: https://www.huya.com/g/xingxiu

从0开始PyTorch GOTURN tracker 包含anaconda pytroch等安装

蹲街弑〆低调 提交于 2020-08-16 14:47:44
1 github下载需要该项目源代码 ctrl+t //打开终端 sudo apt install git//安装git //git clone + github远程仓库地址 git clone https://github.com/amoudgl/pygoturn 嫌弃麻烦的小伙伴直接下载我上传的 资料 2 环境配置 2.1虚拟环境 为了方便,首先配置一下虚拟环境: 虚拟环境(virtual environment),顾名思义是虚拟出来的环境,通俗来讲,可以借助虚拟机,docker来理解虚拟环境,就是把一部分内容独立出来,我们把这部分独立出来的东西称作“容器”。在这个容器中,我们可以只安装自己所需的依赖包,而各个容器之间相互隔离,互不影响。 比如说,以个人为例,我需要在实验室工作站上使用3.x版本的python,以及相应版本的一些库,而另一同学需要使用2.x版本的python,以及其它版本的一些库。如果使用同一环境,那么在进行不同实验的时候,就需要对相应的库进行更新卸载安装等操作,将会十分不便。而使用虚拟环境的话,就可以创建两个环境,在各自的环境中配置各自所需的库,这样在进行实验的时候只需要在自己的虚拟环境下进行即可,不会产生冲突。 2,1,1虚拟安装环境 sudo pip install virtualenv #其中virtualenv是一个创建独立python环境的工具。

3行!仅3行代码就能抓取B站(弹幕、评论、用户)数据

梦想的初衷 提交于 2020-08-16 12:43:32
今天介绍一个获取B站数据的Python扩展库-bilibili_api 可以获取的数据包括: video-视频模块 user-用户模块 dynamic-动态模块 这次用“Running Man”十周年特辑的视频,来做个获取弹幕的Demo。 我是对比 没有对比,就没有伤害,就像最近的“哈工大”某学生和“浙大”某学生一样。 这是之前获取弹幕的过程: 1、弹幕数据接口 https://comment.bilibili.com/123072475.xml (一个固定的url地址 + 视频的cid + .xml) 2、利用Request模块,获取数据 3、利用Xpath解析数据 接下来,是时候表演真正的技术了。 经过bilibili_api的封装, 弹幕数据 获取的部分仅用了一行代码: danmu = video_info.get_danmaku() 相应的获取 视频的基本信息 和 评论信息 也是一样的便捷。 basic_info = video_info.get_video_info() comments = video_info.get_comments()速开始 快速开始 接下来,本文将用bilibili_api获取“Running Man”十周年特辑的弹幕数据,并绘制词云。 视频的链接: https://www.bilibili.com/video/BV1gC4y1h722

完美解决pycharm 不显示代码提示问题

可紊 提交于 2020-08-16 12:21:42
pycharm 不显示代码提示 1、检查IDE省电模式是否关闭状态!!! file → power save mode 取消掉 2、检查代码提示是否成功开启。 setting → Inspections → Spelling 要开启 setting → Inspections → Python 要打开 3、使用快捷键:ctrl+j、ctrl+space、alt+/ 其他(不能安装): 1、检查是否Python2,3冲突。 如果冲突了,只要更改PATH变量位置就好;或者指定python2 还是 python3 2、检查是否pip正常安装正常运行,如有关联相关按照提示安装。 python https://bootstrap.pypa.io/get-pip.py 3、安装whl文件,pip install filenam.whl windows 用户可收藏该网址: http://www.lfd.uci.edu/~gohlke/pythonlibs/ 4、安装code文件,python setup.py install 上海用户可使用上大mirrors cat ~/.pip/pip.conf [global] index-url = https://pypi.shuosc.org/simple 补充知识:Matlab调用Python中的自定义函数:未定义变量 "py" 或类 "py

还在纠结搭建框架无从下手?Python + Selenium,分分钟搭建 Web 自动化测试框架

三世轮回 提交于 2020-08-16 12:15:17
在程序员的世界中,一切重复性的工作,都应该通过程序自动执行。 「自动化测试」就是一个最好的例子。 随着互联网应用开发周期越来越短,迭代速度越来越快,只会点点点,不懂开发的手工测试,已经无法满足如今的业务要求,只能被企业逐步裁员淘汰。 「自动化测试和持续测试」就成为了业界主流。 如果在招聘网站搜索「测试工程师」的职位,95% 的招聘都会有「掌握自动化测试以及 Python」的相关要求。可以说, python 自动化已经不是加分项了,而成了面试成功的必备技能。 所以,如果你正准备入行或者转岗做测试工程师的工作,Python 自动化测试将是必学技能之一。 Python + Selenium 说到自动化测试,就不得不提大名鼎鼎的 Selenium 。Selenium 是如今最常用的自动化测试工具之一,支持快速开发自动化测试框架,且支持在多种浏览器上执行测试。 Selenium 学习难度小,开发周期短。对测试人员来说,如果你编程经验不足, python + Selenium 是个很好的选择。语法简约,清晰,可以显著减少后期维护难度和工作压力。 今天,我们就介绍一下如何用 Selenium 快速开始 Web 测试工作! selenium 基础知识 本节课程介绍 Selenium 的功能作用及安装、环境配置,并介绍 Selenium 常用的语法。 知识点 Selenium 介绍 安装

新手pip之pip与pip3

冷暖自知 提交于 2020-08-16 10:28:25
同时安装Python2.7与Python3.7的时候,两个pip共存 已经安装好了Python2.7与Python3 这里用的是 【深度操作系统 20 Beta】 ## 2.7的pip已经默认有了,只需要安装Python3的 sudo python3 -m pip install --upgrade pip --force-reinstall pip3 --version pip 20.1.1 from /usr/local/lib/python3.7/dist-packages/pip (python 3.7) 如果安装的时候提示:No module named pip3, 执行以下命令 sudo apt-get install python3-pip 来源: oschina 链接: https://my.oschina.net/wuxueshi/blog/4298641

pip和conda有什么区别?

夙愿已清 提交于 2020-08-16 08:21:32
问题: I know pip is a package manager for python packages. 我知道 pip 是python包的包管理器。 However, I saw the installation on IPython's website use conda to install IPython. 但是,我看到IPython网站上的安装使用 conda 来安装IPython。 Can I use pip to install IPython? 我可以使用 pip 来安装IPython吗? Why should I use conda as another python package manager when I already have pip ? 当我已经拥有 pip 时,为什么我应该使用 conda 作为另一个python包管理器? What is the difference between pip and conda ? pip 和 conda 什么区别? 解决方案: 参考一: https://stackoom.com/question/1Q5gS/pip和conda有什么区别 参考二: https://oldbug.net/q/1Q5gS/What-is-the-difference-between-pip-and-conda 来源:

​秉承工匠精神,3步定位飞桨报错原因,你也来试试?

只愿长相守 提交于 2020-08-16 08:13:42
【故事的开始…】 小张是一名AI算法攻城狮,听闻 飞桨 乃国产开源深度学习框架之光,心想炎黄子孙当自强,用自己的深度学习框架,实现中国的AI梦…… 下载安装命令 ## CPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/cpu paddlepaddle ## GPU版本安装命令 pip install -f https://paddlepaddle.org.cn/pip/oschina/gpu paddlepaddle-gpu ​ 他尝试在的笔记本上使用 飞桨 搭建线性回归示例模型。 ​ 噼里啪啦…噼里啪啦…键盘敲的热血澎湃。跑下试试…… ​ 然而,模型的打印结果让小张满怀期待的小心情顿时哇凉哇凉的。 ​ 丹还没炼成,炉咋就坏了呢?这铺天盖地的error,要怎么分析和处理? ​ 【故事的转折…】 同学且慢,经官方鉴定,小张大概率使用的是较早版本的 飞桨 , 飞桨 开源框架1.7及之后版本断然不会出现这么繁杂的报错信息了。 ​ 这是因为 飞桨 工程师们一直期望产品不但好用,而且易用,可以给开发者带来一点点工作上的愉悦。报错信息对调试分析至关重要, 飞桨 工程师也一直在持续地进行改进和优化。 ​ 解读最新的 飞桨 报错信息 飞桨 报错信息总体上分为两种:一种是直接在Python层拦截报出的错误

树莓派3B安装编译OpenCV3教程以及常见错误处理

旧街凉风 提交于 2020-08-16 07:33:28
最新树莓派系统opencv3的安装 一、配置树莓派 系统安装和配置 更换更新源和下载源 更换pip下载源 更新软件系统 扩展根目录空间 设置SWAP 二、安装运行在python2上的OpenCV 三、安装python3下的OpenCV 1、安装Python科学计算库numpy 2、安装OpenCV所需的库 3.下载opencv3.4.3和opencv_contrib3.4.3包 4.设置CMAKE编译参数 5.备份build文件夹 6.编译OpenCV3 7.安装OpenCV3 8.恢复SWAP空间 四、配置OpenCV 1.配置opencv.conf 2.修改bash.bashrc 配置文件 3.检查是否安装完成 五、编译中可能会出现的问题(没出现忽略) 近期把吃灰的树莓派3B找了出来,想在上面运行opencv3,安装编译的过程中走了很多弯路,参考网上众多大佬的笔记,发现要么不齐全,要么教程老旧,不适用于新版系统,故写下这篇博文以供大家参考,希望能帮助大家少走弯路。 一、配置树莓派 系统安装和配置 关于树莓派系统的安装和初期配置网上教程很多,这里不再赘述。 本文配置环境为: 树莓派3B 系统 Raspberry Pi OS(2020-05-27) 32G储存卡 更换更新源和下载源 sudo nano /etc/apt/sources.list 在第一行前输入 # 注释系统默认源

使用GluonCV运行目标检测模型

左心房为你撑大大i 提交于 2020-08-16 06:54:06
GluonCV是分布式机器学习社区(DMLC)发布的深度学习计算机视觉工具箱,提供了计算机视觉顶级的算法实现与基本运算(另一个是自然语言处理工具箱GluonNLP). GluonCV简单易用,有很多训练好的模型,通过一行代码就可以下载使用,非常方便. 由于GluonCV是基于MXNet,所以,要先安装MXNet: pip install mxnet 然后,再安装GluonCV: pip install gluoncv GluonCV包含了分类、检测、语义分割等多种计算机视觉应用的模型.下面,以目标检测Faster-RCNN模型为例,说明怎样下载并调用GluonCV的模型. 定义网络: net = model_zoo.get_model( ' faster_rcnn_resnet50_v1b_voc ' , pretrained=True) 其中,'faster_rcnn_resnet50_v1b_voc'为模型名称,pretrained=True表示使用预训练的模型,也就是直接下载GluonCV已经训练好的模型. 定义用到的图片: im_fname = [ ' C:\\Users\\hadoop\\.mxnet\\models\\aa554c60229540cfb4d4999f72134bcb_th.jpg ' ] 对图片进行处理: x, orig_img = data