Anaconda

Python爬虫:爬取虎牙星秀主播图片

末鹿安然 提交于 2020-08-16 17:26:35
Python爬虫:爬取虎牙星秀主播图片 动态爬取思路讲解 导入需要的python模块 通过爬虫获得的主播图片 在Pycharm中所敲的代码 代码中涉及的模块详解 Python 之禅 动态爬取思路讲解 1.简单的爬虫只需要访问网站搜索栏处的url,就可以在开发者工具(F12)处,利用正则表达式、Xpath、css等进行定位并抓取数据; 2.虎牙星秀页面不同于简单的网页,随时都在更新,但搜索栏处的url并未改变,所以它是一个动态加载(ajax)的页面; 3.需要在开发者工具界面处对network进行抓包,提取真正给网站页面提供图片链接的url; 4.通过抓包的url,会发现打开的是一个json格式的文本,在里面可以抓取到需要的数据以及链接; 5.最后我们就可以打开Pycharm,活动小手指,敲击小键盘啦!!! (不要太忘情,打扰到身边的小伙伴哦~) 导入需要的python模块 通过pip install 模块名,本人使用的是Anaconda Prompt导入 import requests import os import json import time from random import randint 使用Python导入的话比较麻烦,所以强烈建议大家使用Anaconda导入模块。 通过爬虫获得的主播图片 链接: https://www.huya.com/g/xingxiu

Windows系统下Gurobi优化库的配置

元气小坏坏 提交于 2020-08-16 13:57:49
Windows系统下Gurobi优化库的配置 在windows系统下安装anaconda,之后 1、打开anaconda prompt命令行 conda config --add channels http://conda.anaconda.org/gurobi conda install gurobi 2、打开jupternotebook from gurobipy import * m = Model ( ) 报错: 属于编码错误,可能是路径中有中文字符,我先进行了计算机名称的改动,并没有起效 3、小娜搜索‘’语言‘’,进入语言设置 点击‘’管理语言设置‘’ 点击‘’更改系统区域设置‘’ 点击选中‘’使用Unicode UTF-8…‘’,单击确定,保存设置更改 重新运行程序,报错:没有证书 4、下载Gurobi证书及配置 (1)如果为在校学生,可免费获得Gurobi的限时证书 可以获得证书编号,黑色阴影区即为证书编号 (2)打开anaconda prompt 1、grbgetkey 2、输入证书编号:xxxxxx-xxxxx-xxxxx-xxxx 3、输出证书存储位置/opt/gurobi/ (3)配置系统变量 右击‘’我的电脑‘’,单击‘’属性‘’,在‘’高级‘’栏找到‘’环境变量‘’,进入 将证书存储位置存储为一个系统变量 最终,Gurobi库配置完成,运行 from

在树莓派 3 上安装 Fedora

你说的曾经没有我的故事 提交于 2020-08-16 08:33:21
在树莓派上运行 Fedora。 树莓派基金会 这几年来生产了很多型号。本文的安装过程已经在第三代树莓派上进行了测试: 3B v1.2 和 B+ (较旧的 树莓派 2 和新的 树莓派 4 都还没有测试)。这些是已经发布了几年的信用卡大小的树莓派。 获取硬件 你需要一些硬件组件,包括树莓派。你不需要任何 HaT(安装在顶部的硬件) 板或 USB 天线。如果你使用过树莓派,那么可能会有这些。 当前网络 。也许是你的家庭实验室。 网线 。连接当前网络到树莓派 树莓派 3 ,型号 B 或 B+。 电源 。 8 GB 或更大容量的 micro-SD 卡 。 键盘 和 显示器 。 键盘和显示器共同组成本地控制台。即使没有控制台,也能进行操作(尽管很复杂),例如设置自动安装然后通过网络连接。在 Fedora 首次启动时,本地控制台可轻松回应配置问题。同样,在 AP 配置期间出错可能会破坏网络配置,从而阻止远程用户连入。 下载 Fedora Minimal 查找 Fedora 的 其他可选架构镜像 。 下载 ARM® aarch64 架构镜像 。 Fedora Minimal 镜像是 Fedora 的其他可选下载之一 ,它有所有必需的核心软件包和网络软件包(嗯,是几乎,注意下面的 dnsmasq)。该镜像包含一个现成的文件系统,它已经安装了 400 多个软件包。此最小镜像不包括流行的软件包

insightface 的学习与使用

六眼飞鱼酱① 提交于 2020-08-15 10:34:39
网址: deepinsight / insightface 环境准备: (1)GPU,由于要用到GPU,所以GPU的环境比较重要。先要安装GPU的驱动,相应的教程,我在前几篇博客里写到,这里不再说明。 需要说明的是,如果你换过内核版本了,有些内核源码没有,CUDA10,9之间的区别,你需要重新安装内核DEV版本,这样在安装GPU驱动的时候,就会源码可以被驱动使用,这样才可以成功安装GPU的驱动。 (2)使用anaconda . 一般情况下,我们安装2.7. 需要其它环境,再安装。 在很多机器学习的教程里,我们看到了它使用2.7. 比如这个insightface的工程,其实可能是最初始的时候,他使用了2.7,但后来,很多优秀的模块构建在新的版本之上 ,其它很多依赖的环境都变化了; 但也不能最新3.7,因为很多要用的模块都还来不及构建。 所以比较合适的选择是3.6. conda install 在无法找到要安装的模块时,anaconda search -t conda 去寻找;注意选择与你环境相符合的版本。 当然如果你选择了3.6,一般情况下都是有的。 环境非常重要,足可以让你浪费很长的时间,做到如上两点,应该可以清晰搞定环境 。 工程理解 https://github.com/deepinsight/insightface.git 对于工程的理解

Windows 10 Anaconda 非管理员权限命令行模式升级 pip 失败如何处理?

帅比萌擦擦* 提交于 2020-08-15 07:38:03
尝试非管理员权限使用命令升级pip。 pip install --upgrade pip 升级过程中,提示未使用管理员权限导致升级失败,报错如下 Microsoft Windows [版本 10.0.19041.329] (c) 2020 Microsoft Corporation. 保留所有权利。 C:\Users\lenovo>pip list Script file 'D:\ProgramData\Anaconda3\Scripts\pip-script.py' is not present. C:\Users\lenovo> 管理员权限打开命令行窗口,执行命令。具体步骤如下所示 Windows PowerShell 版权所有 (C) Microsoft Corporation。保留所有权利。 尝试新的跨平台 PowerShell https://aka.ms/pscore6 PS C:\WINDOWS\system32> easy_install pip WARNING: The easy_install command is deprecated and will be removed in a future version. Searching for pip Reading https://pypi.org/simple/pip/ Downloading https:

Kickstart配置文件参数详解

十年热恋 提交于 2020-08-15 05:39:26
kickstart 是什么? KickStart是一种无人值守的安装方法。它的工作原理时在安装过程中记录典型的需要人工干预填写的各种参数,并生成一个名为ks.cfg的文件。如果在安装过程中(不只局限于生成KickStart安装文件的机器)出现要填写参数的情况,安装程序首选会去查找KickStart生成的文件,如果找到合适的参数,就采用所找到的参数;如果没有找到合适的参数,便需要安装着手工干预了。所以如果KickStart文件涵盖了安装过程中可能出现的所有需要填写的参数,那么安装着完全可以只告诉安装程序从何处去ks.cfg文件,然后就去忙自己的事情。等安装完毕,安装程序会根据ks.cfg中设置重启系统,并结束安装。 如何执行 kickstart 安装 kickstart 安装可以使用本地光盘,本地硬盘驱动器,或通过 NFS,FTP,HTTP 来执行. 要使用 kickstart,必须: 1.创建一个kickstart文件. 2.创建有kickstart文件的引导介质或者使这个文件在网络上可用. 3.筹备安装树. 4.开始kickstart安装. 创建 kickstart 文件 kickstart文件是一个简单的文本文件,它包含了一个项目列表,每个项目由一个关键字来识别.可以用「Kickstart 配置」应用程序创建它或是自己从头编写

Python 包管理及虚拟环境的应用(四: conda)

让人想犯罪 __ 提交于 2020-08-14 22:43:27
一年半以前写了关于 Python 包管理及虚拟环境系列 Python 包管理及虚拟环境的应用(一: pip) Python 包管理及虚拟环境的应用(二: virtualenv) Python 包管理及虚拟环境的应用(三: pipenv) 其中历数了 virtualenv , python3 -m venv , pipenv , 并提到了 pyenv 和 conda,但未作介绍,其中 conda 似乎不该错过,Pycharm 中对它也有很好支持。因此本文来了解一下 conda 以及 Anaconda。 首先 Anaconda 是什么,它是一个用于科学计算的,跨平台的包管理与 Python 环境的工具,它方便的解决了多版本 Python 并存,切换及第三方包安装的问题。所以 Anaconda 不只是像 venv , pipenv 那样的创建管理 Python 虚拟环境,还承担了系统软件的安装管理,像 Mac 下的 brew 那样的功能。一般来说我们没有必须安装 Anaconda, 只需要安装 Miniconda 获得 conda 这个命令行工具即可。 阅读全文 >> 来源: oschina 链接: https://my.oschina.net/u/2791/blog/4460496

Ubuntu k80深度学习环境搭建

走远了吗. 提交于 2020-08-14 11:04:53
英伟达驱动安装 英伟达驱动下载: https://www.nvidia.cn/Download/driverResults.aspx/135493/cn/ 由于是驱动的冲突,那么自然是要杀掉和显卡结合不是那么紧密的草根板驱动nouveau了,加入黑名单是我们要做的第一件事,这样启动以后就不会默认使用草根驱动; cd /etc/modprobe.d/ # 文件夹下创建 touch blacklist-nouveau.conf vim blacklist-nouveau.conf blacklist-nouveau.conf 中加入黑名单 blacklist nouveau options nouveau modeset=0 # 更新的blacklist update initramfs -u命令得到 # 重启系统,强力保证blacklist生效 reboot # 查看是否vouveau真的被禁止掉了,如果没有任何内容出现,那么草根驱动被禁止掉了 lsmod | grep nouveau 下载NVIDIA官方的K80显卡驱动,一般驱动都是通过deb包进行安装,但是安装后会加入OpenGL的驱动,所以必须得使用.run的文件,.run文件下载地址: https://www.nvidia.cn/Download/driverResults.aspx/135493/cn/ 如果不用

Anaconda3中的Jupyter notebook添加扩展插件

安稳与你 提交于 2020-08-14 10:24:17
学习python和人工智能的相关课程时安装了Anaconda3,想在Jupyter notebook中归纳整理笔记,为了方便日后查找想安装目录(Table of Contents, TOC)插件,查找了安装方法,但在 jupyter_contrib_nbextensions插件安装过程中遇到很多问题, 版本信息:Anaconda3-2020.02(python3.7),本人操作系统Win7旗舰版 64bit 尝试多种安装方法,整理如下: 一、安装Jupyter notebook extensions 方法一:使用conda安装 conda install -c conda-forge jupyter_contrib_nbextensions (剩下一项反复安装失败,进度始终在 10%--50%左右,更换另一种方法。) 方法二:使用pip3安装 pip3 --default-timeout=100 install jupyter_contrib_nbextensions -i https://pypi.tuna.tsinghua.edu.cn/simple/ 分别通过豆瓣、清华源下载安装,总是卡在下图这个地方超时。 方法三:从下面网站下载了jupyter_contrib_nbextensions的 tar.gz包,安装 https://github.com/ipython

Python入门:Anaconda和Pycharm的安装和配置

ぃ、小莉子 提交于 2020-08-14 07:24:48
  Python入门:Anaconda和Pycharm的安装和配置   子曰:“工欲善其事,必先利其器。”学习Python就需要有编译Python程序的软件,一般情况下,我们选择在Python官网下载对应版本的Python然后用记事本编写,再在终端进行编译运行即可,但是对于我这样懒的小白,我喜欢装一些方便的软件来辅助我编写程序。在学习Java时,正常情况选择安装JDK然后配置环境变量后,用记事本编写程序再在终端编译运行即可,而我一般选择安装JDK+MyEclipse。将Python和Java进行类比的话,在Python中使用Python+Pycharm好比是在Java中使用JDK+MyEclipse,这里我们不用Python+Pycharm而是使用Anaconda+Pycharm,为什么呢?   Anaconda 是一个基于 Python 的数据处理和科学计算平台,它已经内置了许多非常有用的第三方库,装上Anaconda,就相当于把 Python 和一些如 Numpy、Pandas、Scrip、Matplotlib 等常用的库自动安装好了,使得安装比常规 Python 安装要容易。如果选择安装Python的话,那么还需要 pip install 一个一个安装各种库,安装起来比较痛苦,还需要考虑兼容性,非如此的话,就要去Python官网(https://www.python.org