pip

Bloom Filter实现大数据集查询

自古美人都是妖i 提交于 2020-10-26 05:34:35
Bloom Filter实现大数据集查询 1、什么情况下需要布隆过滤器? 先来看几个比较常见的例子 字处理软件中,需要检查一个英语单词是否拼写正确 在 FBI,一个嫌疑人的名字是否已经在嫌疑名单上 在网络爬虫里,一个网址是否被访问过 yahoo, gmail等邮箱垃圾邮件过滤功能 这几个例子有一个共同的特点: 如何判断一个元素是否存在一个集合中? 常规思路 数组 链表 树、平衡二叉树、Trie Map (红黑树) 哈希表 虽然上面描述的这几种数据结构配合常见的排序、二分搜索可以快速高效的处理绝大部分判断元素是否存在集合中的需求。但是当集合里面的元素数量足够大,如果有500万条记录甚至1亿条记录呢?这个时候常规的数据结构的问题就凸显出来了。数组、链表、树等数据结构会存储元素的内容,一旦数据量过大,消耗的内存也会呈现线性增长,最终达到瓶颈。有的同学可能会问,哈希表不是效率很高吗?查询效率可以达到O(1)。但是哈希表需要消耗的内存依然很高。使用哈希表存储一亿 个垃圾 email 地址的消耗?哈希表的做法:首先,哈希函数将一个email地址映射成8字节信息指纹;考虑到哈希表存储效率通常小于50%(哈希冲突);因此消耗的内存:8 * 2 * 1亿 字节 = 1.6G 内存,普通计算机是无法提供如此大的内存。这个时候,布隆过滤器(Bloom Filter)就应运而生

Anaconda3-2020.07+PyQt5.15.0+Eric6-20.7的安装

无人久伴 提交于 2020-10-26 05:11:52
安装Anaconda3 1、下载版本是Anaconda3-2020.07-Windows-x86_64.exe https://mirrors.tuna.tsinghua.edu.cn/anaconda/archive/ 默认安装,默认勾选,安装路径不能有空格,例如D:\ProgramData\Anaconda3 安装完,桌面-开始菜单,可以看到: 2、修改pip的安装路径 查看默认安装路径的终端命令是 python -m site USER_SITE: 'C:\\Users\\firecat\\AppData\\Roaming\\Python\\Python38\\site-packages' (exists) USER_BASE: 'C:\\Users\\firecat\\AppData\\Roaming\\Python' (exists) 修改为自定义,D:\ProgramData\Anaconda3\Lib\site.py,第87行 USER_SITE = "D:\ProgramData\Anaconda3\Lib\site-packages" USER_BASE = "D:\ProgramData\Anaconda3\Scripts" 安装PyQt5 1、方法1,默认安装PyQt5 打开开始菜单的 Anaconda Prompt 查看 pip list 安装 pip

Windows安装Python+OpenCV

给你一囗甜甜゛ 提交于 2020-10-26 05:01:05
1、更新PyCharm中pip来源,使用清华和阿里云: https://pypi.tuna.tsinghua.edu.cn/simple/ http://mirrors.aliyun.com/pypi/simple/ 2、PyCharm查看已安装packets,添加新的安装包,从pip云端搜索opencv-python,选择一个进行安装; 3、等待安装完成后,创建python测试下: import cv2 import numpy print(numpy.__version__) print(cv2.__version__) 来源: oschina 链接: https://my.oschina.net/u/3489228/blog/4365841

如何利用tox打造自动自动化测试框架,看完就懂

守給你的承諾、 提交于 2020-10-25 13:47:01
什么是tox tox官方文档的第一句话 standardize testing in Python,意思就是说标准化python中的测试,那是不是很适合测试人员来使用呢,我们来看看他究竟是什么? 根据官方文档的解释,tox是一个管理测试虚拟环境的命令行工具,可以支持穿件隔离的python环境,在里面可以安装不同版本的python解释器和项目的各种依赖库,可以进行自动化测试、打包以及持续集成。 tox能做什么 创建测试虚拟环境 运行静态代码分析与测试工具 自动化构建包 针对 tox 构建的软件包运行测试 检查软件包是否能在不同的 Python 版本/解释器中顺利安装 统一持续集成(CI)和基于命令行的测试 怎么配置tox 安装tox 使用 pip install tox 安装,在命令行执行tox -e envname运行指定的测试环境 tox配置 tox的行为既可以通过命令行来控制也可以通过配置文件进行控制,支持有以下三种形式的配置文件 pyproject.toml tox.ini setup.cfg 什么是tox tox官方文档的第一句话 standardize testing in Python,意思就是说标准化python中的测试,那是不是很适合测试人员来使用呢,我们来看看他究竟是什么? 根据官方文档的解释,tox是一个管理测试虚拟环境的命令行工具

天猫精灵连接蓝牙摸索1 关于阿里巴巴蓝牙MESH芯片TG7100B LINUX 开发环境塔建图文说明

人盡茶涼 提交于 2020-10-25 11:23:14
天猫精灵连接蓝牙摸索1 关于阿里巴巴蓝牙MESH芯片TG7100B LINUX 开发环境塔建图文说明 以下是本人亲测的截图及运行过的代码复制过来的,指令的具体流程是按阿里巴巴的TG_B_7101_产品手册V1.5 2.1准备开发环境做的。本人是在WIN7下安装了虚拟机运行的Ubuntu 18 下塔建的GCC环境。只要一幕幕一样的按下图去操作,在自己的代码下运行 aos make bluetooth.light_ctl@tg7100b 就可以看到工程编译成功的如下截图: 我的工程SDK代码路径是: cd /mnt/hgfs/LINUX/genie-bt-mesh-sdk-rel_1.2.0-a80817d67cda7314e07c9bc7d4d6f1796edcdb9fgenie-bt-mesh-sdk.git 安装程序运行时库 sudo apt-get update sudo apt-get -y install libssl-dev:i386 sudo apt-get -y install libncurses-dev:i386 sudo apt-get -y install libreadline-dev:i386 安装依赖软件包 sudo apt-get update sudo apt-get -y install git wget make flex bison gperf

Mooplab(新网银行杯)

ε祈祈猫儿з 提交于 2020-10-25 09:32:51
Mooplab(新网银行杯) 一、pycharm第三方库安装不上的问题(2020.10.19-10.21) 相关方法: 在终端上安装包 win+R 输入cmd进入终端 pip install (numpy)‘要装的安装包’ -i https://pypi.tuna.tsinghua.edu.cn/simple some-package 更新pip:终端输入python -m pip install --upgrade pip PyCharm安装教程(Windows):https://www.runoob.com/w3cnote/pycharm-windows-install.html 二、‘mbcs’ codec can’t encode characters in position 0–1: invalid character 问题(2020.10.22) 方法: 原因:路径问题,将字符串作为路径直接使用,需要转义 出错代码:pd.read_csv(‘duringopereation\patients\patients_csv\23483949.csv’, encoding = “gb2312”) 修改代码:pd.read_csv(‘duringopereation\patients\patients_csv\23483949.csv’, encoding = “gb2312”)