哈希表

问题描述： 运用你所掌握的数据结构，设计和实现一个 LRU (最近最少使用) 缓存机制。它应该支持以下操作： 获取数据 get 和 写入数据 put 。 获取数据 get(key) - 如果密钥 (key) 存在于缓存中，则获取密钥的值（总是正数），否则返回 -1。 写入数据 put(key, value) - 如果密钥不存在，则写入其数据值。当缓存容量达到上限时，它应该在写入新数据之前删除最近最少使用的数据值，从而为新的数据值留出空间。 解决思路： 分析上面的操作过程，要让 put 和 get 方法的时间复杂度为 O(1)，我们可以总结出 cache 这个数据结构必要的条件：查找快，插入快，删除快，有顺序之分。 因为显然 cache 必须有顺序之分，以区分最近使用的和久未使用的数据；而且我们要在 cache 中查找键是否已存在；如果容量满了要删除最后一个数据；每次访问还要把数据插入到队头。 那么，什么数据结构同时符合上述条件呢？哈希表查找快，但是数据无固定顺序；链表有顺序之分，插入删除快，但是查找慢。所以结合一下，形成一种新的数据结构：哈希链表。 LRU 缓存算法的核心数据结构就是哈希链表，双向链表和哈希表的结合体。这个数据结构长这样： 思想很简单，就是借助哈希表赋予了链表快速查找的特性嘛：可以快速查找某个 key 是否存在缓存（链表）中，同时可以快速删除、添加节点

目录 1. hash 函数 2. 哈希表 3. 密码存储 1. hash 函数 关键词 任意长度输入 固定长度输出 特征 理论上输入跟输出并不是一对一 实际使用假定不会出现碰撞或者冲突 常用算法 （MD4 以前用，现在不大用了） MD5 SHA-1 应用场景 数字签名 文件校验 2. 哈希表 是根据关键码值(Key, value)直接进行访问的数据结构 常用算法 直接寻址 数字分析 平方取中 折叠法 随机数 除留余数法 冲突处理 链地址法 建立公共溢出区 再散列 扩大“范围” 性能 散列函数是否均匀 3. 密码存储 明文 vs 密文 明文：可直接读懂含义 密文：不可直接读懂 hash 密码 防止密码泄露 不能防备字典攻击 加盐 防备字典攻击 Python 代码示例 import hashlib m = hashlib.md5() m.update(bytes("password", "utf8")) # 这里加盐更好 password = m.hexdigest() print(password) 后记 此为之前听“刘大拿”老师的所谓能值 9999 的《数据结构与算法》的课时所记笔记 等了很久都没有更新，不出意外是没后续了 因为有一段时间了，所以整理笔记时重听了一部分，倒是有“温故而知新”的惊喜 来源： https://www.cnblogs.com/yorkyu/p

海量信息即大规模数据，随着互联网技术的发展，互联网上的信息越来越多，如何从海量信息中提取有用信息成为当前互联网技术发展必须面对的问题。 在海量数据中提取信息，不同于常规量级数据中提取信息，在海量信息中提取有用数据，会存在以下几个方面的问题： （1）数据量过大，数据中什么情况都可能存在，如果信息数量只有20条，人工可以逐条进行查找、比对，可是当数据规模扩展到上百条、数千条、数亿条，甚至更多时，仅仅只通过手工已经无法解决存在的问题，必须通过工具或者程序进行处理。 （2）对海量数据信息处理，还需要有良好的软硬件配置，合理使用工具，合理分配系统资源。通常情况下，如果需要处理的数据量非常大，超过了TB级，小型机、大型工作站是要考虑的，普通计算机如果有好的方法也可以考虑，如通过联机做成工作集群。 （3）对海量信息处理时，要求很高的处理方法和技巧，如何进行数据挖掘算法的设计以及如何进行数据的存储访问等都是研究的难点。 针对海量数据的处理，可以使用的方法非常多，常见的方法有Hash法、Bit-map法、Bloom filter法、数据库优化法、倒排索引法、外排序法、Trie树、堆、双层桶法以及MapReduce法。 Hash法 哈希函数的特点 哈希函数的构建方法 解决冲突的方法 Bit-map法 Bloom filter法 数据库优化法 倒排索引法 外排序法 Trie树 堆 双层桶法

1，布隆过滤器及其应用 此题在另一篇博客已经有介绍。 2，只用2GB内存在20亿个整数中找到出现次数最多的数 题目：有一个包含20亿个全是32位整型的大文件，在其中找到出现次数最多的数。 要求：内存限制为2GB。 思路：要找出出现次数最多的数，通常的做法是使用哈希表对出现的每一个数做词频统计，哈希表的key是某一个整数，value是这个数出现的次数。就本题来说，一共有20亿个数，哪怕只是一个数出现了20亿次，用32位的整数也可以表示其出现的次数而不会产生溢出，所以哈希表的key需要占用4B，value也是4B。那么哈希表的一条记录(key,value)需要占用8B，当哈希表记录数为2亿个时，需要至少1.6GB内存。 但如果20亿个数中不同的数超过2亿种，最极端的情况是20亿个数都不同，那么在哈希表中可能需要产生20亿条记录，这样内存会不够用，所以一次性用哈希表统计20亿个数的方法是有很大风险的。 解决方法是把20亿个数用哈希函数分成16个小文件，根据哈希函数的性质，同一种数不可能被哈希到不同的小文件上，同时每个小文件中不同的数一定不会大于2亿种，假设哈希函数足够好。然后对每一个小文件用哈希表来统计其中每种数出现的次数，这样我们就得到了16个小文件中各自出现次数最多的数，还有各自的统计次数。接下来只要选出16个小文件各自的第一名中谁出现的次数最多即可。

原文地址：http://www.2cto.com/kf/201606/519107.html 海量信息即大规模数据，随着互联网技术的发展，互联网上的信息越来越多，如何从海量信息中提取有用信息成为当前互联网技术发展必须面对的问题。 在海量数据中提取信息，不同于常规量级数据中提取信息，在海量信息中提取有用数据，会存在以下几个方面的问题： （1）数据量过大，数据中什么情况都可能存在，如果信息数量只有20条，人工可以逐条进行查找、比对，可是当数据规模扩展到上百条、数千条、数亿条，甚至更多时，仅仅只通过手工已经无法解决存在的问题，必须通过工具或者程序进行处理。 （2）对海量数据信息处理，还需要有良好的软硬件配置，合理使用工具，合理分配 系统 资源。通常情况下，如果需要处理的数据量非常大，超过了TB级，小型机、大型工作站是要考虑的，普通计算机如果有好的方法也可以考虑，如通过联机做成工作集群。 （3）对海量信息处理时，要求很高的处理方法和技巧，如何进行数据挖掘算法的设计以及如何进行数据的存储访问等都是研究的难点。 针对海量数据的处理，可以使用的方法非常多，常见的方法有Hash法、Bit-map法、Bloom filter法、 数据库 优化法、倒排索引法、外排序法、Trie树、堆、双层桶法以及MapReduce法。 Hash法 Hash 一般被翻译为哈希，也被称为散列，它是一种映射关系

本博客已弃用，当时存在一些小细节错误后期也不再修改了 欢迎来我的 新博客 前言：在这个用户量爆炸、并发极高的互联网时代，对于如今的IT行业，在极大量的数据处理这一块的能力，无疑某些程度上是其技术实力的体现。例如淘宝、支付宝在双十一这天的峰值时期，每秒要处理的数据量几乎都是百亿级别，新浪微博在春晚将要处理一亿左右人的抢红包活动。海量数据处理能力是一家大公司必须要做得非常硬的一个技术块，这样才能在互联网行业的激烈竞争中站稳脚跟。因此，海量数据问题在面试中也是经常问到的，并且也是很能体现你的知识底蕴的一个方面。 下面我们通过七个问题来进行讲解。 Ps:本文需要堆、哈希、位图、布隆这些知识基础，若你不明白这些目前还是先不要看下去了，当然，没有耐心去一个一个方法看的肯定也看不下去。 正文： 海量数据的定义：内存里存不下或者会占用太多内存的数据量。（注意：我们说的是内存，因为这些数据都是要拿来直接用的） 注意：在这里讲的是方法，因为别人问你也不是要你自己能实现一个处理海量的数据的轮子，重要的是能表述清楚原理，因此无关紧要的细节各位自行忽略(比如下面的log file怎么取模,log file中的IP怎么提取 之类的问题 ) 1）给⼀一个超过100G大小的log file, log中存着IP地址, 设计算法找到出现次数最多的IP地址。如何找到top K的IP？

海量信息即大规模数据，随着互联网技术的发展，互联网上的信息越来越多，如何从海量信息中提取有用信息成为当前互联网技术发展必须面对的问题。 在海量数据中提取信息，不同于常规量级数据中提取信息，在海量信息中提取有用数据，会存在以下几个方面的问题： （1）数据量过大，数据中什么情况都可能存在，如果信息数量只有20条，人工可以逐条进行查找、比对，可是当数据规模扩展到上百条、数千条、数亿条，甚至更多时，仅仅只通过手工已经无法解决存在的问题，必须通过工具或者程序进行处理。 （2）对海量数据信息处理，还需要有良好的软硬件配置，合理使用工具，合理分配系统资源。通常情况下，如果需要处理的数据量非常大，超过了TB级，小型机、大型工作站是要考虑的，普通计算机如果有好的方法也可以考虑，如通过联机做成工作集群。 （3）对海量信息处理时，要求很高的处理方法和技巧，如何进行数据挖掘算法的设计以及如何进行数据的存储访问等都是研究的难点。 针对海量数据的处理，可以使用的方法非常多，常见的方法有Hash法、Bit-map法、Bloom filter法、数据库优化法、倒排索引法、外排序法、Trie树、堆、双层桶法以及MapReduce法。 Hash法 哈希函数的特点 哈希函数的构建方法 解决冲突的方法 Bit-map法 Bloom filter法 数据库优化法 倒排索引法 外排序法 Trie树 堆 双层桶法

生活中我们经常会遇到一些海量数据处理的问题，那么怎样的问题就算是海量数据了呢？来看以下这几个问题： 给定一个大小超过 100G 的文件, 其中存在 IP 地址, 找到其中出现次数最多的 IP 地址 。 给定100亿个整数, 找到其中只出现一次的整数(位图变形, 用两位来表示次数)。 有两个文件, 分别有100亿个query(查询词, 字符串), 只有1G内存, 找到两个文件的交集。 给上千个文件, 每个文件大小为1K - 100M, 设计算法找到某个词存在在哪些文件中。 首先第一个问题很明确有100G的数据；第二个问题100亿个整数所占的空间大小是：100亿*4byte = 40G；第三个问题100亿也就是10G……要知道我们日常使用的电脑也就是4G、8G的内存大小，远不能满足这里的100G、40G……的数据处理的需求。但是我们又必须要处理类似这样的问题，难道就束手无策了么！！！ 为了解决类似这样的问题，我们可以借助之前学的哈希表，位图，布隆过滤器这样的数据结构，接下来我们来了解一下相关知识。 哈希表 详情请移步： 哈希表 位图 详情请移步： 位图 布隆过滤器 详情请移步： 布隆过滤器 哈希切分 所谓的切分就很好理解，就是将一个东西切分开，将一个整体划分为多个更小的小整体。那么这里的哈希切分又是什么操作呢？提到哈希我们就要想到这其中使用了哈希函数，同样 的哈希切分

Algorithm 不使用任何内建的哈希表库设计一个哈希映射 具体地说，你的设计应该包含以下的功能 put(key, value)：向哈希映射中插入(键,值)的数值对。如果键对应的值已经存在，更新这个值。 get(key)：返回给定的键所对应的值，如果映射中不包含这个键，返回-1。 remove(key)：如果映射中存在这个键，删除这个数值对。 示例： MyHashMap hashMap = new MyHashMap(); hashMap.put(1, 1); hashMap.put(2, 2); hashMap.get(1); // 返回 1 hashMap.get(3); // 返回 -1 (未找到) hashMap.put(2, 1); // 更新已有的值 hashMap.get(2); // 返回 1 hashMap.remove(2); // 删除键为2的数据 hashMap.get(2); // 返回 -1 (未找到) 注意： 所有的值都在 [1, 1000000]的范围内。 操作的总数目在[1, 10000]范围内。 不要使用内建的哈希库。 import java.util.Arrays; public class MyHashMap { int[][] data; int buckets =1000; int size = 1001; /** Initialize

有一篇文章内含多个单词，现给定两个单词，请设计一个高效算法，找出文中这两个单词的最短距离(即最少相隔的单词数,也就是两个单词在文章中位置的差的绝对值)。 给定一个string数组article，代表所给文章，同时给定文章的单词数n和待查找的两个单词x和y。请返回两个单词的最短距离。保证两个单词均在文中出现且不相同，同时保证文章单词数小于等于1000。 代码如下 public class Distance { public int getDistance(String[] s, int n, String x, String y) { //两个单词均在文中出现且不相同 int startX=-1, endY = -1;//1和0之间间隔为1 int minD = Integer.MAX_VALUE; for(int i=0; i<s.length; i++){ if(s[i].equals(x)) startX=i; else if(s[i].equals(y)) endY=i; else continue; //两个元素的距离:startX-endY的绝对值，与当前记录的最小间距minD比，取小的 if(startX!=-1 && endY!=-1) minD=Math.min(Math.abs(startX-endY), minD); } return minD; } }