hash函数

RUST 0x06 Common Collections 1 Vector vector , Vec<T> ，能存储相同类型的值。 创建一个Vector 要创建一个空的vector，可以调用 Vec::new 函数，如： let v: Vec<i32> = Vec::new(); 注意，这里写出类型名 Vec<i32> 是因为我们没有在这个vector中插入任何值，所以我们就需要让Rust知道我们想要存储什么类型的值。 如果我们在创建vector时就已经插入了值，那么就没有必要再注明类型名了——Rust可以从插入的值推断类型。 如果要创建含初始值的vector，可以使用Rust中的 vec! 宏，如： let v = vec![1, 2, 3]; 因为我们已经给了 i32 的初始值，所以Rust可以推断出来 v 的类型是 Vec<i32> 。 更新一个Vector 如果想在vector后面添加元素，我们可以用 push method，如： let mut v = Vec::new(); v.push(5); v.push(6); v.push(7); v.push(8); 就像对所有变量一样，如果我们想要改变vector的值，我们需要用 mut 来让其可变。 此外，因为在后面的 push 操作中我们往vector中插入了 i32 ，所以Rust可以联系上下文推断出 v 的类型是

一、算法背景 一致性哈希算法在1997年由麻省理工学院的Karger等人在解决分布式Cache中提出的，设计目标是为了解决因特网中的热点(Hot spot)问题，初衷和CARP十分类似。一致性哈希修正了CARP使用的简单哈希算法带来的问题，使得DHT可以在P2P环境中真正得到应用。 二、应用场景 现在一致性hash算法在分布式系统中也得到了广泛应用，分布式系统中涉及到集群部署，包括缓存Redis集群，数据库集群，我们在使用Redis的时候，为了保证Redis的高可用，提高Redis的读写性能，最简单的方式我们会做主从复制，组成Master-Master或者Master-Slave的形式，或者搭建Redis集群，进行数据的读写分离，类似于数据库的主从复制和读写分离。如下所示： 同样数据库中也是，当单表数据大于500W的时候需要对其进行分库分表，当数据量很大的时候（标准可能不一样，要看Redis服务器容量）我们同样可以对Redis进行类似的操作，就是分库分表。 假设，我们有一个社交网站，需要使用Redis存储图片资源，存储的格式为键值对，key值为图片名称，value为该图片所在文件服务器的路径，我们需要根据文件名查找该文件所在文件服务器上的路径，数据量大概有2000W左右，按照我们约定的规则进行分库，规则就是随机分配，我们可以部署8台缓存服务器，每台服务器大概含有500W条数据

LSH(Location Sensitive Hash),即位置敏感哈希函数。与一般哈希函数不同的是位置敏感性，也就是散列前的相似点经过哈希之后，也能够在一定程度上相似，并且具有一定的概率保证。 作者注：LSH算法分两种：SimHash和MinHash。 simhash的原理是减少搜索空间，用汉明距离替代余弦距离 minHash的原理是降维。通过hash映射函数，将特征元素的个数降下来。 形式化定义： 对于任意q,p属于S，若从集合S到U的函数族H={h1,h2...hn}对距离函数D(,)，如欧式距离、曼哈顿距离等等，满足条件： 则称D(,)是位置敏感的。 如下图，空间上的点经位置敏感哈希函数散列之后，对于q，其rNN有可能散列到同一个桶（如第一个桶）,即散列到第一个桶的概率较大，会大于某一个概率阈值p1;而其(1+emxilong)rNN之外的对象则不太可能散列到第一个桶，即散列到第一个桶的概率很小，会小于某个阈值p2. LSH的作用 ◆高维下近似查询 相似性检索在各种领域特别是在视频、音频、图像、文本等含有丰富特征信息领域中的应用变得越来越重要。丰富的特征信息一般用高维向量表示，由此相似性检索一般通过K近邻或近似近邻查询来实现。一个理想的相似性检索一般需要满足以下四个条件： 1. 高准确性。即返回的结果和线性查找的结果接近。 2. 空间复杂度低。即占用内存空间少。理想状态下

摘要 HashMap是Java程序员使用频率最高的用于映射(键值对)处理的数据类型。随着JDK（Java Developmet Kit）版本的更新，JDK1.8对HashMap底层的实现进行了优化，例如引入红黑树的数据结构和扩容的优化等。本文结合JDK1.7和JDK1.8的区别，深入探讨HashMap的结构实现和功能原理。 简介 Java为数据结构中的映射定义了一个接口java.util.Map，此接口主要有四个常用的实现类，分别是HashMap、Hashtable、LinkedHashMap和TreeMap，类继承关系如下图所示： 下面针对各个实现类的特点做一些说明： (1) HashMap：它根据键的hashCode值存储数据，大多数情况下可以直接定位到它的值，因而具有很快的访问速度，但遍历顺序却是不确定的。 HashMap最多只允许一条记录的键为null，允许多条记录的值为null。HashMap非线程安全，即任一时刻可以有多个线程同时写HashMap，可能会导致数据的不一致。如果需要满足线程安全，可以用 Collections的synchronizedMap方法使HashMap具有线程安全的能力，或者使用ConcurrentHashMap。 (2) Hashtable：Hashtable是遗留类，很多映射的常用功能与HashMap类似，不同的是它承自Dictionary类

摘要 HashMap是Java程序员使用频率最高的用于映射(键值对)处理的数据类型。随着JDK（Java Developmet Kit）版本的更新，JDK1.8对HashMap底层的实现进行了优化，例如引入红黑树的数据结构和扩容的优化等。本文结合JDK1.7和JDK1.8的区别，深入探讨HashMap的结构实现和功能原理。 简介 Java为数据结构中的映射定义了一个接口java.util.Map，此接口主要有四个常用的实现类，分别是HashMap、Hashtable、LinkedHashMap和TreeMap，类继承关系如下图所示： 下面针对各个实现类的特点做一些说明： (1) HashMap：它根据键的hashCode值存储数据，大多数情况下可以直接定位到它的值，因而具有很快的访问速度，但遍历顺序却是不确定的。 HashMap最多只允许一条记录的键为null，允许多条记录的值为null。HashMap非线程安全，即任一时刻可以有多个线程同时写HashMap，可能会导致数据的不一致。如果需要满足线程安全，可以用 Collections的synchronizedMap方法使HashMap具有线程安全的能力，或者使用ConcurrentHashMap。 (2) Hashtable：Hashtable是遗留类，很多映射的常用功能与HashMap类似，不同的是它承自Dictionary类

AB测试 为同一个目标，设计两种方案，将两种方案随机投放市场中，让组成成分相同（相似）用户去随机体验两种方案之一，根据观测结果，判断哪个方案效果更好。 基于hash的AB测试 具体的实现方法为： 在AB测试中需要将用户随机的分成两组，通过对每个用户唯一id做hash运算，并对hash值对2取模，便可以将用户分成0，1两组（分桶测试便是hahs对n取模）。 每组采用不同的策略，并定义一个策略Id，跟随不同的策略埋点，在最后回收策略Id，最后通过策略id分析ab两种策略的好坏。 golang中的hash 在golang中的标准库中实现了fnv、sha1、sha256、sha512四种哈希函数。其中fnv是简单的非加密hash函数。 golang中提供了同一的hash接口： type Hash type Hash interface { // 通过嵌入的匿名io.Writer接口的Write方法向hash中添加更多数据，永远不返回错误 io.Writer // 返回添加b到当前的hash值后的新切片，不会改变底层的hash状态 Sum(b []byte) []byte // 重设hash为无数据输入的状态 Reset() // 返回Sum会返回的切片的长度 Size() int // 返回hash底层的块大小；Write方法可以接受任何大小的数据， //

在开始之前，先过一遍本博客的重点 • HashMap寻值的速度快是因为HashMap的键会被映射成Hash值，从而避开用equal方法遍历来加快寻值速度。 • HashMap有初始容量和加载因子两个参数来控制性能。当条目大于容量*加载因子时，容量翻一倍。 • HashMap和Hashtable的区别在于线程安全性，同步，以及速度。 下面开始正文 1.HashMap的具体实现 Java为数据结构中的映射定义了一个接口java.util.Map，此接口主要有四个常用的实现类，分别是HashMap、Hashtable、LinkedHashMap和TreeMap，类继承关系如下图所示： HashMap中我们最常用的就是put(K, V)和get(K)。我们都知道，HashMap的K值是唯一的，所以查询和修改数据的时候只要用equal遍历所有的key值就可以了，但我们知道直接遍历查询的时间复杂度为O(n)，在数据量比较大时效率不高，所以在java中运用Hash算法来对所有的key进行运算加入数组中。查询的时候直接用数组下标来访问数据(时间复杂度变成了O(1))，以此绕开了用equal遍历带来的效率损失。 HashMap根据键的hashCode值存储数据，大多数情况下可以直接定位到它的值，因而具有很快的访问速度，但遍历顺序却是不确定的。 HashMap最多只允许一条记录的键为null

做为面试常考的问题之一，每次都答的模模糊糊，有必要了解一下，首先来看一下hashmap的put方法的源码 public V put(K key, V value) { if (key == null) return putForNullKey(value); //将空key的Entry加入到table[0]中 int hash = hash(key.hashCode()); //计算key.hashcode()的hash值，hash函数由hashmap自己实现 int i = indexFor(hash, table.length);//获取将要存放的数组下标 /* * for中的代码用于：当hash值相同且key相同的情况下，使用新值覆盖旧值（其实就是修改功能） */ for (Entry<K, V> e = table[i]; e != null; e = e.next) {//注意：for循环在第一次执行时就会先判断条件 Object k; //hash值相同且key相同的情况下，使用新值覆盖旧值 if (e.hash == hash && ((k = e.key) == key || key.equals(k))) { V oldValue = e.value; e.value = value; //e.recordAccess(this); return oldValue

hash的概念 hash（散列、杂凑）函数，是将任意长度的数据映射到有限长度的域上。直观解释起来，就是对一串数据m进行杂糅，输出另一段固定长度的数据h，作为这段数据的特征（指纹）。 hash碰撞 如果两个输入串的hash函数的值一样，则称这两个串是一个碰撞(Collision)。 为什么HashMap初始容量是2<<4 ? 来源： CSDN 作者： Whaleson 链接： https://blog.csdn.net/Dreamlate_Spider/article/details/98469953

接着上一篇博客，上一篇博客说明了HashMap的初始容量都是2的n次幂的形式存在的，而扩容也是2倍的原来的容量进行扩容，也就是扩容后的容量也是2的n次幂的形式存在的，下面就来说明一下为什么是2的n次幂的形式！ 先来看一下源码，也就是向HashMap中添加元素，或者扩容时是怎么存放元素的。 第一个截图是向HashMap中添加元素putVal()方法的部分源码，可以看出，向集合中添加元素时，会使用(n - 1) & hash的计算方法来得出该元素在集合中的位置；而第二个截图是HashMap扩容时调用resize()方法中的部分源码，可以看出会新建一个tab，然后遍历旧的tab，将旧的元素进过e.hash & (newCap - 1)的计算添加进新的tab中，也就是(n - 1) & hash的计算方法，其中n是集合的容量，hash是添加的元素进过hash函数计算出来的hash值。 HashMap的容量为什么是2的n次幂，和这个(n - 1) & hash的计算方法有着千丝万缕的关系，符号&是按位与的计算，这是位运算，计算机能直接运算，特别高效，按位与&的计算方法是，只有当对应位置的数据都为1时，运算结果也为1，当HashMap的容量是2的n次幂时，(n-1)的2进制也就是1111111***111这样形式的，这样与添加元素的hash值进行位运算时，能够充分的散列