场景应用

人脸识别有三大模式，作为一项热门技术，人脸识别具有生物特征唯一性、非接触性、非强制性等优点，应用于门禁系统中恰到好处。借助摄像头等设备对来访人员进行拍摄，人脸识别可以快速对来访者进行身份核验，在此过程中可以避免人体与机器的直接接触，所需时间较短且效果较好 1:1作为一种静态比对，在金融、信息安全领域中潜在的商用价值巨大。例如在机场安检中持卡人样貌与身份证信息匹配的过程就是典型的1:1场景。然而人眼辨别率只达到95%左右，并会受到外部环境影响，所以机场安检人员通过换班来保证识别的准确率。 1:1作为一种静态比对，在金融、信息安全领域中潜在的商用价值巨大。例如在机场安检中持卡人样貌与身份证信息匹配的过程就是典型的1:1场景。然而人眼辨别率只达到95%左右，并会受到外部环境影响，所以机场安检人员通过换班来保证识别的准确率。 其次1:N则是在海量的人像数据库中找出当前用户的人脸数据并进行匹配。1:N具有动态比对与非配合的特 点，动态对比是指通过对动态视频流的截取来获得人脸数据并进一步比对的过程，而非配合性是识别过程非强制性与高效性的表现，识别对象无需到特定位置便能完成识别工作。由于这两个特性使1:N身份认证模式能迅速落地于公共安全管理与VIP客户人脸识别等场景，但其难度要远高于静态1:1，因为机器面临着曝光过度、逆光、侧脸、远距离等挑战。 最后M:N

Bloomfilter 一般用于检测某元素是否在集合中存在，它的目标是解决在大数据量情况的元素判定。它的优点是它提供的数据结构具有非常高的时间查询和空间存储效率，缺点是可能造成误判，就是说，它判定某元素在集合中，但是其实有可能他不在集合里面，当然，反过来说，如果他判定元素不在集合里面，那么元素肯定是不在集合里面的。因此它的应用场景实用于能够容忍小概率事件的误判产生的情况，简而言之，以正确率换空间和时间。 目前的应用场景比较多，整理如下： 黑名单 最典型的一个应用就是黑名单功能，对用户名称或者IP或者Email进行过滤，每次检查时用key进行hash后，如果不在黑名单内的，肯定可以通行，如果在的则不允许通过，误判情况增加一个排除名单来进行排除。 误判情况：将正常用户判定为黑名单用户 爬虫重复URL检测 在爬取网站URL时，要检测这条URL是否已经访问过。 误判情况：没有访问过的误判为访问过 字典纠错 检查单词拼写是否正确 误判情况：错误的单词误判为正确。 磁盘文件检测 将磁盘中或者数据库中数据key存入该结构中，检测要访问的数据是否在磁盘或数据库中，然后再发起访问，避免空查询造成磁盘或数据库压力。 误判情况：不存在该数据却误判为有该数据。 CDN（squid）代理缓存技术 先查找本地有无cache，如果没有则到其他兄弟 cache服务器上去查找。为了避免无谓的查询

什么是负载均衡（Load balancing） 在网站创立初期，我们一般都使用单台机器对台提供集中式服务，但随着业务量越来越大，无论性能还是稳定性上都有了更大的挑战。这时候我们就会想到通过扩容的方式来提供更好的服务。我们一般会把多台机器组成一个集群对外提供服务。然而，我们的网站对外提供的访问入口都是一个的，比如www.taobao.com。那么当用户在浏览器输入www.taobao.com的时候如何将用户的请求分发到集群中不同的机器上呢，这就是负载均衡在做的事情。 当前大多数的互联网系统都使用了服务器集群技术，集群即将相同服务部署在多台服务器上构成一个集群整体对外提供服务，这些集群可以是Web应用服务器集群，也可以是数据库服务器集群，还可以是分布式缓存服务器集群等。 在实际应用中，在Web服务器集群之前总会有一台负载均衡服务器，负载均衡设备的任务就是作为Web服务器流量的入口，挑选最合适的一台Web服务器，将客户端的请求转发给它处理，实现客户端到真实服务端的透明转发。最近几年很火的「云计算」以及分布式架构，本质上也是将后端服务器作为计算资源、存储资源，由某台管理服务器封装成一个服务对外提供，客户端不需要关心真正提供服务的是哪台机器，在它看来，就好像它面对的是一台拥有近乎无限能力的服务器，而本质上，真正提供服务的是后端的集群。 软件负载解决的两个核心问题是： 选谁、转发

Semaphore 是一个计数信号量，常用于限制可以访问某些资源（物理或逻辑的）线程数目。 常用函数： 信号量的构造函数 非公平： public Semaphore(int permits);//permits就是允许同时运行的线程数目 公平（获得锁的顺序与线程启动顺序有关）： public Semaphore(int permits,boolean fair);//permits就是允许同时运行的线程数目 创建一个信号量 Semaphore semaphore = new Semaphore(2); 从信号量中获取一个许可 semaphore.acquire(); 释放一个许可(在释放许可之前，必须先获获得许可。) semaphore.release(); 尝试获取一个许可，若获取成功返回true，若获取失败返回false semaphore.tryAcquire(); 所有函数： // 创建具有给定的许可数和非公平的公平设置的 Semaphore。 Semaphore(int permits) // 创建具有给定的许可数和给定的公平设置的 Semaphore。 Semaphore(int permits, boolean fair) // 从此信号量获取一个许可，在提供一个许可前一直将线程阻塞，否则线程被中断。 void acquire() // 从此信号量获取给定数目的许可

作者介绍：智趣云识客 立足视觉AI，专注场景识别的AI服务商 根据前瞻产业研究院对对人脸识别市场的预估，到2022年，中国人脸识别市场规模将超过66亿元 关于 人脸识别 各种碎片式的报道，也层出不穷，但是鲜有文章能系统性的，从应用的角度出发来深入讲解人脸识别。 智趣云识客作为专注于场景识别的AI服务商，我们将从技术应用与商业模式两个维度，力求让读者，尤其是考虑AI+应用的从业者，看到全貌。 本篇，我们先来讲人脸识别的技术应用。 1 基础层算法 我们可能断断续续听说过人脸检测、人脸识别等算法，但这些算法之间是否有联系，是否有体系？答案的是“有的”。 我们可以将人脸识别算法分为基础层算法与应用层算法。 基础层算法，相当于人脸的预处理。一张人脸，首先要经过人脸检测、特征关键点处理，质量模型过滤之后，才能到应用层算法做处理，并应用到实际场景中。 基础层算法的优劣，很大程度上会影响最终的人脸识别准确率和效果。 技术 定义 作用 原理 人脸检测 将一张照片或一段视频流中的人脸检测出来，并输出人脸矩阵坐标 用于截取人脸，用于后续的人脸比对、人脸搜索等算法。 二分类模型，通过深度学习训练样本是否是人脸 特征关键点 检测到人脸后，将人脸的特征点标记出来，每个特征点都有属性，能表示是脸部位置 1 人脸摆正对齐：实际场景中，抓取的人脸一般不是正方向的，需要摆正后再进行人脸比对、搜索等<BR>2 人脸处理

消息队列及常见消息队列介绍 一、消息队列(MQ)概述 消息队列（Message Queue），是分布式系统中重要的组件，其通用的使用场景可以简单地描述为： 当不需要立即获得结果，但是并发量又需要进行控制的时候，差不多就是需要使用消息队列的时候。 消息队列主要解决了应用耦合、异步处理、流量削锋等问题。 当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等，而部分数据库如Redis、Mysql以及phxsql也可实现消息队列的功能。 二、消息队列使用场景 消息队列在实际应用中包括如下四个场景： 应用耦合：多应用间通过消息队列对同一消息进行处理，避免调用接口失败导致整个过程失败； 异步处理：多应用对消息队列中同一消息进行处理，应用间并发处理消息，相比串行处理，减少处理时间； 限流削峰：广泛应用于秒杀或抢购活动中，避免流量过大导致应用系统挂掉的情况； 消息驱动的系统：系统分为消息队列、消息生产者、消息消费者，生产者负责产生消息，消费者(可能有多个)负责对消息进行处理； 下面详细介绍上述四个场景以及消息队列如何在上述四个场景中使用： 2.1 异步处理 具体场景：用户为了使用某个应用，进行注册，系统需要发送注册邮件并验证短信。对这两个操作的处理方式有两种：串行及并行。 （1）串行方式：新注册信息生成后，先发送注册邮件

一、消息队列(MQ)概述 消息队列（Message Queue），是分布式系统中重要的组件，其通用的使用场景可以简单地描述为： 当不需要立即获得结果，但是并发量又需要进行控制的时候，差不多就是需要使用消息队列的时候。 消息队列主要解决了应用耦合、异步处理、流量削锋等问题。 当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等，而部分数据库如Redis、Mysql以及phxsql也可实现消息队列的功能。 二、消息队列使用场景 消息队列在实际应用中包括如下四个场景： 应用耦合：多应用间通过消息队列对同一消息进行处理，避免调用接口失败导致整个过程失败； 异步处理：多应用对消息队列中同一消息进行处理，应用间并发处理消息，相比串行处理，减少处理时间； 限流削峰：广泛应用于秒杀或抢购活动中，避免流量过大导致应用系统挂掉的情况； 消息驱动的系统：系统分为消息队列、消息生产者、消息消费者，生产者负责产生消息，消费者(可能有多个)负责对消息进行处理； 下面详细介绍上述四个场景以及消息队列如何在上述四个场景中使用： 2.1 异步处理 具体场景：用户为了使用某个应用，进行注册，系统需要发送注册邮件并验证短信。对这两个操作的处理方式有两种：串行及并行。 （1）串行方式：新注册信息生成后，先发送注册邮件，再发送验证短信； 在这种方式下

一、消息队列(MQ)概述 消息队列（Message Queue），是分布式系统中重要的组件，其通用的使用场景可以简单地描述为： 当不需要立即获得结果，但是并发量又需要进行控制的时候，差不多就是需要使用消息队列的时候。 消息队列主要解决了应用耦合、异步处理、流量削锋等问题。 当前使用较多的消息队列有RabbitMQ、RocketMQ、ActiveMQ、Kafka、ZeroMQ、MetaMq等，而部分数据库如Redis、Mysql以及phxsql也可实现消息队列的功能。 二、消息队列使用场景 消息队列在实际应用中包括如下四个场景： 应用耦合：多应用间通过消息队列对同一消息进行处理，避免调用接口失败导致整个过程失败； 异步处理：多应用对消息队列中同一消息进行处理，应用间并发处理消息，相比串行处理，减少处理时间； 限流削峰：广泛应用于秒杀或抢购活动中，避免流量过大导致应用系统挂掉的情况； 消息驱动的系统：系统分为消息队列、消息生产者、消息消费者，生产者负责产生消息，消费者(可能有多个)负责对消息进行处理； 下面详细介绍上述四个场景以及消息队列如何在上述四个场景中使用： 2.1 异步处理 具体场景：用户为了使用某个应用，进行注册，系统需要发送注册邮件并验证短信。对这两个操作的处理方式有两种：串行及并行。 （1）串行方式：新注册信息生成后，先发送注册邮件，再发送验证短信； 在这种方式下

为什么需要Zookeeper Zookeeper是一个典型的分布式数据一致性的解决方案， 分布式应用程序可以基于它实现诸如 数据发布/订阅、负载均衡、命名服务、分布式协调/通知、集群管理、Master选举、分布式锁和分布式队列 等功能。 在解决分布式数据一致性上，Zookeeper已经成为了目前唯一一个比较成熟的方案。 Zookeeper致力于提供一个高性能、高可用，且具有严格的顺序访问控制能力的分布式协调服务。 设计目标 简单的数据结构 冗余，可以构建集群 有序访问 高性能 系统角色 Zookeeper没有沿用传统的Master/Slave模式，使用了Leader、Follwer、Obserfver三种角色。 Zookeeper Atomic Broadcast Zookeeper原子消息广播协议 ZAB的核心定义了那些会改变Zookeeper服务器数据状态的事务请求的处理方式： 所有事务请求必须由一个全局唯一的服务器来协调处理，这样的服务器被称为Leader服务器，而余下的其他服务器则成为Follower服务器。 Leader将一个服务请求转换成一个Proposal，然后将这个Proposal分发给集群中其他的Follwer，然后等待Follower处理Proposal的反馈，当超过一定比例的Follower服务器发出正确的反馈后，Leader会发出Commit消息

1基于CF的推荐算法 1.1算法简介 CF（协同过滤）简单来形容就是利用兴趣相投的原理进行推荐，协同过滤主要分两类，一类是基于物品的协同过滤算法，另一种是基于用户的协同过滤算法，这里主要介绍基于物品的协同过滤算法。 给定一批用户，及一批物品，记Vi表示不同用户对物品的评分向量，那么物品i与物品j的相关性为： 上述公式是利用余弦公式计算相关系数，相关系数的计算还有：杰卡德相关系数、皮尔逊相关系数等。 计算用户u对某一物品的偏好，记用户u对物品i的评分为score(u,i)，用户u对物品i的协同过滤得分为rec(u,j)。 1.2业务实践 以购物篮子为例，业务问题：根据用户的历史购买商品记录，给用户推荐一批商品，协同过滤算法实现方法如下。 记buyers表示用户购买商品的向量，记为 其中表示全库用户集合，表示用户对商品的得分，定义如下： Step1：计算物品之间的相关系数 记buyersi表示用户购买商品的向量，记buyersi=(…,bu,i,…) u∈U为,其中U表示全库用户集合，bu,i表示用户u对商品i的得分，定义如下： 那么商品i与商品j的相关系数如下： 上述公式是是利用余弦公式计算相关性，含义是商品的用户购买向量夹角越小越相似。此外也可以运用皮尔逊、杰卡德、自定义公式计算相关性，这里不一一列举。 Step2：计算用户对商品的协同过滤得分 给定一个用户u