Delta

本文要分享的内容是去年为了抢鞋而分析 极验(GeeTest)反爬虫防护的笔记，由于篇幅较长(为了多混点CB)我会按照我的分析顺序，分成如下四个主题与大家分享: 极验反爬虫防护分析之交互流程分析 极验反爬虫防护分析之接口交互的解密方法 极验反爬虫防护分析之接口交互的解密方法补遗 极验反爬虫防护分析之slide验证方式下图片的处理及滑动轨迹的生成思路 本文是第四篇, 也是最后一篇，网上大部分针对极验的绕过方法大都是模拟手工滑动滑块的方式，但是通过上面几篇文章的分析，我们是能知道Geetest已经对目前市面上大多自动化测试的工具进行了监测，包括 Selenium甚至electron等。所以基于这些工具的 破解 不是不行，只是人家官方没有严查，不长久的，稳妥之计还是要直接从封包入手。下面进入正文~ 背景图片乱序的还原 如《 极验反爬虫防护分析之交互流程分析 》第五步的分析，得到的 bg 和 fullbg 图片都是乱序处理后的图片，要判断滑动的距离及轨迹需要将图片进行还原。如下图: 还原后的代码为: function SEQUENCE() { var e = "6_11_7_10_4_12_3_1_0_5_2_9_8".split("_" ); for ( var t, n = [], r = 0; r < 52; r++ ) { t = 2 * parseInt(e[parseInt(r

Description 某日，竞赛班的学生来到了一家糖果店。 店里卖着M袋糖果，第i袋糖果里装有i颗糖，价格为i¥。 有N个学生对这些糖果产生了兴趣，于是迅速站成一排，且将他们编号为1到N。其中第i个学生带着a[i]¥。每一轮，他们按顺序买糖果（每一轮每个人只会买一袋）。由于体内的竞争之魂与超乎常人的不服输精神，当前学生买的这袋糖果一定会比上一个人多（当然，第一次可以随便买）。如果第N个人买了糖果，那么就到第1个人开始下一轮。 然而，钱和糖果都有限，总是要停下来的。可以在任意时刻停止购买糖果，但是最后一次必须是第N个人购买。 现在他们想知道，最终所有人购买糖果数之和最大可以是多少。（当然可以一袋都不买~） Solution 直接考虑最大化糖果的方案比较困难，转化为用糖果最小的方案逐渐增加糖果直至不能增加。 假设：n=3，m=11，假设有3轮选择，则这三个人的选择方案组成的矩阵（称其为初始矩阵）为 1 2 3 4 5 6 7 8 9 其中第一列，第二列，第三列表示第一个人，第二个人，第三个人的选择，第一行，第二行，第三行表示第一轮，第二轮，第三轮选择。 发现可以把整行+1，从而让糖果数增加（在手里的钱允许的情况下），即 1 2 3 4 5 6 8 9 10 也有的时候手里的总钱数不允许把整行都+1，优先从第3个人开始增加糖果（后拿的人的糖果数>先拿的人的糖果数），即 1 2 3 4

1. 项目背景 传统数仓的组织架构是针对离线数据的OLAP（联机事务分析）需求设计的，常用的导入数据方式为采用sqoop或spark定时作业逐批将业务库数据导入数仓。随着数据分析对实时性要求的不断提高，按小时、甚至分钟级的数据同步越来越普遍。由此展开了基于spark/flink流处理机制的（准）实时同步系统的开发。 然而实时同步数仓从一开始就面临如下几个挑战： 小文件问题。不论是spark的microbatch模式，还是flink的逐条处理模式，每次写入HDFS时都是几M甚至几十KB的文件。长时间下来产生的大量小文件，会对HDFS namenode产生巨大的压力。 对update操作的支持。HDFS系统本身不支持数据的修改，无法实现同步过程中对记录进行修改。 事务性。不论是追加数据还是修改数据，如何保证事务性。即数据只在流处理程序commit操作时一次性写入HDFS，当程序rollback时，已写入或部分写入的数据能随之删除。 Hudi是针对以上问题的解决方案之一。以下是对Hudi的简单介绍，主要内容翻译自官网。 2. Hudi简介 2.1 时间线（Timeline） Hudi内部按照操作时刻（instant）对表的所有操作维护了一条时间线，由此可以提供表在某一时刻的视图，还能够高效的提取出延后到达的数据。每一个时刻包含： 时刻行为：对表操作的类型，包含： commit：提交

文章转载自公众号 美团技术团队 ， 作者 萌萌 背景 在数据仓库建模中，未经任何加工处理的原始业务层数据，我们称之为ODS（Operational Data Store）数据。在互联网企业中，常见的ODS数据有业务日志数据（Log）和业务DB数据（DB）两类。对于业务DB数据来说，从MySQL等关系型数据库的业务数据进行采集，然后导入到Hive中，是进行数据仓库生产的重要环节。 如何准确、高效地把MySQL数据同步到Hive中？一般常用的解决方案是批量取数并Load：直连MySQL去Select表中的数据，然后存到本地文件作为中间存储，最后把文件Load到Hive表中。这种方案的优点是实现简单，但是随着业务的发展，缺点也逐渐暴露出来： 性能瓶颈：随着业务规模的增长，Select From MySQL -> Save to Localfile -> Load to Hive这种数据流花费的时间越来越长，无法满足下游数仓生产的时间要求。 直接从MySQL中Select大量数据，对MySQL的影响非常大，容易造成慢查询，影响业务线上的正常服务。 由于Hive本身的语法不支持更新、删除等SQL原语，对于MySQL中发生Update/Delete的数据无法很好地进行支持。 为了彻底解决这些问题，我们逐步转向CDC（Change Data Capture）+ Merge的技术方案

【推荐阅读】微服务还能火多久？>>> 百度小程序之间的页面通信<br> author: @TiffanysBear 背景 主要是针对小程序开发中页面之间进行通信的问题，在涉及支付的场景中，用户从页面支付入口进行跳转进行支付之后，回到原来页面，在原来的页面需要进行相应的状态刷新，比如用户身份状态、支付状态、文档或商品情况。 遇到的问题 在使用百度小程序的 swan.navigateBack 进行回跳页面时，API中的方法参数不支持携带参数，只支持number参数。 所以就涉及了几个单独页面之间的通信问题。如下主要列出了几个方法，供参考。 swan.navigateBack 参数名 类型 必填 默认值 说明 delta Number 否 1 返回的页面数，如果 delta 大于现有页面数，则返回到首页1。 success function 否 - 接口调用成功的回调函数 fail function 否 - 接口调用失败的回调函数 complete function 否 - 接口调用结束的回调函数（调用成功、失败都会执行） <!-- more --> 解决方法 主要有以下三种方法，实现各page之间通信。 解决方法一：利用app.js，设置公共变量 利用app.js的公共特性，将变量挂在APP上。 // app.js 启动文件 App({ globalData: { isLogin:

【今日推荐】：为什么一到面试就懵逼！>>> Compare And Swap：比较和交换 v（内存位置） a（旧的期望值） b（改变之后的值） 数据在修改之前，旧的预期值和v中的值一致时，才能修改 java中Atomic相关类就是使用的这种算法实现的。 它和Synchronized相对： Synchoronized属于悲观锁，认为并发数据操作是一个大概率事件（总有刁民想害朕），我操作的时候，得把数据锁上，别人谁也别想动 而CAS属于乐观锁，它认为并发数据操作是小概率事件，你操作数据之后我再核查一遍，现在的数据和我修改的时候，读取的数据是否一致就没事了，通过比较和交换的方式进行数据修改。 拿 AtomicInteger 的 incrementAndGet 方法举例，这个方法就是给当前对象的数值+1，但是保证了线程安全： public void test(){ AtomicInteger atomicInteger = new AtomicInteger(1); atomicInteger.incrementAndGet (); Integer integer = 1; integer = integer + 1; // 以上两种操作，结果是一样的 } 看看CAS再JDK1.8中是怎么实现的： public final int incrementAndGet() { //

【今日推荐】：为什么一到面试就懵逼！>>> Bresenham 声明：本博客作者与此博客https://blog.csdn.net/cjw_soledad/article/details/78886117相同，因“博客搬家”功能效果不好，不得不重新发布 bresenham算法是计算机图形学中为了“显示器（屏幕或打印机）系由像素构成”的这个特性而设计出来的算法，使得在求直线各点的过程中全部以整数来运算，因而大幅度提升计算速度。 实现代码 这篇文章主要对下面的代码进行解释，如果能够理解下面的代码，完全可以跳过这篇文章。 // 来源:https://rosettacode.org/wiki/Bitmap/Bresenham%27s_line_algorithm#C void line(int x0, int y0, int x1, int y1) { int dx = abs(x1-x0), sx = x0<x1 ? 1 : -1; int dy = abs(y1-y0), sy = y0<y1 ? 1 : -1; int err = (dx>dy ? dx : -dy)/2, e2; for(;;){ setPixel(x0,y0); if (x0==x1 && y0==y1) break; e2 = err; if (e2 >-dx) { err -= dy; x0 += sx; }

【今日推荐】：为什么一到面试就懵逼！>>> Bresenham 声明：本博客作者与此博客https://blog.csdn.net/cjw_soledad/article/details/78886117相同，因“博客搬家”功能效果不好，不得不重新发布 bresenham算法是计算机图形学中为了“显示器（屏幕或打印机）系由像素构成”的这个特性而设计出来的算法，使得在求直线各点的过程中全部以整数来运算，因而大幅度提升计算速度。 实现代码 这篇文章主要对下面的代码进行解释，如果能够理解下面的代码，完全可以跳过这篇文章。 // 来源:https://rosettacode.org/wiki/Bitmap/Bresenham%27s_line_algorithm#C void line(int x0, int y0, int x1, int y1) { int dx = abs(x1-x0), sx = x0<x1 ? 1 : -1; int dy = abs(y1-y0), sy = y0<y1 ? 1 : -1; int err = (dx>dy ? dx : -dy)/2, e2; for(;;){ setPixel(x0,y0); if (x0==x1 && y0==y1) break; e2 = err; if (e2 >-dx) { err -= dy; x0 += sx; }

　　　　在 卷积神经网络(CNN)前向传播算法 中，我们对CNN的前向传播算法做了总结，基于CNN前向传播算法的基础，我们下面就对CNN的反向传播算法做一个总结。在阅读本文前，建议先研究DNN的反向传播算法： 深度神经网络（DNN）反向传播算法(BP) 1. 回顾DNN的反向传播算法 　　　　我们首先回顾DNN的反向传播算法。在DNN中，我们是首先计算出输出层的$\delta^L$:$$\delta^L = \frac{\partial J(W,b)}{\partial z^L} = \frac{\partial J(W,b)}{\partial a^L}\odot \sigma^{'}(z^L)$$ 　　　　利用数学归纳法，用$\delta^{l+1}$的值一步步的向前求出第l层的$\delta^l$，表达式为：$$\delta^{l} = (\frac{\partial z^{l+1}}{\partial z^{l}})^T\delta^{l+1} = (W^{l+1})^T\delta^{l+1}\odot \sigma^{'}(z^l)$$ 　　　　有了$\delta^l$的表达式，从而求出$W,b$的梯度表达式：$$\frac{\partial J(W,b)}{\partial W^l} = \delta^{l}(a^{l-1})^T$$$$\frac{\partial

　　　　在 卷积神经网络(CNN)前向传播算法 中，我们对CNN的前向传播算法做了总结，基于CNN前向传播算法的基础，我们下面就对CNN的反向传播算法做一个总结。在阅读本文前，建议先研究DNN的反向传播算法： 深度神经网络（DNN）反向传播算法(BP) 1. 回顾DNN的反向传播算法 　　　　我们首先回顾DNN的反向传播算法。在DNN中，我们是首先计算出输出层的$\delta^L$:$$\delta^L = \frac{\partial J(W,b)}{\partial z^L} = \frac{\partial J(W,b)}{\partial a^L}\odot \sigma^{'}(z^L)$$ 　　　　利用数学归纳法，用$\delta^{l+1}$的值一步步的向前求出第l层的$\delta^l$，表达式为：$$\delta^{l} = (\frac{\partial z^{l+1}}{\partial z^{l}})^T\delta^{l+1} = (W^{l+1})^T\delta^{l+1}\odot \sigma^{'}(z^l)$$ 　　　　有了$\delta^l$的表达式，从而求出$W,b$的梯度表达式：$$\frac{\partial J(W,b)}{\partial W^l} = \delta^{l}(a^{l-1})^T$$$$\frac{\partial