adaptive

enq: TM

拜拜、爱过 提交于 2021-02-18 21:49:21
今天下午,有台服务器出现异常,响应特别慢,io等待奇高,awr top 5事件如下: 经回查ash,找到了造成这些事件的sql语句,如下: select * from v$active_session_history where event = ' enq: TM - contention ' select * from v$active_session_history where event = ' enq: KO - fast object checkpoint ' enq-TM的事件主要由insert /*+ append */语句引起,如下: enq-TM是一个表级别锁,在本例中主要是由于append引起。 TM 锁在下列场景中被申请: 在OPS(早期的RAC)中LGWR会以ID1=0 & ID2=0去申请该队列锁来检查 DML_LOCKS 在所有实例中是全0还是全非0 当一个单表或分区 需要做不同的表/分区操作时,ORACLE需要协调这些操作,所以需要申请该队列锁。包括: 启用参考约束 referential constraints 修改约束从DIASABLE NOVALIDATE 到DISABLE VALIDATE 重建IOT 创建视图或者修改ALTER视图时可能需要申请该队列锁 分析表统计信息或validate structure时 一些PDML并行DML操作

Dubbo 源码分析

无人久伴 提交于 2021-02-17 03:51:02
1.原理 我在上一篇文章中分析了 Dubbo 的 SPI 机制,Dubbo SPI 是 Dubbo 框架的核心。Dubbo 中的很多拓展都是通过 SPI 机制进行加载的,比如 Protocol、Cluster、LoadBalance 等。有时,有些拓展并非想在框架启动阶段被加载,而是希望在拓展方法被调用时,根据运行时参数进行加载。这听起来有些矛盾。拓展未被加载,那么拓展方法就无法被调用(静态方法除外)。拓展方法未被调用,就无法进行加载,这似乎是个死结。不过好在也有相应的解决办法,通过代理模式就可以解决这个问题,这里我们将具有代理功能的拓展称之为自适应拓展。Dubbo 并未直接通过代理模式实现自适应拓展,而是代理代理模式基础上,封装了一个更炫的实现方式。Dubbo 首先会为拓展接口生成具有代理功能的代码,然后通过 javassist 或 jdk 编译这段代码,得到 Class 类,最后在通过反射创建代理类。整个过程比较复杂、炫丽。如此复杂的过程最终的目的是为拓展生成代理对象,但实际上每个代理对象的代理逻辑基本一致,均是从 URL 中获取欲加载实现类的名称。因此,我们完全可以把代理逻辑抽出来,并通过动态代理的方式实现自适应拓展。这样做的好处显而易见,方便维护,也方便源码学习者学习和调试代码。本文将在随后实现一个动态代理版的自适应拓展,有兴趣的同学可以继续往下读。 接下来

Caffe的solver参数介绍

…衆ロ難τιáo~ 提交于 2021-02-16 18:50:45
版权声明:转载请注明出处,谢谢! https://blog.csdn.net/Quincuntial/article/details/59109447 1. Parameters solver.prototxt 文件是用来告诉caffe如何训练网络的。 solver.prototxt 的各个参数的解释如下: base_lr 这个参数是用来表示网络的初始学习率的。这个值是一个浮点型实数。 lr_policy 这个参数是用来表示学习率随着时间是如何变化的。值是字符串,需要加 "" 。学习率变化的可选参数有: “step”——需要设置 stepsize 。根据 gamma 参数和 stepsize 参数来降低学习率, base_lr * gamma ^ (floor(iter / stepsize)) 。 iter 是当前迭代次数。学习率每迭代 stepsize 次变化一次。 “multistep”——与 step 类似,需要设置 stepvalue ,学习率根据 stepvalue 进行变化。 “fixed”——学习率 base_lr 保持不变。 “inv”——学习率变化公式为 base_lr * (1 + gamma * iter) ^ (- power) “exp”——学习率变化公式为 base_lr * gamma ^ iter} “poly”——学习率以多项式形式衰减

AdaBoost

会有一股神秘感。 提交于 2021-02-15 01:39:39
AdaBoost 是英文"Adaptive Boosting"(自适应增强)的缩写,其自适应在于:前一个分类器分错的样本会被用来训练下一个分类器。是一种集成学习方法。 算法 设训练数据集$T={(x_1,y_1), (x_2,y_2)...(x_N,y_N)}$. 初始化训练数据的权值分布(均匀分布) $$D_1=(w_{11},w_{12}\dots w_{1i}\dots w_{1N}), w_{1i}={1 \over N}, i=1,2,\dots,N$$ 权值仅用于计算分类误差,并不改变数据的真实分布.并在训练时选择误差最小的分类点得到当前的最优分类器. 使用具有权值分布Dm的训练数据集学习,得到基本分类器(二分类) $$G_m(x):\chi\longrightarrow {-1,+1}$$ 计算Gm(x)在训练数据集上的分类误差率 $$e_m=P(G_m(x_i)\neq y_i)=\sum_{i=1}^N w_{mi}I(G_M(x_i)\neq y_i)$$ 分类误差率是被错分的样本的权值之和. 计算Gm(x)的系数 $$\alpha_m={1 \over 2}log{1-e_m \over e_m}$$ 可见,分类器的系数与误差率呈负相关,目的是减小最终误差 更新训练数据集的权值分布(对分类误差率较大的数据集加大权重,提高后续的分类器对这部分数据的分类准确率)

Adaboost 算法的原理与推导

社会主义新天地 提交于 2021-02-15 00:04:32
Adaboost 算法的原理与推导 0 引言 一直想写Adaboost来着,但迟迟未能动笔。其算法思想虽然简单:听取多人意见,最后综合决策,但一般书上对其算法的流程描述实在是过于晦涩。昨日11月1日下午,在我组织的 机器学习班 第8次课上讲决策树与Adaboost,其中,Adaboost讲得酣畅淋漓,讲完后,我知道,可以写本篇博客了。 无心啰嗦,本文结合机器学习班决策树与Adaboost 的 PPT ,跟邹讲Adaboost指数损失函数推导的 PPT (第85~第98页)、以及李航的《统计学习方法》等参考资料写就,可以定义为一篇课程笔记、读书笔记或学习心得,有何问题或意见,欢迎于本文评论下随时不吝指出,thanks。 1 Adaboost的原理 1.1 Adaboost是什么 AdaBoost,是英文"Adaptive Boosting"(自适应增强)的缩写,由Yoav Freund和Robert Schapire在1995年提出。它的自适应在于:前一个基本分类器分错的样本会得到加强,加权后的全体样本再次被用来训练下一个基本分类器。同时,在每一轮中加入一个新的弱分类器,直到达到某个预定的足够小的错误率或达到预先指定的最大迭代次数。 具体说来,整个Adaboost 迭代算法就3步: 初始化训练数据的权值分布。如果有N个样本,则每一个训练样本最开始时都被赋予相同的权值:1/N。

caffe solver 配置详解

こ雲淡風輕ζ 提交于 2021-02-14 02:30:08
caffe solver通过协调网络前向推理和反向梯度传播来进行模型优化,并通过权重参数更新来改善网络损失求解最优算法,而solver学习的任务被划分为:监督优化和参数更新,生成损失并计算梯度。caffe solver是caffe中的核心,它定义着整个模型如何运转,不管是命令行方式还是pycaffe接口方式进行网络训练或测试,都是需要一个solver配置文件的,而solver的配置参数总共有42个,罗列如下: net weight_decay net_param regularization_type train_net stepsize test_net stepvalue train_net_param clip_gradients test_net_param snapshot train_state snapshot_prefix test_state snapshot_diff test_iter snapshot_format test_interval solver_mode test_compute_loss device_id test_initialization random_seed base_lr type display delta average_loss momentum2 max_iter rms_decay iter_size debug

千万用户同时在线,优酷智能档在双11“猫晚”直播如何防卡顿?

南笙酒味 提交于 2021-02-13 22:41:37
作者 | 阿里文娱高级技术专家肖文良 出品 | AI科技大本营(ID:rgznai100) 导读:本文为阿里文娱高级技术专家肖文良在【阿里文娱2019双11猫晚技术沙龙】中的演讲,主要内容为如何通过优酷智能档,降低用户卡顿尤其是双11直播场景下,提升用户观看体验。具体包括智能档的落地挑战、算法架构、技术策略。 一、优酷智能档的前世今生 优酷智能档技术,即自适应码率播放技术。一方面是一个比较新的探索尝试:因为优酷在这方面的投入是国内比较前沿的,是大规模进行产品化落地的流媒体服务公司;另一方面这个技术本身比较老了,大约从2000年就开始形成比较完整的理念和框架体系,并成为流媒体传输领域的标准产品技术形态,在Netflix、YouTube已经大规模应用。自适应码率播放技术不仅是国外的工业界应用很成熟,学术界研究也很成熟,有的同学本科生研究生阶段在流媒体领域也很有可能做过相关的技术研究工作。 但这样一个成熟技术,优酷在整个大规模落地其实遇到了很多问题和挑战: 第一是国内用户不太理解这个功能到底是解决什么问题,觉得这个功能比较“傻”;第二是用户体验自身比较主观,所以流畅和高清之间的体验平衡点比较难把握;第三是公开算法框架的线上效果不是特别理想,主要是公开算法的特征纬度比较单薄,并且比较少考虑实际产品体验中的细节问题。 二、智能档带来了哪些变化 优酷智能档大规模上线发布已有一段时间

图深度学习论文笔记整理活动 | ApacheCN

ぃ、小莉子 提交于 2021-02-11 08:28:49
整体进度: https://github.com/apachecn/graph-emb-dl-notes/issues/1 贡献指南: https://github.com/apachecn/graph-emb-dl-notes/blob/master/CONTRIBUTING.md 项目仓库: https://github.com/apachecn/graph-emb-dl-notes 贡献指南 请您勇敢地去翻译和改进翻译。虽然我们追求卓越,但我们并不要求您做到十全十美,因此请不要担心因为翻译上犯错——在大部分情况下,我们的服务器已经记录所有的翻译,因此您不必担心会因为您的失误遭到无法挽回的破坏。(改编自维基百科) 负责人: 飞龙 :562826179 章节列表 GCN A new model for learning in graph domains The graph neural network model Spectral networks and locally connected networks on graphs Convolutional networks on graphs for learning molecular fingerprints Gated graph sequence neural networks Accelerated filtering

Research Guide for Video Frame Interpolation with Deep Learning

纵饮孤独 提交于 2021-02-10 18:47:40
Research Guide for Video Frame Interpolation with Deep Learning This blog is from: https://heartbeat.fritz.ai/research-guide-for-video-frame-interpolation-with-deep-learning-519ab2eb3dda In this research guide, we’ll look at deep learning papers aimed at synthesizing video frames within an existing video. This could be in between video frames, known as interpolation, or after them, known as extrapolation . The better part of this guide will cover interpolation. Interpolation is useful in software editing tools as well as in generating video animations. It can also be used to generate clear

Adam与SGD

泪湿孤枕 提交于 2021-02-10 17:57:14
本文转载自「机器学习炼丹记」,搜索「julius-ai」即可关注。 原文链接: 小象 (一)一个框架看懂优化算法 机器学习界有一群炼丹师,他们每天的日常是: 拿来药材(数据),架起八卦炉(模型),点着六味真火(优化算法),就摇着蒲扇等着丹药出炉了。 不过,当过厨子的都知道,同样的食材,同样的菜谱,但火候不一样了,这出来的口味可是千差万别。火小了夹生,火大了易糊,火不匀则半生半糊。 机器学习也是一样,模型优化算法的选择直接关系到最终模型的性能。有时候效果不好,未必是特征的问题或者模型设计的问题,很可能就是优化算法的问题。 说到优化算法,入门级必从 SGD 学起,老司机则会告诉你更好的还有 AdaGrad / AdaDelta,或者直接无脑用 Adam。可是看看学术界的最新 paper,却发现一众大神还在用着入门级的 SGD,最多加个 Momentum 或者 Nesterov,还经常会黑一下Adam。比如 UC Berkeley 的一篇论文就在 Conclusion 中写道: Despite the fact that our experimental evidence demonstrates that adaptive methods are not advantageous for machine learning, the Adam algorithm remains