adaptive

Contents目录 Chapter 0: Introduction to the companion book本辅导书简介 Chapter 1: Introduction 简介 Viewing an image: image_view_demo 查看一张图像：image_view_demo Chapter 2: The image, its representations and properties Displaying a coarse binary image: coarse_pixels_draw Distance transform, an example: dist_trans_demo Border of a region, an example: region_border_demo Chapter 3: The image, its mathematical and physical background Convolution, shift-multiply-add approach: conv_demo Discrete Fourier Transform: dft_edu Inverse DFT: idft_edu 1D Discrete Fourier Transform: dft1d_demo 2D Discrete Fourier Transform

> 论文指出one-stage anchor-based和center-based anchor-free检测算法间的差异主要来自于正负样本的选择，基于此提出ATSS(Adaptive Training Sample Selection)方法，该方法能够自动根据GT的相关统计特征选择合适的anchor box作为正样本，在不带来额外计算量和参数的情况下，能够大幅提升模型的性能，十分有用   来源：晓飞的算法工程笔记 公众号 论文: Bridging the Gap Between Anchor-based and Anchor-free Detection via Adaptive Training Sample Selection 论文地址： https://arxiv.org/abs/1912.02424 代码地址： https://github.com/sfzhang15/ATSS Introduction   在仔细比对了anchor-based和anchor-free目标检测方法后，结合实验结果，论文认为两者的性能差异主要来源于正负样本的定义，假如训练过程中使用相同的正负样本，两者的最终性能将会相差无几。为此，论文提出ATSS( Adaptive Training Sample Selection)方法，基于GT的相关统计特征自动选择正负样本，能够消除anchor

写在前面的话 自己用Dubbo也有几年时间，一直没有读过Dubbo的源码，现在来读一读Dubbo的源码，分析一下Dubbo的几个核心，并写一个Dubbo的源码专题来记录一下学习过程，供大家参考，写的不好的地方，欢迎拍砖 专题分为以下几个部分： Dubbo源码分析（一）Dubbo的扩展点机制 Dubbo源码分析（二）Dubbo服务发布Export Dubbo源码分析（三）Dubbo的服务引用Refer Dubbo源码分析（四）Dubbo调用链-消费端（集群容错机制） Dubbo源码分析（五）Dubbo调用链-服务端 Dubbo源码分析（六）Dubbo通信的编码解码机制 Dubbo框架的设计细节 (未完，待续) PS：读源码前先掌握以下基础 JDK的SPI Java多线程/线程池基础 Javasissit基础（动态编译） Netty基础 Zookeeper基础，zkClient客户端API 工厂模式，装饰模式，模板模式，单例模式，动态代理模式 Spring的schema自定义扩展 序列化 PS：读源码前的建议 代码量很大，各个地方都有关联，慢慢读，不要着急，一遍不行就两遍，两遍不行就三遍，总有看懂的时候 带着问题去看，先想想这段代码的目的是什么，解决了什么问题 沿着一条主线读，不影响流程走向的代码可以略过 Dubbo的扩展点 为什么先读扩展点 之所以选择先从Dubbo的扩展点机制入手

最近看到一个特别有意思的开源项目，能把照片自动转化成漫画效果，经过半个小时的调试，终于跑通了。正先给大家看下实际效果，我在网上的随便搜了一张帅哥的证件照片试了下。基本上会把脑袋切出来，然后放大眼睛。 原照： 漫画效果后： 使用的是开源项目： https://github.com/minivision-ai/photo2cartoon 具体原理直接摘录read.me的一段描述： 人像卡通风格渲染的目标是，在保持原图像ID信息和纹理细节的同时，将真实照片转换为卡通风格的非真实感图像。我们的思路是，从大量照片/卡通数据中习得照片到卡通画的映射。一般而言，基于成对数据的pix2pix方法能达到较好的图像转换效果，但本任务的输入输出轮廓并非一一对应，例如卡通风格的眼睛更大、下巴更瘦；且成对的数据绘制难度大、成本较高，因此我们采用unpaired image translation方法来实现。 Unpaired image translation流派最经典方法是CycleGAN，但原始CycleGAN的生成结果往往存在较为明显的伪影且不稳定。近期的论文U-GAT-IT提出了一种归一化方法——AdaLIN，能够自动调节Instance Norm和Layer Norm的比重，再结合attention机制能够实现精美的人像日漫风格转换。 与夸张的日漫风不同，我们的卡通风格更偏写实

1 前言 Modularity模块化是实现generalization泛化性的方法之一。科学家对大脑的研究已经发现大脑的不同区域具备完全不同的功能，以此同时不同区域的大脑又具有相同的网络结构。在以前吴恩达的机器学习课程中就有提到过: 我们大脑通过训练可以使用舌头来实现视觉感知，这很神奇。 为了探索Generalization的奥秘，在这一次paper reading中，我们将分析当前Modularity的相关研究。 https://github.com/floodsung/Deep-Reasoning-Papers ​ github.com 相关paper列在git中的Modularity部分。 [1] Adaptive mixtures of local experts （1991） Introduction ：这篇文章来自Hinton，是对Mixture of Experts的改进。核心思想是融合了Competitive Learning。 一般的Mixture of Experts 是这样的： Motivation ：所有不同的expert network 加权输出最后的结果。这样的处理存在一个问题是不同的expert是互相影响的，只要一个expert发生变化，整个梯度就会发生改变，所有的expert也会跟着更新。除了让expert network互相合作

Learning to Predict Context-adaptive Convolution for Semantic Segmentation 2020-04-20 17:41:35 Paper : https://arxiv.org/pdf/2004.08222.pdf Code : 1. Background and Motivation : 本文提出一种新的方法来学习背景信息，以辅助语义分割。不同于常规的 channel attention的思路，本文利用动态卷积核的做法来搞。但是不同于最基本的卷积核方法（即 Dynamic Filter Network），因为这种方法有太多 FC layer，从而导致参数量过大。而是通过一种 matrix multiplication 的方法来得到 kernel parameters。这种 kernel 不但完全编码了输入特征图的全局内容，而且通过 depth-wise convolution 在 输入特征上， 对每一个空间位置都产生了 context-aware spatially-varying feature weighting factors。此外，我们利用了一系列的空洞卷积，以及不同空洞率的方法，来有效地捕获多尺寸的信息。 本文的主要创新点如下： 1). 为了更好的利用全局场景信息来正则化语义分割，作者提出通过预测

【推荐阅读】微服务还能火多久？>>> 文章作者：Tyan 博客： noahsnail.com | CSDN | 简书 声明：作者翻译论文仅为学习，如有侵权请联系作者删除博文，谢谢！ 翻译论文汇总： https://github.com/SnailTyan/deep-learning-papers-translation Photo-Realistic Single Image Super-Resolution Using a Generative Adversarial Network 摘要 尽管使用更快更深的卷积神经网络在单图像超分辨率的准确性和速度方面取得了突破，但仍有一个主要问题尚未解决：当使用大的上采样系数进行超分辨率时，我们怎样来恢复更精细的纹理细节。基于优化的超分辨率方法的行为主要由目标函数的选择来决定。最近的工作主要专注于最小化均方重构误差。由此得出的评估结果具有很高的峰值信噪比，但它们通常缺乏高频细节，并且在感知上是不令人满意的，在某种意义上，它们在较高分辨率上没有满足期望的保真度。在本文中，我们提出了SRGAN，一种用于图像超分辨率(SR)的生成对抗网络(GAN)。据我们所知，这是第一个对于4倍上采样系数，能推断逼真自然图像的框架。为此，我们提出了一种感知损失函数，其由对抗损失和内容损失组成。对抗损失使用判别器网络将我们的解推向自然图像流形

【今日推荐】：为什么一到面试就懵逼！>>> 源码由ExtensionLoader.createAdaptiveExtensionClassCode()方法生成 dubbo默认cluster类型为failover package com.alibaba.dubbo.rpc.cluster; import com.alibaba.dubbo.common.extension.ExtensionLoader; public class Cluster$Adaptive implements com.alibaba.dubbo.rpc.cluster.Cluster { public com.alibaba.dubbo.rpc.Invoker join(com.alibaba.dubbo.rpc.cluster.Directory arg0) throws com.alibaba.dubbo.rpc.RpcException { if (arg0 == null) throw new IllegalArgumentException("com.alibaba.dubbo.rpc.cluster.Directory argument == null"); if (arg0.getUrl() == null) throw new IllegalArgumentException("com

自从BERT问世以来，大多数NLP任务的效果都有了一次质的飞跃。BERT Large在GLUE test上甚至提升了7个点之多。但BERT同时也开启了模型的“做大做深”之路，普通玩家根本训不起，高端玩家虽然训得起但也不一定用得起。 所以BERT之后的发展也比较清晰，一部分壕大佬们继续搞预训练提升效果，当你对BERT Large望而却步的时候，又出了GPT2，又双出了威震天Megatron-LM，又双叒出了T5，又双叒叕出了DeepSpeed。。。每次都是照着一个数量级去加，剩下的人只能默默观望，翻翻《 如何优雅地训练大型模型？ 》看哪个trick可以用上。 另一部分大佬着力于给BERT瘦身提升速度。比如剪枝，剪掉多余的连接、多余的注意力头、甚至LayerDrop [1] 直接砍掉一半Transformer层；再比如量化，把FP32改成FP16或者INT8；还有蒸馏，用一个学生模型来学习大模型的知识，不仅要学logits，还要学attention score。。。 然而，大部分减肥方法都会带来精度的下降。剪枝会直接降低模型的拟合能力，量化虽然有提升但也有瓶颈，蒸馏的不确定性最大，很难预知你的BERT教出来怎样的学生。 但！是！ 昨天刷到了一篇让我眼前一亮的文章《FastBERT: a Self-distilling BERT with Adaptive Inference Time》

一． 重要概念： 1．色温 所谓色温，简而言之，就是定量地以开尔文温度（K）来表示色彩。英国著名物理学家开尔文认为，假定某一黑体物质，能够将落在其上的所有热量吸收，而没有损失，同时又能够将热量生成的能量全部以“光”的形式释放出来的话，它便会因受到热力的高低而变成不同的颜色，如下图： 2. 标准光源 是指模拟各种环境光线下的人造光源，让生产工厂或实验室非现场也能获得与这些特定环境下的光源基本一致的照明效果。标准光源通常安装在标准光源箱内，主要用于检测物品的颜色偏差。 人造的标准光源主要有如下10种类型： 在调试的过程中，一般都是基于三种光源类型调试，所用到的光源为D65，D50，TL84，CWF,A,H。 3. 白平衡 所谓白平衡（英文名称为White Balance），就是对白色物体的还原。当我们用肉眼观看这大千世界时，在不同的光线下，对相同的颜色的感觉基本是相同的，比如在早晨旭日初升时，我们看一个白色的物体，感到它是白的；而我们在夜晚昏暗的灯光下，看到的白色物体，感到它仍然是白的。这是由于人类从出生以后的成长过程中，人的大脑已经对不同光线下的物体的彩色还原有了适应性。但是，作为拍摄设备，如数码相机，可没有人眼的适应性，在不同的光线下，由于CCD输出的不平衡性，造成数码相机彩色还原失真。一般情况下，我们习惯性地认为太阳光是白色的，已知直射日光的色温是5200K左右