layer

前言 为了能够实时地了解线上业务数据，京东算法智能应用部打造了一款基于ClickHouse的实时计算分析引擎，给业务团队提供实时数据支持，并通过预警功能发现潜在的问题。 本文结合了引擎开发过程中对资源位数据进行聚合计算业务场景，对数据实时聚合计算实现秒级查询的技术方案进行概述。ClickHouse是整个引擎的基础，故下文首先介绍了ClickHouse的相关特性和适合的业务场景，以及最基础的表引擎MergeTree。接下来详细的讲述了技术方案，包括Kafka数据消费到数据写入、结合ClickHouse特性建表、完整的数据监控，以及从几十亿数据就偶现查询超时到几百亿数据也能秒级响应的优化过程。 ClickHouse ClickHouse是Yandex公司内部业务驱动产出的列式存储数据库。为了更好地帮助自身及用户分析网络流量，开发了ClickHouse用于在线流量分析，一步一步最终形成了现在的ClickHouse。在存储数据达到20万亿行的情况下，也能做到90%的查询能够在1秒内返回结果。 ClickHouse能够实现实时聚合，一切查询都是动态、实时的，用户发起查询的那一刻起，整个过程需要能做到在一秒内完成并返回结果。ClickHouse的实时聚合能力和我们面对的业务场景非常符合。 ClickHouse支持完整的DBMS。支持动态创建、修改或删除数据库、表和视图，可以动态查询、插入

　　云原生(CNCF)很火， 容器开放接口规范 CRI CNI OCI CRI - Container Runtime Interface（容器运行时接口） 　　 CRI中定义了容器和镜像的服务的接口 ，因为容器运行时与镜像的生命周期是彼此隔离的，因此需要定义两个服务，该 接口使用Protocol Buffer(序列化) ，基于gRPC Container Runtime实现了CRI gRPC Server，包括RuntimeService和ImageService 。该gRPC Server需要监听本地的Unix socket， 而kubelet则作为gRPC Client运行 启用CRI 除非集成了rktnetes，否则CRI都是被默认启用了，kubernetes1.7版本开始旧的预集成的docker CRI已经被移除。 要想启用CRI只需要在kubelet的启动参数重传入此参数： --container-runtime-endpoint 远程运行时服务的端点 。当前Linux上支持unix socket，windows上支持tcp。例如： unix:///var/run/dockershim.sock(socket) 、 tcp://localhost:373(tcp) ，默认是 unix:///var/run/dockershim.sock

HTTP 1.基本概念 1.1.1 URI URI包含URL和URN 2. 请求和响应报文 2.1.请求报文 =GET和POST请求的实例= GET /search/users?q=JakeWharton HTTP/1.1 ---请求行 -----以下都是请求头 Host: api.github.com Connection: keep-alive 指定与连接相关的属性，例如（Keep_Alive，长连接） Upgrade-Insecure-Requests: 1 User-Agent: Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36 发送请求的应用名称 Accept: text/html,application/xhtml+xml,application/xml;q=0.9,image/webp,image/apng,*/*;q=0.8,application/signed-exchange;v=b3 Accept-Encoding: gzip, deflate, br通知服务器端可以发送的数据压缩格式 Accept-Language: zh-CN,zh;q=0.9通知服务器端可以发送的语言 Cookie:

作者 | Jay Alammar 译者 | 香槟超新星，责编 | 夕颜 来源 | CSDN（ID:CSDNnews） 注意力机制是一种在现代深度学习模型中无处不在的方法，它有助于提高神经机器翻译应用程序性能的概念。在本文中，我们将介绍Transformer这种模型，它可以通过注意力机制来提高训练模型的速度。在特定任务中，Transformer的表现优于Google神经机器翻译模型。但是，最大的好处来自于Transformer如何适用于并行化。实际上，Google Cloud建议使用Transformer作为参考模型来使用其Cloud TPU产品。因此，我们试试将模型分解开吧，看看它是如何工作的。 Attention is All You Need一文中提出了Transformer。它的TensorFlow实现是Tensor2Tensor包的一部分。哈佛大学的NLP团队创建了一份指南，用PyTorch实现对这篇文章进行注释。在本文中，我们将试着尽可能地简化讲解，并逐一介绍概念，希望能让那些对这方面没有深入知识的人们更容易理解Transformer。 Transformer概览 首先，让我们先将模型视为一个黑盒。在机器翻译应用程序中，这个模型将拿一种语言中的一个句子，然后以另一种语言输出其翻译。 打开擎天柱的引擎盖（Optimus Prime，Transformer与变形金刚是同一个词

1. YouTube - Unity 1) Making snow with VFX Graph | Unite Now 2020 ( YouTube ) ( Bilibili ) ( Unity Learn ) Unity Learn Live, 面向初学者, 从创建Unity工程开始介绍的VFX的教程 2) Unity for Beginners – Join Kristin, Elena, Eleonora and Code Monkey on this Livestream July 23! ( YouTube ) 一个直播的宣传 3) Behind the Game: Airborne Kingdom | Unite Now 2020 ( YouTube ) 　　一个采访视频 4) Simulating Wind in URP (Shader Graph Tutorial) ( YouTube ) ( Bilibili ) 　　和上一期的Water一样, 标记(Shader Graph Tutorial)的视频都是以Boat Attack为例子, 用超快速的方式介绍如何操作的短视频 5) Meet the Devs: Prefab Teams | Unite Now 2020 ( YouTube ) 对Prefab开发团队的采访, 介绍了2020.1的新功能,

目录 一、什么是镜像？ 1.1 Image Layer（镜像层） 1.2 Image（镜像，只读层的集合） 二、什么是容器？ 2.1 Container（容器，一层读写层+多层只读层） 2.2 Running Container（运行态容器，一层读写层+多层只读层+隔离的进程空间和包含其中的进程） 三、总结 在学习使用docker过程中会遇到镜像和容器，两者之间的区别是什么？有什么关联？本文将用图文并茂的方式介绍容器、镜像的区别，能够很好的帮助各位深入理解Docker。 　　　　　　　　　　　　　　 一、什么是镜像？ 1.1 Image Layer（镜像层） 　　镜像可以看成是由多个镜像层叠加起来的一个文件系统（通过UnionFS与AUFS文件联合系统实现），镜像层也可以简单理解为一个基本的镜像，而每个镜像层之间通过指针的形式进行叠加。 　　　　　　 　　根据上图，镜像层的主要组成部分包括镜像层 ID、镜像层指针 「指向父层」、元数据「 Layer Metadata，包含了 Docker 构建和运行的信息和父层的层次信息」。只读层和读写层「Top Layer」的组成部分基本一致，同时读写层可以转换成只读层「 通过 docker commit 操作实现」。 　　元数据（metadata）就是关于这个层的额外信息，它不仅能够让Docker获取运行和构建时的信息，还包括父层的层次信息

前言 在很多的解谜类游戏中，场景中往往会有很多密室，玩家需要在不同的房间中来回穿梭，除了第三人称摄像头外，我们也可以通过在不同的房间中布置不同的Camera，然后当角色到达指定房间后开启对应的Camera来处理。类似的效果如下图： 从Gif中可以看出，当我们的角色到达不同的房间时，我们的Camera会自动实现切换来观察我们的角色。在以往，我们可能需要自己来写一些触发器来判断角色到了哪个房间，然后开启指定的Camera。但是有了Cinemachine后，我们就不需要那么麻烦的敲代码了，同样只需简单的进行一些配置，Cinemachine就会替我们自动实现上述的功能。 在该案例中，我们需要使用到Cinemachine的Clear Shot功能，接下来就先让我们来了解下Clear Shot。 Demo： https://github.com/luckyWjr/Demo Cinemachine文件夹下的DemoClearShot Clear Shot 介绍 Clear Shot Camera属于一种管理类的Camera，在其根目录下会有一个或多个VirtualCamera，ClearShot会从中选择出针对被观察目标的最好画面质量的VirtualCamera。因此当场景中有很多Camera的时候使用该功能，可以保证我们的画面都可以清楚的看见我们的目标。

NCF在推荐领域应用背景 CF，也就是协同过滤，在推荐领域有极其广泛的应用，应该没有谁的智能推荐系统是没用到过CF的。CF其实就是挖掘user和item的交互关系，然后生成I2I或者U2I表示向量。传统的CF从数学角度上还是偏行为统计计算的，没有用到很复杂的网络。因为深度学习很火，也是有一些关于Neural Collaborative Filtering的工作。今天介绍一下最近看的叫《Neural Collaborative Filtering》这篇论文。也有一个对应的开源项目，地址： https://github.com/hexiangnan/neural_collaborative_filtering 有兴趣的做推荐相关工作的同学，可以在自己的工作中用用。 隐式反馈vs显式反馈 其实把任何算法前面加个N，改成neural某某都是比较好发paper或者取得效果的。这篇文章比较有意思的一个点我觉得不在于将GMF或者MLP加在CF中，而是为CF构建了一套针对隐式反馈的建模理论。 说到这里先要提下隐式反馈和显式反馈。首先推荐业务一般都是按照有监督学习方式建模，也就是说要构建特征和目标列。在目标列的选择上一般会认为购买、点击、收藏这种行为是正样本，标记成label=1，其它行为全都是0。 但是这其中有一些问题，有的时候点击了的不一定是用户真正喜欢的，没点击的不一定是用户不喜欢的。

前言 用了那么多年的express.js，终于有时间来深入学习express，然后顺便再和koa2的实现方式对比一下。 老实说，还没看express.js源码之前，一直觉得express.js还是很不错的，无论从api设计，还是使用上都是可以的。但是这次阅读完express代码之后，我可能改变想法了。 虽然express.js有着精妙的中间件设计，但是以当前js标准来说，这种精妙的设计在现在可以说是太复杂。里面的层层回调和递归，不花一定的时间还真的很难读懂。而koa2的代码呢？简直可以用四个字评论：精简彪悍！仅仅几个文件，用上最新的js标准，就很好实现了中间件，代码读起来一目了然。 老规矩，读懂这篇文章，我们依然有一个简单的demo来演示： express-vs-koa 1、express用法和koa用法简单展示 如果你使用express.js启动一个简单的服务器，那么基本写法应该是这样： const express = require('express') const app = express() const router = express.Router() app.use(async (req, res, next) => { console.log('I am the first middleware') next() console.log('first

随着1973年的第一次以太网（Ethernet）词汇的完整出现，到1977年的以太网正式诞生，1980年以太网技术的标准化和商品化，后到1990年的官方机构与官方的发布，自此，双绞线开始逐步替代同轴电缆成为以太网的主流通讯介质。而对应的以太网测试仪器也随之诞生。 国外的暂且不谈，国内的明辰智航 网络一点通千兆以太网性能测试仪 M-P-1C和万兆以太网性能测试仪M-P-1W在以太网故障频发，国内几乎找不到一款好用且实惠的测试仪器的近期“诞生”了！ 现在已经不是“酒香不怕巷子深”的时代，一款好用且符合国际标准和协议的以太网测试仪往往是那么的“低调”且无人问津。 随着国内经济的发展及国际的形势，还是支持一下国货比较靠谱，而以太网测试仪的选择同样如此。 明辰智航网络一点通千兆以太网测试仪： 两个 10/100/1000M Base-T, 100M Base-FX（选件）, 1000M Base-X 测试端口，支持全部接口的全双工和半双工自适应。 依照 RFC 2544 标准，进行吞吐量、背对背、延迟和帧丢失测量（双向结果）； 完整的 Y.1564 测试套件（双向结果）。Y.1564 可为移动回程和商业服务提供全面的现场测试；（选件） 支持基于目的/源 MAC、目的/源 IP、3 层 VLAN ID、3 层MPLS Lable 的在线业务扫描；（选件） 多达 8 个数据流生成和分析