逻辑框架

本文首发于 vivo互联网技术 微信公众号 链接： https://mp.weixin.qq.com/s/l4vuYpNRjKxQRkRTDhyg2Q 作者：陈王荣 分布式任务调度框架几乎是每个大型应用必备的工具，本文介绍了任务调度框架使用的需求背景和痛点，对业界普遍使用的开源分布式任务调度框架的使用进行了探究实践，并分析了这几种框架的优劣势和对自身业务的思考。 一、业务背景 1.1 为什么需要使用定时任务调度 （1）时间驱动处理场景： 整点发送优惠券，每天更新收益，每天刷新标签数据和人群数据。 （2）批量处理数据： 按月批量统计报表数据，批量更新短信状态，实时性要求不高。 （3）异步执行解耦： 活动状态刷新，异步执行离线查询，与内部逻辑解耦。 1.2 使用需求和痛点 （1）任务执行监控告警能力。 （2）任务可灵活动态配置，无需重启。 （3）业务透明，低耦合，配置精简，开发方便。 （4）易测试。 （5）高可用，无单点故障。 （6）任务不可重复执行，防止逻辑异常。 （7）大任务的分发并行处理能力。 二、开源框架实践与探索 2.1 Java 原生 Timer 和ScheduledExecutorService 2.1.1 Timer使用 Timer缺陷： Timer底层是使用单线程来处理多个Timer任务，这意味着所有任务实际上都是串行执行，前一个任务的延迟会影响到之后的任务的执行。

讲到ｊａｖａ企业级开发框架，就不可避免的讲到　IOC，AOP，MCV 　 今天面试时被问到AOP，讲的很乱，这里整理笔记，包括AOP,spring-AOP的部分知识,错误的地方请小伙伴指出来. 谈谈你对AOP的理解: AOP概念(Aspect-Oriented Programming)： 即面向切面编程，与OOP(Object - Oriented Programming,面向对象编程)相辅相成，AOP的基本单元为Aspect(切面)，Struts2 的拦截器设计就是基于AOP的思想。 AOP原理： 大型系统中的 通用的服务型的代码会穿插在各个业务类 ，方法中，随着系统规模的增大，会造成 大量的代码重复 ，，且与核心代码没有太多的关系。 系统中的业务可分为 核心关注点和横切关注点 ， 核心关注点是业务处理的主要流程，横切关注点是与核心业务无关的通用业务。如日志权限 等，各个横切点离散的穿插与核心业务中。导致系统中的每一个模块代码都与这些业务具有很强的依赖性，当需要添加横切功能时，需要大幅修改已有的代码。 AOP即解决这个问题， 使用AOP框架，能够将这些影响多个类的通用性服务抽取出来，(即切面) ，并通过 配置的方式明确在那些位置插入这些服务， 系统运行后，AOP框架在指定的时机自动运行这些服务，从而达到核心业务逻辑和服务性逻辑分离的目的，减少了重复代码的

作者：陈肃 整理：周奇，Apache Flink 社区志愿者 本文根据陈肃老师在 Apache Kafka x Flink Meetup 深圳站的分享整理而成，文章首先将从数据融合角度，谈一下 DataPipeline 对批流一体架构的看法，以及如何设计和使用一个基础框架。其次，数据的一致性是进行数据融合时最基础的问题。如果数据无法实现一致，即使同步再快，支持的功能再丰富，都没有意义。 另外，DataPipeline 目前使用的基础框架为 Kafka Connect。为实现一致性的语义保证，我们做了一些额外工作，希望对大家有一定的参考意义。 最后，会提一些我们在应用 Kafka Connect 框架时，遇到的一些现实的工程问题，以及应对方法。尽管大家的场景、环境和数据量级不同，但也有可能会遇到这些问题。希望对大家的工作有所帮助。 一、批流一体架构 批和流是数据融合的两种应用形态 下图来自 Flink 官网。传统的数据融合通常基于批模式。在批的模式下，我们会通过一些周期性运行的 ETL JOB，将数据从关系型数据库、文件存储向下游的目标数据库进行同步，中间可能有各种类型的转换。 另一种是 Data Pipeline 模式。与批模式相比相比， 其最核心的区别是将批量变为实时：输入的数据不再是周期性的去获取，而是源源不断的来自于数据库的日志、消息队列的消息。进而通过一个实时计算引擎

作者 | 夙兴 阿里巴巴高级工程师 本文整理自《CNCF x Alibaba 云原生技术公开课》第 24 讲，点击“阅读原文”直达课程页面。 关注“阿里巴巴云原生”公众号，回复关键词 “入门” ，即可下载从零入门 K8s 系列文章 PPT。 导读 ：本文将从实践出发，结合案例来说明，如何借助 Operator 开发框架来扩展 Kubernetes API。内容主要分为三个部分：首先会简单介绍一下 Operator 相关的知识；然后会介绍 Operator 开发框架并结合案例来详细说明整个开发过程；最后会结合案例的工作流程来重新说明 Operator 是如何工作的。 一、operator 概述 基本概念 首先介绍一下本文内容所涉及到的基本概念。 CRD (Custom Resource Definition) : 允许用户自定义 Kubernetes 资源，是一个类型； CR (Custom Resourse) : CRD 的一个具体实例； webhook : 它本质上是一种 HTTP 回调，会注册到 apiserver 上。在 apiserver 特定事件发生时，会查询已注册的 webhook，并把相应的消息转发过去。 按照处理类型的不同，一般可以将其分为两类：一类可能会修改传入对象，称为 mutating webhook；一类则会只读传入对象，称为 validating

转载自： 如何选择分布式事务形态（TCC，SAGA，2PC，补偿，基于消息最终一致性等等） 各种形态的分布式事务 分布式事务有多种主流形态，包括： 基于消息实现的分布式事务 基于补偿实现的分布式事务(gts/fescar自动补偿的形式) 基于TCC实现的分布式事务 基于SAGA实现的分布式事务 基于2PC实现的分布式事务 之所以有这么多形态，是 因为任何事情都没有银弹，只有最合适当前场景的解决方案 。 这些形态的原理已经在很多文章中进行了剖析，用“分布式事务”关键字就能搜到对应的文章，本文不再赘述这些形态的原理，并将重点放在如何根据业务选择对应的分布式事务形态上。 何时选择单机事务？ 这个相信大家都很清楚，在条件允许的情况下，我们应该尽可能地使用单机事务，因为单机事务里，无需额外协调其他数据源，减少了网络交互时间消耗以及协调时所需的存储IO消耗，在修改等量业务数据的情况下，单机事务将会有更高的性能。 但单机数据库由于 业务逻辑解耦等因素进行了数据库垂直拆分、或者由于单机数据库性能压力等因素进行了数据库水平拆分之后，数据分布于多个数据库，这时若需要对多个数据库的数据进行协调变更，则需要引入分布式事务。 分布式事务的模式有很多种，那究竟要怎么选择适合业务的模式呢？以下我们将从使用场景、性能、开发成本这几个方面进行分析。 何时选择基于消息实现的事务？

各种形态的分布式事务 分布式事务有多种主流形态，包括： 基于消息实现的分布式事务 基于补偿实现的分布式事务 基于TCC实现的分布式事务 基于SAGA实现的分布式事务 基于2PC实现的分布式事务 这些形态的原理已经在很多文章中进行了剖析，用“分布式事务”关键字就能搜到对应的文章，本文不再赘述这些形态的原理，并将重点放在如何根据业务选择对应的分布式事务形态上。 何时选择单机事务？ 这个相信大家都很清楚，在条件允许的情况下，我们应该尽可能地使用单机事务，因为单机事务里，无需额外协调其他数据源，减少了网络交互时间消耗以及协调时所需的存储IO消耗，在修改等量业务数据的情况下，单机事务将会有更高的性能。 但单机数据库由于 业务逻辑解耦等因素进行了数据库垂直拆分、或者由于单机数据库性能压力等因素进行了数据库水平拆分之后，数据分布于多个数据库，这时若需要对多个数据库的数据进行协调变更，则需要引入分布式事务。 分布式事务的模式有很多种，那究竟要怎么选择适合业务的模式呢？以下我们将从使用场景、性能、开发成本这几个方面进行分析。 何时选择基于消息实现的事务？ 基于消息实现的事务适用于分布式事务的提交或回滚只取决于事务发起方的业务需求，其他数据源的数据变更跟随发起方进行的业务场景。 举个例子，假设存在业务规则：某笔订单成功后，为用户加一定的积分。 在这条规则里，管理订单数据源的服务为事务发起方

下面内容转自大数据与人工智能微信公众号，由于网络上推荐系统的相关学习资料太多太杂，东拼西凑学习很难摸出门道，同时我也在学习推荐系统，因此我将该系列内容摘录到我的博客，方便大家直接在博客中查看，大家一起学习进步，后面我也会阅读推荐系统相关的论文，并在本博客记录笔记，希望大家一起进步哈。 在我更新第一篇《推荐系统介绍》之后，过了一两天这篇介绍的阅读量就达到了三百多，可见当下存在一个矛盾：大家日益增长的对推荐系统好文章的渴求与真正有含金量的推荐系统学习资料间供应存在着巨大的矛盾，因此我将加快本系列文章的更新，很感谢大数据与人工智能微信公众号，大家如果有额外的需求，可以去该公众号详询原作者，由于博客中不能直接粘贴微信公众号中的图片，本文的图片都是我一张一张手动截图粘贴，整理不易，希望能帮到大家，毕竟好的文章值得我们推广，不应被埋没，好了，话不多说，马上开始。 ===================正文开始=================== 一：写在前面 在上篇文章《推荐系统介绍》中简单对推荐系统做了一个较全面的介绍，相信大家对推荐系统有了初步的了解。本篇文章作者会结合多年推荐系统开发的实践经验粗略介绍推荐系统的工程实现，简要说明要将推荐系统很好地落地到产品中需要考虑哪些问题及相应的思路、策略和建议,其中有大量关于设计哲学的思考,希望对从事推荐算法工作或准备入行推荐系统的读者有所帮助。

autograd与逻辑回归 文章目录 autograd与逻辑回归 1. torch.autograd自动求导系统 2. 逻辑回归 1. torch.autograd自动求导系统 torch.autograd.backward 功能：自动求取梯度 tensors：用于求导的张量，如loss retain_graph：保存计算图 create_graph：创建导数计算图，用于高阶求导 grad_tensors：多梯度权重（当有多个loss需要计算梯度时，需要设置各个loss之间的权重比例） w = torch . tensor ( [ 1 . ] , requires_grad = True ) x = torch . tensor ( [ 2 . ] , requires_grad = True ) a = torch . add ( w , x ) b = torch . add ( w , 1 ) y0 = torch . mul ( a , b ) y1 = torch . add ( a , b ) loss = torch . cat ( [ y0 , y1 ] , dim = 0 ) grad_tensors = torch . tensor ( [ 1 . , 2 . ] ) loss . backward ( gradient = grad_tensors ) #

之前网上看到很多写分布式事务的文章，不过大多都是将分布式事务各种技术方案简单介绍一下。很多朋友看了还是不知道分布式事务到底怎么回事，在项目里到底如何使用。 所以这篇文章，就用大白话+手工绘图，并结合一个电商系统的案例实践，来给大家讲清楚到底什么是 TCC 分布式事务 一、业务场景介绍 咱们先来看看业务场景，假设你现在有一个电商系统，里面有一个支付订单的场景。 那对一个订单支付之后，我们需要做下面的步骤： 更改订单的状态为“已支付” 扣减商品库存 给会员增加积分 创建销售出库单通知仓库发货 这是一系列比较真实的步骤，无论大家有没有做过电商系统，应该都能理解。 二、进一步思考 好，业务场景有了，现在我们要更进一步，实现一个 TCC 分布式事务的效果。 什么意思呢？也就是说，[1] 订单服务-修改订单状态，[2] 库存服务-扣减库存，[3] 积分服务-增加积分，[4] 仓储服务-创建销售出库单。 上述这几个步骤，要么一起成功，要么一起失败，必须是一个整体性的事务。 举个例子，现在订单的状态都修改为“已支付”了，结果库存服务扣减库存失败。那个商品的库存原来是 100 件，现在卖掉了 2 件，本来应该是 98 件了。 结果呢？由于库存服务操作数据库异常，导致库存数量还是 100。这不是在坑人么，当然不能允许这种情况发生了！ 但是如果你不用 TCC 分布式事务方案的话，就用个 Spring

转眼已经2020，距离微服务这个词落地已经过去好多年！（我记得2017年就听过这个词）。然而今天我想想什么是微服务，其实并没有一个很好的定义。为什么这样说，按照微服务的定义： 微服务架构就是将一个庞大的业务系统按照业务模块拆分成若干个独立的子系统，每个子系统都是一个独立的应用，它是一种将应用构建成一系列按业务领域划分模块的，小的自治服务的软件架构方式，倡导将复杂的单体应用拆分成若干个功能单一、松偶合的服务，这样可以降低开发难度、增强扩展性、便于敏捷开发，及持续集成与交付活动。 根据这个定义，不难看出其实就是对复杂的业务系统统一做逻辑拆分，保持逻辑上的独立。那么逻辑上独立就是一个服务这样做真的是好吗，如何界定：小、独，还有要做一个事情，完成单一的业务，单一的功能要拆分出来，为了独立而独立会不会导致拆的过细？不同人有不同的见解，我们今天一起探讨微服务的过去和未来。 微服务缘起 在没有微服务之前，我们最早的架构模式就是 MVC 模式，把业务逻辑分为：表示层，业务逻辑层，数据访问层。MVC模式随着大前端的发展，从一开始的前后端不分离，到现在的前后端分离逐渐演进。这种演进好的一点是剥离了不同开发语言的开发环境和部署环境，使得开发较为便利，部署更直接。然而问题是：这种模式仍然是单体应用模式，如果有一个改动需要上线，你不得不因为这个改动去考虑更多