实时系统

1)实时性。流式大数据不仅是实时产生的，也是要求实时给出反馈结果。系统要有快速响应能力，在短时间内体现出数据的价值，超过有效时间后数据的价值就会迅速降低。 2)突发性。数据的流入速率和顺序并不确定，甚至会有较大的差异。这要求系统要有较高的吞吐量，能快速处理大数据流量。 3)易失性。由于数据量的巨大和其价值随时间推移的降低，大部分数据并不会持久保存下来，而是在到达后就立刻被使用并丢弃。系统对这些数据有且仅有一次计算机会。 4)无限性。数据会持续不断产生并流入系统。在实际的应用场景中，暂停服务来更新大数据分析系统是不可行的，系统要能够持久、稳定地运行下去，并随时进行自我更新，以便适应分析需求。 流式计算的典型范式之一是不确定数据速率的事件流流入系统，系统处理能力必须与事件流量匹配，或者通过近似算法等方法优雅降级，通常称为负载分流（load-shedding）。当然，除了负载分流，流式计算的容错处理等机制也和批处理计算不尽相同。 有人会说，MR也有自己的实时计算方案，比如说HOP。 但是，这类基于MapReduce进行流式处理的方案有三个主要缺点。 将输入数据分隔成固定大小的片段，再由MapReduce平台处理，缺点在于处理延迟与数据片段的长度、初始化处理任务的开销成正比。小的分段会降低延迟，增加附加开销，并且分段之间的依赖管理更加复杂（例如一个分段可能会需要前一个分段的信息）；反之

近三年，大数据这个词出现的频次非常高，不仅纳入各大互联网巨头公司的战略规划中，同时也在国家的政府报告中多次提及，大数据已无疑成为当今时代的新宠。大数据给大多数人的感觉是，专业性强，门槛高，完全属于“高大上”的技术。好奇的人或许会通过网络了解一些概念，而有一些人则看到了大数据带来的机遇，投入大数据学习的洪流当中，投身大数据行业为自己带来利益。经历“坎坷”的学习大数据历程后，在求学之路上有哪些具体 容易掉入的“坑”？ 让我们一一盘点下。 ​ 1 在这里相信有许多想要学习大数据的同学，大家可以+下大数据学习裙：740041381，即可免费领取套系统的大数据学习教程 我们一起经历的那些坑 大多的初学者在入门初期，基本是在网上各种社区“大海捞针”的到处 知乎、百度： “大数据学习路径是怎么样的？” “学生党，会java，只有一台电脑！！如何学习大数据开发？” “ 语言是学R还是Python？” “我没时间有没钱，自学能学的会吗？” “现在大数据开发挺火的，谁知道大数据开发学习机构哪家靠谱？” “零基础学习大数据，想成为大数据开发工程师，请问该如何入门，有没有推荐网络教程，书籍或者大牛博客？” 自学过程中走过很多弯路，比如环境搭建，总会遇到各种奇葩问题，找不到答案；比如网上扑来各种资料不知道怎么分辨质量，也不知道如何科学利用，很痛苦又很困惑，毫无一点成就感，走了许多冤枉路，踩坑无数…… 第一

DATA GUARD的最主要的功能是冗灾。当然根据配置的不同,DATA GUARD还可以具备以下特点：高可用、性能提升、数据保护以及故障恢复等。 DATA GUARD可以分为物理STANDBY和逻辑STANDBY两种。二者的最大差别在于，物理STANDBY应用的是主库的归档日志，而逻辑STANDBY 应用的是主库的归档日志中提取的SQL语句。由于二者这一点的区别，决定了物理STANDBY无论从逻辑结构和物理结构都是和主库保持一致，而逻辑 STANDBY则只需保证逻辑结构一致，且逻辑STANDBY在应用SQL语句的时候， 数据库 可以处于打开的状态。 如果从DATA GUARD的保护模式分，可以分为三种不同的保护模式： 保护最大化：这种模式的配置可以保证主库和备库的同步，任何情况下主库的损毁都不会导致已提交数据的丢失。如果主库和备库之间的网络出现问题，或者备库本身出现问题，都会导致主库停止数据处理。 可用最大化：这种模式和上面一种类似，也是会保证主库和备库的同步，区别在于，当网络或备库不可用时，主库仍然可以继续处理。 性能最大化：主库和备库是异步的。这种模式可能在主库出现损毁时，丢失一部分数据。但是这种模式对主库负荷最小，因此具有最好的性能 ========================================================================

进程管理 要点： 基础：进程描述及控制 策略：进程调度 实现：互斥与同步 避免：死锁与饥饿 解决：几个经典问题 进程的引入 程序的顺序执行 源代码程序，目标程序和可执行程序 程序执行：编辑，编译，链接，执行 程序的结构：顺序，分支，循环结构 程序执行的特征：顺序性，封闭性，可再现性 程序并发执行 多道程序设计技术：多个程序并发执行 程序并发执行时的特征：间断性，非封闭性，不可再现性 并发执行引发的问题： 协调各程序的执行顺序：输入数据还未全部输入内存时，计算必须等待 多个执行程序共享系统资源，程序之间可能会相互影响，甚至影响输出结果 选择那些，多少个程序进入内存执行 内存中的执行程序谁先执行，谁后执行 内存如何有效分配？ 进程的概念 定义：可并发执行的程序，在一个数据集合上的运行过程 申请、拥有资源~调度（线程） 程序：静态概念，是指令和数据的集合，可长期存储 进程与程序对应关系 一个程序可以对应一个进程或者多个进程 一个进程可以对应一个程序，或者一段程序 进程的特征 动态性 并发性 独立性 异步性 引入进程带来的问题 增加了空间开销：为进程建立数据结构 额外的时间开销：管理和协调，跟踪，填写和更新有关数据结构，切换进程，保护现场 更难控制：协调多个进程竞争和共享资源如何预防；解决多个集成因为竞争资源而出现的故障 处理机的竞争尤为突出 进程的结构 组成（进程映像）：程序，数据集合

转自： https://www.jianshu.com/p/9de45d2d16e6 感谢博主！ 背景 互联网的迅速发展，为电子商务兴起提供了肥沃的土壤。2014年，中国电子商务市场交易规模达到13.4万亿元，同比增长31.4%。其中，B2B电子商务市场交易额达到10万亿元，同比增长21.9%。这一连串高速增长的数字背后，不法分子对互联网资产的觊觎，针对电商行业的恶意行为也愈演愈烈，这其中，最典型的就是黄牛抢单囤货和商家恶意刷单。黄牛囤货让广大正常用户失去了商家给予的优惠让利；而商家的刷单刷好评，不仅干扰了用户的合理购物选择，更是搅乱了整个市场秩序。 京东作为国内电商的龙头企业，在今天遭受着严酷的风险威胁。 机器注册账号、恶意下单、黄牛抢购、商家刷单 等等问题如果不被有效阻止，会给京东和消费者带来难以估量的损失 互联网行业中，通常使用风控系统抵御这些恶意访问。在技术层面上来讲，风控领域已逐渐由传统的“ rule-base”（基于规则判断）发展到今天的大数据为基础的实时+离线双层识别。 Hadoop，Spark等大数据大集群分布式处理框架的不断发展为风控技术提供了有效的支撑。 2.什么是“天网” 在此背景下，京东风控部门打造“天网”系统，在经历了多年沉淀后，“天网”目前已全面覆盖京东商城数十个业务节点并有效支撑了京东集团旗下的京东到家及海外购风控相关业务

引言 这是我阅读《互联网广告算法和系统实践》的笔记，作者王勇睿，在百度阅读上可以购买，书的篇幅很短，一天就能看完。 本书主要介绍了搜索广告算法、非搜索（定向）广告算法和实时竞价广告算法，为读者梳理了广告中的常用概念如CTR、ECPM，一个广告系统如何组成，实践中还会考虑什么问题，没有涉及多的数学和算法模型。本书适合入门，但作为小白，很多内容读完后没有具体的案例消化，理解深度上有所欠缺。我想当具备了一定的实践经验后再来翻阅此书，才能融会贯通。之后的计划是继续阅读刘鹏老师的《计算广告学》。 互联网广告算法和系统实践 第一部分 互联网广告简介 1.1 广告简介 广告是由已确定的出资人通过各种媒介进行的有关产品（商品、服务和观点）的、有偿的、有组织的、综合的、劝服性的非人员的信息传播活动。 传统广告业务包括三方角色：广告主、媒体、普通受众 广告历史 1.2 互联网广告 显示广告、合约广告、定向广告、受众定向技术 担保式投放 竞价广告、广义二阶拍卖GSP、广义一阶拍卖GSP 搜索广告、上下文广告、实时竞价 广告交易平台、需求方平台、提供方平台 计费方式：点击付费CPC、销售付费CPS、千次展现付费CPM 1.3 互联网广告类型 条幅广告 邮件直接营销广告 富媒体广告 视频广告 文字链广告 社交广告 移动端广告 1.4 有效性模型 曝光：位置很重要。 关注：广告创意吸引人，借助算法定向精准投放

设计理念 1 时间换空间 1.1 多级缓存，静态化 客户端页面缓存（http header中包含Expires/Cache of Control，last modified(304，server不返回body，客户端可以继续用cache，减少流量)，ETag）， 反向代理缓存，应用端的缓存(memcache)，内存数据库，Buffer、cache机制（数据库，中间件等）。 1.2 索引 哈希、B树、倒排、bitmap 哈希索引:适合综合数组的寻址和链表的插入特性，可以实现数据的快速存取。 B树索引:适合于查询为主导的场景，避免多次的IO，提高查询的效率。 倒排索引:实现单词到文档映射关系的最佳实现方式和最有效的索引结构，广泛用在搜索领域。 Bitmap:是一种非常简洁快速的数据结构，他能同时使存储空间和速度最优化（而不必空间换时间），适合于海量数据的的计算场景。 2. 并行与分布式计算 2.1 任务切分、分而治之(MR) 在大规模的数据中，数据存在一定的局部性的特征，利用局部性的原理将海量数据计算的问题分而治之。 MR模型是无共享的架构，数据集分布至各个节点。处理时，每个节点就近读取本地存储的数据处理(map)，将处理后的数据进行合并(combine)、排序(shuffle and sort)后再分发(至reduce节点)，避免了大量数据的传输，提高了处理效率。 2.2 多进程

本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用，通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。 **摘要：**Apache Flink 是一个分布式大数据处理引擎，可对有限数据流和无限数据流进行有状态计算。本文由贝壳找房的资深工程师刘力云将带来Apache Flink技术在贝壳找房业务中的应用，通过企业开发的实时计算平台案例的分享帮助用户了解Apache Flink的技术特性与应用场景。 业务规模及演进 下图为贝壳找房的业务场景示意图。最上层为贝壳找房公司最为主体的四大业务：二手房交易、新房交易、租赁业务及装修业务。四大业务运营将产生图示中间部分的四大数据即楼盘字典、交易数据、用户行为日志与后端服务日志。图示最下部分代表公司实时数据采集、实时数据计算的业务模块，本文中的案例将重点介绍数据实时计算部分的设计、实现及应用内容。 发展历程 在2018年初，随着公司埋点治理规范的推进，我们建设了DP实时数据总线，统一承接各种埋点数据流的标准化处理，并对外提供清洗后的实时数据。随着维护的实时任务增加，面临着实时数据流稳定性以及任务管理方面的挑战，于是贝壳大数据部着手研发了Hermes实时计算平台，提供统一的实时任务管理平台。 在2018年10月，我们推出了SQL V1编辑器来方便用户开发实时计算任务

前置知识 事务: 事务提供一种机制将一个活动涉及的所有操作纳入到一个不可分割的执行单元，组成事务的所有操作只有在所有操作均能正常执行的情况下方能提交，只要其中任意一个执行失败，将导致整个事务的回滚。简单来说就是提供一种”要么什么都不做，要不全都做“的机制。 本地事务: 当事务是由资源管理器本地管理时被称为本地事务。本地事务的有点是支持严格的 ACID 特性，高效，可靠，状态可以只在资源管理器中维护，而且应用编程模型简单。但是本地事务不具备分布式事务的处理能力，隔离的最小单位受限于资源管理器。MySql 的 InnoDB 通过日志（Redo 和 Undo）和锁来保证事务。 全局事务: 当事务由全局事务管理器进行全局管理时成为全局事务，事务管理器负责管理全局事务状态和参与的资源，协同资源的一直提交回滚。 刚性事务和柔性事务 刚性事务：遵循 ACID 原则，强一致性，典型的例子就是数据库事务。 柔性事务：尊循 BASE 理论，最终一致性，允许在一定时间内，不同节点的数据不一致，但要求最终一致性。 分布式知识 CAP 分布式系统在设计时只能在一致性，可用性和分区容错性中满足两种，无法兼顾三种。 C： 在分布式环境中，一致性是指数据在多个副本之间是否能够保持一致的特性。在一致性的要求下，当一个系统在数据一致的状态下执行更新操作后，应该保证系统的数据仍然处于一致的状态。 A：

什么是操作系统？ 操作系统(Operating System, OS)是指控制和管理整个计算机系统的硬件和软件资源，并合理地组织调度计算机的工作和资源的分配，以提供给用户和其他软件方便的接口和环境的程序集合。 计算机操作系统是随着计算机研究和应用的发展逐步形成并发展起来的，它是计算机系统中最基本的系统软件。 我们通过操作系统来使用计算机。 知道了系统是用来做什么的，我们来了解一下系统的发展历史。 （操作系统工作方式的演变——20世纪五六十年代） 手工操作（无操作系统） 人们先把程序纸带（或卡片）装上计算机，然后启动输入机把程序和送入计算机，接着通过控制台开关启动程序运行。计算完毕，打印机输出计算结果，用户卸下并取走纸带（或卡片）。第二个用户上机，重复同样的步骤。 特点： 用户独占机器，CPU等待手工操作，CPU利用不充分 由于手工操作的满速度和计算机的高速度之间形成了尖锐矛盾，手工操作的方式是计算机的资源利用率极低，唯一的解决办法只有摆脱手工操作，实现作业的自动过渡。 批处理系统 批处理系统： 加载计算机上的一个监督软件，在监督程序的控制下，计算机能够自动的、成批的处理一个或多个用户的作业（作业包括程序、数据、命令）。 首先出现的是联机批处理系统，即作业的输入输出由CPU来处理。 联机批处理系统 ： 在主机和输入机之间增加两个存储设备——磁带机，在监督程序的自动控制下