checkpoint

1. InnoDB存储引擎体系架构 innoDB的存储引擎主要体系结构如上图所示 首先是工作线程：默认7个后台线程，分别是4个io thread(insert buffer、log、read、write),1个master thread(优先级最高),1个锁(lock)监控线程，1个错误监控线程。可以通过show engine innodb status来查看。新版本已对默认的read thread和write thread分别增大到4个，可通过show variables like 'innodb_io_thread%'查看。 每个线程操作的同一个块大内存池：该内存池中会被分为多个区域，分别是缓冲池(buffer pool)、重做日志缓冲池(redo log buffer)以及额外的内存池(additional memory pool)。内存池所负责也就是维护线程需要访问的数据结构、缓存磁盘文件的数据，方便快速读取，同时在对磁盘文件的数据修改之前在这里缓存，以及重做日志缓存等。具体配置可由 show variables like 'innodb_buffer_pool_size' 、 show variables like 'innodb_log_buffer_size' 、 show variables like 'innodb_additional_mem_pool_size

Flink学习-DataStream-KafkaConnector 摘要 本文主要介绍Flink1.9中的DataStream之KafkaConnector，大部分内容翻译、整理自官网。以后有实际demo会更新。 可参考 kafka-connector 如果关注Table API & SQL中的KafkaConnector，请参考 Flink学习3-API介绍-SQL 1 Maven依赖 FlinkKafkaConnector版本很多，如果使用的Kafka版本0.11以前的版本就必须仔细核对使用的包的版本，而在0.11开始可以使用统一KafkaConnectorApi，会使用该Flink版本发布时的最新Kafka版本，用法如下： < dependency > < groupId > org.apache.flink </ groupId > < artifactId > flink-connector-kafka_2.11 </ artifactId > < version > 1.11-SNAPSHOT </ version > </ dependency > 2 KafkaConsumer 2.1 KafkaConsumer构建 创建一个KafkaConsumer例子： // 1. get streaming runtime val env :

控制文件中的SCN 数据文件头的SCN 数据块中的SCN 日志文件头中的SCN 事务SCN 内存中的SCN 一 控制文件中的SCN 1.1 数据库SCN 数据库SCN表示最近一次全量checkpoint操作时的SCN SQL> select checkpoint_change# from v$database; CHECKPOINT_CHANGE# ------------------ 1744125 dump控制文件语法 alter session set events 'immediate trace name controlf level n'; 1 文件头信息 2 level 1+数据库信息+检查点信息 3 level 2+可重用节信息 10 level 3 dump控制文件获取到的数据库SCN为0x00000000001a9cfd，转换为十进制为1744125 *** 2017-02-15T10:59:12.367312+08:00 DUMP OF CONTROL FILES, Seq # 1522 = 0x5f2 V10 STYLE FILE HEADER: Compatibility Vsn = 203423744=0xc200000 Db ID=1463703229=0x573e56bd, Db Name='ORCL' Activation ID=0=0x0

一、Checkpoints检查点机制 Flink中基于异步轻量级的分布式快照技术提供了Checkpoints容错机制。快照产生过程非常轻量，高频率创建对Flink任务性能影响相对较小。 Checkpoint配置信息： （1）Checkpoint开启和时间间隔指定 开启检查点并指定检查点时间间隔为1000ms，如果状态比较大，建议适当增加该值 env.enableCheckpointing(1000); （2）设置状态存储后端，支持内存、文件系统和 RocksDB。这里选择文件系统 env.setStateBackend(new FsStateBackend(path)); （3）exactly-once和at-least-once语义选择 可以选择exactly-once语义保证整个应用内端到端的数据一致性，这种情况适合于数据要求比较高，不允许出现丢数据或者数据重复，同时，Flink的性能相对较弱，而at-least-once语义更合适于时延和吞吐量要求非常高但对数据的一致性要求不高的场景。默认情况下使用的是exactly-once模式。 env.getCheckpointConfig().setCheckpointingMode(CheckpointingMode.EXACTLY_ONCE); （4）Checkpoint超时时间

主要参考 基于VGG的ssd 基于mobilenet的ssd 预训练模型基于slim 1 构建自己的模型 第一步，了解slim建立新模型的框架。定义一个Model类，主要有五部分组成： preprocess：在输入图像上运行检测器之前，对输入值进行任何预处理（例如缩放/移位/重新整形）。 predict：产生可以传递给损失或后面处理函数的“原始”预测张量。这里会涉及到模型结构。 postprocess：将预测输出张量转换为最终检测结果。 loss：针对提供的groundtruth实体计算损失张量。 restore：将检查点加载到Tensorflow图中。 2 了解源代码 2.1 训练逻辑 在/home/users/py3_project/models/research/object_detection目录下讲解配置文件dataset/ssd_mobilenet_v1_pascal.config：设置调用的模型名称及模型框架中的超参数、训练超参数、数据来源文件等 代码一train.py：模型训练开始部分 首先，主要讲解train.py的训练过程的逻辑。 该步是训练模型train.py调用的模块。train.py调用了多个模块，如下： 该步是train.py的主要功能之一–读取配置文件。其中train.py用到的部分主要有三块，model（模型特征）和train_config（优化器

背景 从事区块链相关研发几年了，共识这一块接触过pbft\kafka\raft，当然还有最经典的比特币的工作量证明，这个在上一篇比特币原理一文有讲述。对pbft一开始从fabric0.6开始，论文也看了几遍，后来共识换成了kafka\raft。pbft就没有继续研究下去，最近接触一个区块链底层平台，采用pbft。因此这里又把论文读了一遍，总结一下心得体会，对一些比较难理解的地方进行梳理。 PBFT算法 为什么是3f+1? 关于分布式系统里能够容拜占庭错误的节点数n>3f+1，这个结论早在1982年图灵奖得主lamport《The Byzantine Generals Problem》已经证明过：当将军总数大于3f时，叛徒数小于等于f时，忠诚将军能够达成一致，其算法复杂度为指数O(n^(f+1))。 图灵奖得主Barbara Liskov和其学生Miguel Castro在1999年发表的论文《Practical Byzantine Fault Tolerance》中首次提出pbft算法，该算法容错数量也满足3f+1<=n,算法复杂度为O(n^2)让容拜占庭错误的共识算法可用于工程实践。 下面是自己的一些理解及简单证明，至于详细的证明论述可以参考Lamport论文。例如A、B、C三位将军，忠诚将军应该执行进攻命令；A是叛徒，向B发送撤退指令，向C发送进攻指令。这时对于B将军来讲

InnoDB 有两块非常重要的日志，一个是undo log，另外一个是redo log，前者用来保证事务的原子性以及InnoDB的MVCC，后者用来保证事务的持久性。和大多数关系型数据库一样，InnoDB记录了对数据文件的物理更改，并保证总是日志先行，也就是所谓的WAL（Write Ahead Log），即在持久化数据文件前，保证之前的redo日志已经写到磁盘 一、概念 1、Innodb Crash Recovery 这是InnoDB引擎的一个特点，当故障发生，重新启服务后，会自动完成恢复操作，将数据库恢复到之前一个正常状态（不需要重做所有的日志，只需要执行上次刷入点之后的日志，这个点就叫做Checkpoint）恢复过程有两步 第一步：检查redo日志，将之前完成并提交的事务全部重做； 第二步：将undo日志中，未完成提交的事务，全部取消 2、LSN LSN(log sequence number) 用于记录日志序号，它是一个不断递增的 unsigned long long 类型整数。 在 InnoDB 的日志系统中，LSN 无处不在，它既用于表示修改脏页时的日志序号，也用于记录checkpoint，通过LSN，可以具体的定位到其在redo log文件中的位置。 LSN 用字节偏移量来表示。每个page有LSN，redo log也有LSN，Checkpoint也有LSN

Introduction R80.30, part of the Check Point Infinity architecture, delivers the most innovative and effective security that keeps our customers protected against large scale, fifth generation cyber threats. R80.30，Check point无限架构的一部分，提供最创新和有效的安全，保护我们的客户免受大规模，第五代网络威胁。 The release contains innovations and significant improvements such as: 该版本包含创新和重大改进，如: • Practical Prevention against Advanced Threats: The Industry's 1st Threat Extraction for Web. Protect users from malicious web downloads using real-time Threat Extraction technology with a seamless user experience. • 针对高级威胁的实用预防:业界第一次Web威胁提取