checkpoint

版权声明：本文由王亮原创文章，转载请注明出处: 文章原文链接： https://www.qcloud.com/community/article/220 来源：腾云阁 https://www.qcloud.com/community Oracle里存储的结构化数据导出到Hadoop体系做离线计算是一种常见数据处置手段。近期有场景需要做Oracle到Hadoop体系的实时导入，这里以此案例做以介绍。 Oracle作为商业化的数据库解决方案，自发性的获取数据库事务日志等比较困难，故选择官方提供的同步工具OGG（Oracle GoldenGate）来解决。 安装与基本配置 环境说明 软件配置 角色 数据存储服务及版本 OGG版本 IP 源服务器 OracleRelease11.2.0.1 Oracle GoldenGate 11.2.1.0 for Oracle on Linux x86-64 10.0.0.25 目标服务器 Hadoop 2.7.2 Oracle GoldenGate for Big Data 12.2.0.1 on Linux x86-64 10.0.0.2 以上源服务器上OGG安装在Oracle用户下，目标服务器上OGG安装在root用户下。 注意 Oracle导出到异构的存储系统，如MySQL，DB2，PG等以及对应的不同平台，如AIX，Windows

由于项目需要，需要将TensorFlow保存的模型从ckpt文件转换为pb文件。 import os from tensorflow.python import pywrap_tensorflow from net2use import inception_resnet_v2_small#这里使用自己定义的模型函数即可 import tensorflow as tf if __name__=='__main__': pb_file = "./model/output.pb" ckpt_file = "./model/model.ckpt-652900" ''' 这里的节点名字可能跟设想的有出入，最直接的方法是直接输出ckpt中保存的节点名字，然后对应着找节点名字，具体的进入convert_variables_to_constants函数的实现中graph_util_impl.py，130行的函数：_assert_nodes_are_present 添加代码 print('在图中的节点是：') for din in name_to_node: print('{},在图中'.format(din)) 然后运行代码，若正确就会直接保存；若失败则会保存失败，找好输出节点的名字，在output_node_names 中添加就好 ''' output_node_names = [

你是否需要一款可以检查你的磁盘的工具呢？试试Checkpoint for Mac吧！Checkpoint Mac版是一款运行在MacOS系统上的磁盘检查软件。Checkpoint的运行界面简洁，功能单一。会定期检查你的堆栈备份是否损坏。支持通过网络复制镜像文件，同时使用另一台机器进行验证。 地址： Checkpoint for Mac 验证而不复制。在开始编辑之前，Checkpoint会确保旅行磁盘健康且完整。定期检查您的堆栈备份是否损坏。通过网络复制镜头，同时使用另一台机器进行验证。 Checkpoint for Mac功能特点 增强备份能力 不确定壁橱中的驱动器堆栈中存储了什么？那只是一个昂贵的镇纸。使用Checkpoint索引所有媒体，创建校验和（如果尚不存在），然后解锁存档。 100％完全健康 曾经收到旅行旅行证明不完整吗？不需要这样做：验证驱动器上应该存在的内容是否确实存在-并且状况良好。在编辑过程中，没有更多的惊喜或剪辑丢失。 重新利用现有备份 Checkpoint可以使用最现代的校验和算法来验证现有文件，而无需复制它们。它是定期检查备份堆栈是否处于正常工作状态的理想工具。 创建校验和 安全性有数字，在这种情况下，还包括校验和。能够显示媒体的数字指纹越来越成为专业视频制作中的要求。 解锁旧档案 您的MAM一无所知的那叠DVD或其他旧驱动器

怎样提高Spark Streaming的性能 1、创建多个接收器 　　　　　　　　待定：： 2、调节每一个batch interval的数据块的数量，其实就是调整上面第二个问题中提到的配置spark.streaming.blockInterva 　　　　　　　　待定：： 3、调整Recevier每秒接收数据的速率 　　　　　　　　待定：： 4、通过repartition这个API来增加并行度 　　　　　　　　待定：： 5、使用Kryo序列化机制 　　　　　　　　待定：： 6、使用CMS垃圾收集器 　　　　　　　　待定：： Spark Streaming的稳定性： BackPressure 　　　　　　　　待定：： Elastic Scaling 　　　　　　　　待定：： Spark Streaming是怎样容错的 1、Executor失败容错：Executor的失败会重新启动一个新的Executor，这个是Spark自身的特性。如果Receiver所在的Executor失败了，那么Spark Streaming会在另外一个Executor上启动这个Receiver(这个Executor上可能存在已经接收到的数据的备份) 2、Driver失败的容错：如果Driver失败的话，那么整个Spark Streaming应用将会全部挂掉。所以Driver端的容错是非常重要的

反压（backpressure）是实时计算应用开发中，特别是流式计算中，十分常见的问题。反压意味着数据管道中某个节点成为瓶颈，处理速率跟不上上游发送数据的速率，而需要对上游进行限速。由于实时计算应用通常使用消息队列来进行生产端和消费端的解耦，消费端数据源是 pull-based 的，所以反压通常是从某个节点传导至数据源并降低数据源（比如 Kafka consumer）的摄入速率。 关于 Flink 的反压机制，网上已经有不少博客介绍，中文博客推荐这两篇1。简单来说，Flink 拓扑中每个节点（Task）间的数据都以阻塞队列的方式传输，下游来不及消费导致队列被占满后，上游的生产也会被阻塞，最终导致数据源的摄入被阻塞。而本文将着重结合官方的博客[4]分享笔者在实践中分析和处理 Flink 反压的经验。 反压的影响 反压并不会直接影响作业的可用性，它表明作业处于亚健康的状态，有潜在的性能瓶颈并可能导致更大的数据处理延迟。通常来说，对于一些对延迟要求不太高或者数据量比较小的应用来说，反压的影响可能并不明显，然而对于规模比较大的 Flink 作业来说反压可能会导致严重的问题。 这是因为 Flink 的 checkpoint 机制，反压还会影响到两项指标: checkpoint 时长和 state 大小。 前者是因为 checkpoint barrier 是不会越过普通数据的

HDFS CheckPoint && SavePoint 标签（空格分隔）： Hadoop HDFS CheckPoint HDFS 将文件系统的元数据信息存放在 fsimage 和一系列的 edits 文件中。 在启动 HDFS 集群时，系统会先加载 fsimage，然后逐个执行所有Edits文件中的每一条操作，来获取完整的文件系统元数据。 文件 HDFS 的存储元数据是由 fsimage 和 edits 文件组成。fsimage 存放上次 checkpoint 生成的文件系统元数据（并不是Active Namenode 内存中最新的元数据状态），edits log 存放文件系统操作日志。checkpoint的过程，就是合并 fsimage 和 edits 文件，然后生成最新的 fsimage 的过程。 fsimage文件: fsimage 里保存的是 HDFS 文件系统的元数据信息。每次 checkpoint 的时候生成一个新的 fsimage 文件，fsimage 文件同步保存在 active namenode 上和 standby namenode 上。是在 standby namenode 上生成并上传到 active namenode 上的。 edits文件: active namenode 会及时把 HDFS 的修改信息（创建，修改，删除等）写入到本地目录，和

I recently migrated to the TFS 2012 and I have worked with SVN for a long time. In SVN I used " Tags " to mark some important " checkpoints " of development, ie when I finished a software version (alpha, beta) I created a Tag for that version. If some mistake happen, I am " protected ". Now, I need the same behaviour (or equivalent) to use in the TFS source control, but I'm confused as to its structure. How I use " Tagging " in TFS ? In Team Foundation Server, labels are similar to tags in other version control system; a label contains files at a specific version. When we release some product,

I am a beginner of Apache Spark. I am currently working on a Machine Learning program, which requires to iteratively update a RDD and then collect nearly 10KB data to driver from executors. Unfortunately, I get a StackOverFlow error when it runs over 600 iterations! The following is my code. The stackoverflow error happened at collectAsMap function when iteration number is over 400! where indexedDevF and indexedData are indexedRDD (developed by AMPLab as an library provided https://github.com/amplab/spark-indexedrdd ) breakable{ while(bLow > bHigh + 2*tolerance){ indexedDevF = indexedDevF