persist

一、Checkpoint相关源码分为四个部分 1、Checkpoint的基本使用:spark_core & spark_streaming 2、初始化的源码 3、Checkpoint的job生成及执行的过程 4、读Checkpoint的过程 二、Checkpoint的基本使用 Checkpoint可以是还原药水。辅助Spark应用从故障中恢复。SparkStreaming宕机恢复，适合调度器有自动重试功能的。 对于 SparkCore 则适合那些计算链条超级长或者计算耗时的 关键点进行 Checkpoint ， 便于故障恢复 。 Checkpoint和persist从根本上是不一样的： 　　1、Cache or persist: 　　　　Cache or persist保存了RDD的血统关系，假如有部分cache的数据丢失可以根据血缘关系重新生成。 　　2、Checkpoint 　　　　会将RDD数据写到hdfs这种安全的文件系统里面，并且抛弃了RDD血缘关系的记录。即使persist存储到了磁盘里面，在driver停掉之后会被删除，而checkpoint可以被下次启动使用。 Checkpoint基本使用 　　对于spark_streaming的checkpoint: 　　　　 spark streaming有一个单独的线程CheckpointWriteHandler

一、方案1 首先下面的内容，有待我的进一步测试和证实。18.12.20 被证实了，还需要安装Oracle客户端，或者本机上安装oracle数据库软件。 18.12.20 1.下载Oracle.ManagedDataAccess.dll 2.添加到C#引用 3.命名空间引用 using Oracle.ManagedDataAccess.Client; 4. 连接参数的获取 然后 打开Oracle安装的文件夹 ，以Oracle10为例D:\Oracle10\NETWORK\ADMIN\tnsnames.ora,打开这个文件，会看到 如果没有请按照图片内容输入即可，host=[主机名称],SERVICE_NAME=[随意取] 5.完成上述后，连接字符串： strConnection = “Data Source=(DESCRIPTION=(ADDRESS=(PROTOCOL=TCP)(HOST=LocalHost)(PORT=1521))(CONNECT_DATA=(SERVICE_NAME=orcl)));Persist Security Info=True;User ID=XXXX;Password=XXXX;”； 简单说明一下这个连接字符串，HOST=LostHost|127.0.0.1|主机名三者均可，选择一个就行； SERVICE_NAME=

全局命令 查看所有的键（遍历所有key，慢查询之一） keys * 键总数（redis内部维护的计数器，并不会扫描全库） dbsize 检查键是否存在 exists key 删除键 del key1 key2... 过期设置 expire key seconds 获取数据类型 type key 数据结构与内部编码 string： int embstr raw hash： hashtable ziplist list： quicklist set： hashtable intset zset： skiplist ziplist 单线程与I/O多路复用模型 客户端到服务端模型 发送命令 执行命令 进入命令队列 返回结果 为什么快 纯内存访问（主要） 非阻塞io：依赖linux内核中的多路复用IO接口 epoll ，自编写一套处理模型（不依赖于其他事件模型）将epoll中的连接、读写、关闭都转换为事件 单线程避免了线程切换以及线程竞争的开销，单线程也简化了数据结构与算法的实现，坏处是对于慢查询非常敏感，一个慢查询将阻塞之后所有的命令 数据结构的概览 字符串 命令 命令 时间复杂度 set key value O(1) get key O(1) del key [key ...] O(k) mset key value [key value ...] O(k) mget key [key

一。基本概念 Redis和MongoDB是当前使用最广泛的NoSQL，而就Redis技术而言，它的性能十分优越，可以支持每秒十几万此的读/写操作，其性能远超数据库，并且还支持集群、分布式、主从同步等配置，原则上可以无限扩展，让更多的数据存储在内存中，更让人欣慰的是它还支持一定的事务能力，这保证了高并发的场景下数据的安全和一致性。它支持存储的value类型相对更多，包括string(字符串)、list(链表)、set(集合)、zset(sorted set --有序集合)和hash（哈希类型） 二。redis安装 $ wget http://download.redis.io/releases/redis-5.0.4.tar.gz $ tar xzf redis-5.0.4.tar.gz $ cd redis-5.0.4 $ make $ make install 在服务器端启动redis-server 在内置的客户端启动redis-cli 客户端进行测试： 客户端关闭服务器 三。redis常用数据类型和命令 redis中所有的数据都是通过键值对的方式存储的，即key：value。key是字符串类型的，value可以是字符串，hash，list，set，sortedset 1.字符串类型（key：string） 1.添加key：value set key value 2

抖音视频Api、抖音直播Api、抖音评论采集、抖音弹幕采集、抖音爬虫、抖音去水印、抖音视频下载、抖音视频解析 抖音直播数据、抖音数据采集、抖音直播监控 TiToData：专业的短视频数据采集、处理平台。 更多信息请联系： TiToData 海量数据采集 每天为客户采集5亿条数据 覆盖主流平台：TikTok，Zynn，YouTube，抖音，快手，1688，小红书，拼多多，淘宝，美团，饿了么，淘宝，微博 抖音榜单：今日最热视频榜 请求Api http://主机地址/douyin/board/videos?token=xxx 请求方式 GET 参数 字段 类型 说明 token string 接口授权码 返回示例 { "code":200, "data":{ "active_time":"09月14日 23:10", "aweme_list":[ { "aweme_info":{ "anchors":null, "author":{ "accept_private_policy":false, "account_region":"", "ad_cover_url":null, "apple_account":0, "authority_status":0, "avatar_168x168":{ "height":720, "uri":"3194c000a784b185c7dbf",

Java面试题全集（13） 白玉 IT哈哈 121、解释一下网络应用的模式及其特点。 答：典型的网络应用模式大致有三类：B/S、C/S、P2P。其中B代表浏览器（Browser）、C代表客户端（Client）、S代表服务器（Server），P2P是对等模式，不区分客户端和服务器。B/S应用模式中可以视为特殊的C/S应用模式，只是将C/S应用模式中的特殊的客户端换成了浏览器，因为几乎所有的系统上都有浏览器，那么只要打开浏览器就可以使用应用，没有安装、配置、升级客户端所带来的各种开销。P2P应用模式中，成千上万台彼此连接的计算机都处于对等的地位，整个网络一般来说不依赖专用的集中服务器。网络中的每一台计算机既能充当网络服务的请求者，又对其它计算机的请求作出响应，提供资源和服务。通常这些资源和服务包括：信息的共享和交换、计算资源（如CPU的共享）、存储共享（如缓存和磁盘空间的使用）等，这种应用模式最大的阻力安全性、版本等问题，目前有很多应用都混合使用了多种应用模型，最常见的网络视频应用，它几乎把三种模式都用上了。 补充：此题要跟"电子商务模式"区分开，因为有很多人被问到这个问题的时候马上想到的是B2B（如阿里巴巴）、B2C（如当当、亚马逊、京东）、C2C（如淘宝、拍拍）、C2B（如威客）、O2O（如美团、饿了么）。对于这类问题，可以去百度上面科普一下。 122、什么是Web Service

作者： iamlaosong 通过VBA连接Oracle数据库查询数据，一般有两种OleDB连接驱动方法，一种是用微软的驱动，另一种用Oracle驱动，Provider需要根据实际情况修改。这儿对我使用的环境做个记录。 1、Microsoft公司提供的OleDB驱动MSDAORA，据说只支持32位系统，我在32位系统下使用没有问题，其连接字符串如下： connectionString="Provider=MSDAORA;Data Source=dataSource;User Id=userid;Password=password;" 或 connectionString="Provider=MSDAORA.1;Data Source=dataSource;User Id=userid;Password=password;" 其中MSDAORA.1是驱动的名称，“.1”据说是版本号，是COM的命名规则的一个约定格式，可以不写；dataSource是Oracle客户端配置的服务名，就是tnsnames.ora中配置的名称。 驱动程序msdaora.dll放在C:\Program Files\Common Files\System\Ole DB文件夹下面。 实际例子： Set cnn = CreateObject("ADODB.Connection") Set rst =

redis键（key） 常用命令 命令 注释 keys * 获取所有的key select 0（库角标） 选择第几个库 move key 0（库角标） 将当前的数据库key移动到某个数据库,目标库有，则不能移动 flush 0（库角标） 清除指定库 randomkey 获取随机key type key key的类型 set key value 设置key和value get key 获取key的value mset key1 value1 key2 value2 批量设置key、value mget key1 key2 key3 批量获取value del key 删除key exists key 判断是否存在key expire key second（秒） 给key设置过期时间 pexpire key millisecond （毫秒） 给key设置过期时间 persist key 删除过期时间，持久保存key String类型 简介 String是redis最基本的类型，你可以理解成与Memcached一模一样的类型，一个key对应一个value。 String类型是二进制安全的。意思是redis的string可以包含任何数据。比如jpg图片或者序列化的对象 。 String类型是Redis最基本的数据类型，一个redis中字符串value最多可以是 512M 存储结构类似：

本论文主要是通过三天来讲解三层的结构，今天是第一天，先讲解一下delphi下的Models层，我主要封装了两个查询得到数据集的函数，主要是通过在表示层上创建的数数据集控件传递进来，通过业务逻辑对语句的处理进行操作数据集，最后提交数据集的数据到数据库中去，进而想成delphi中的假三层，这样做能够独立于业务逻辑层和数据访问层，其他的都可以调用这两层，其中业务逻辑层，明天再讲，逻辑层写的不怎么好，个人觉得还是数据访问层封装方法封装通用性程度高一点。例如：TADOQuery，TADOTable数据集控件，通过一层一层的传递。 下面直接上代码： unit UnitModels; interface uses SysUtils, Classes, DB, ADODB; type TModel = class(TDataModule) conConnection: TADOConnection; procedure DataModuleCreate(Sender: TObject); private { Private declarations } public { Public declarations } FConnection : TADOConnection; // 返回影响的行数 function SqlExec(const ASql: string;var AQry:

一、环境介绍 　　操作系统centos7.4 　　openvpn版本：openvpn-2.1 　　lzo版本：lzo-2.03 　　 二、搭建 　　关闭firewalld防火墙，并设置开机不启动。关闭selinux systemctl stop firewalld systemctl disable firewalld setenforce 0 　　 安装openvpn和必要的依赖包 yum install bridge-utils gcc gcc-c++ make openssl openssl-devel ntpdate* sh* pam pam-devel -y 　　 编译安装lzo（数据加密和压缩功能） #./configure #make #make install 　　 编译安装openvpn（这里用的是openvpn-2.1_rc7.tar.gz） #./configure #make #make install 　　 需要将原来安装包中的easy-rsa 文件拷贝到openvpn安装目录下/etc/openvpn/ cp -R /root/openvpn-2.1_rc7/easy-rsa /etc/openvpn/ 　　 然后给安装目录下的2.0这个目录里面所有文件读写执行权限。 #cd /etc/openvpn/2.0/ #chmod +rwx *