checkpoint

链接 概述 在3.7.0以后，WAL(Write-Ahead Log)模式可以使用，是另一种实现事务原子性的方法。 WAL的优点 在大多数情况下更快 并行性更高。因为读操作和写操作可以并行。 文件IO更加有序化，串行化（more sequential） 使用fsync()的次数更少，在fsync()调用时好时坏的机器上较为未定。 缺点 一般情况下需要VFS支持共享内存模式。(shared-memory primitives) 操作数据库文件的进程必须在同一台主机上，不能用在网络操作系统。 持有多个数据库文件的数据库连接对于单个数据库时原子的，对于全部数据库是不原子的。 进入WAL模式以后不能修改page的size。 不能打开只读的WAL数据库(Read-Only Databases)，这进程必须有"-shm"文件的写权限。 对于只进行读操作，很少进行写操作的数据库，要慢那么1到2个百分点。 会有多余的"-wal"和"-shm"文件 需要开发者注意 checkpointing 原理 回滚日志的方法是把为改变的数据库文件内容写入日志里，然后把改变后的内容直接写到数据库文件中去。在系统crash或掉电的情况下，日志里的内容被重新写入数据库文件中。日志文件被删除，标志commit着一次commit的结束。 WAL模式于此此相反。原始为改变的数据库内容在数据库文件中

1.什么是WAL？ WAL的全称是Write Ahead Logging，它是很多数据库中用于实现原子事务的一种机制，SQLite在3.7.0版本引入了该特性。 2.WAL如何工作？ 在引入WAL机制之前，SQLite使用rollback journal机制实现原子事务。 rollback journal机制的原理是：在修改数据库文件中的数据之前，先将修改所在分页中的数据备份在另外一个地方，然后才将修改写入到数据库文件中；如果事务失败，则将备份数据拷贝回来，撤销修改；如果事务成功，则删除备份数据，提交修改。 WAL机制的原理是：修改并不直接写入到数据库文件中，而是写入到另外一个称为WAL的文件中；如果事务失败，WAL中的记录会被忽略，撤销修改；如果事务成功，它将在随后的某个时间被写回到数据库文件中，提交修改。 同步WAL文件和数据库文件的行为被称为checkpoint（检查点），它由SQLite自动执行，默认是在WAL文件积累到1000页修改的时候；当然，在适当的时候，也可以手动执行checkpoint，SQLite提供了相关的接口。执行checkpoint之后，WAL文件会被清空。 在读的时候，SQLite将在WAL文件中搜索，找到最后一个写入点，记住它，并忽略在此之后的写入点（这保证了读写和读读可以并行执行）；随后，它确定所要读的数据所在页是否在WAL文件中，如果在

目录 Delta Lake源码分析 Delta Lake元数据 snapshot生成 日志提交 冲突检测（并发控制） delete update merge Delta Lake源码分析 Delta Lake元数据 delta lake 包含Protocol、Metadata、FileAction(AddFile、RemoveFile)、CommitInfo和SetTransaction这几种元数据action。 Protocol：这是delta lake自身的版本管理，一般只出现在第一次的commit日志里（之后版本升级应该也会有）； Metadata：存储delta表的schema信息，第一次commit和每次修改schema时出现，以最后一次出现的为准； FileAction：文件的相关操作，delta lake的文件操作只有添加文件和删除文件； CommitInfo：保存关于本次更改的原始信息，如修改时间，操作类型，读取的数据版本等； SetTransaction：设置application的提交版本，一般用于流式计算的一致性控制（exactlyOnce）。 //初始的commit log会包含protocol和metaData的信息 {"commitInfo":{"timestamp":1576480709055,"operation":"WRITE",

环境依赖： pytorch 0.4以上 tensorboardX: pip install tensorboardX、pip install tensorflow 在项目代码中加入tensorboardX的记录代码，生成文件并返回到浏览器中显示可视化结果。 官方示例： 默认设置是在根目录下生成一个runs文件夹，里面存储summary的信息。 在runs的同级目录下命令行中输入： tensorboard --logdir runs (不是输tensorboardX) 会出来一个网站,复制到浏览器即可可视化loss,acc,lr等数据的变化过程. 举例说明pytorch中设置summary的方式: 1 import argparse 2 import os 3 import numpy as np 4 from tqdm import tqdm 5 6 from mypath import Path 7 from dataloaders import make_data_loader 8 from modeling.sync_batchnorm.replicate import patch_replication_callback 9 from modeling.deeplab import * 10 from modeling.psp_net import * 11 from