cassandra

最近想支持一下nosql，难搞，每个nosql server，都很难一天掌握安装和基础用法，所以先决定选用clickhouse ,apache drill (操作文件),Cassandra，这三个下手 hadoop系列也挺好的，但确实没时间搞了，想在9月份之前把beetlsql3搞出来，感觉臣妾做不到哇。 发一个网友修改的springboot-plus项目截图，挺好看，希望他能坚持完善plus项目,希望9月能继续把plus完善一下，比如支持多库。 至于微服务支持，我还是觉得大部分后台管理系统，不需要微服务 来源： oschina 链接： https://my.oschina.net/xiandafu/blog/4298195

Log-Structured Merge-Tree，简称 LSM。 以 Mysql、postgresql 为代表的传统 RDBMS 都是基于 b-tree 的 page-orented 存储引擎。现代计算机的最大处理瓶颈在磁盘的读写上，数据存储无法绕开磁盘的读写，纯内存型数据库除外，但由于内存存储的不稳定性，我们一般只将内存型的存储作为缓存系统。 为提升数据库系统的写性能，我们发现磁盘的 顺序写性能远远大于随机写性能 ，甚至性能高于内存的随机写。所以在很多偏向写性能的数据库系统中，以牺牲一部分读性能和增大写放大的情况下引入了 LSM 数据结构。 设计一个数据库引擎 我们从头开始设计一个数据库引擎。数据模型很简单，我们选最简单的 Key-Value 结构，一条数据只有一个 Key 和一个 Value。操作只有 get 和 put，如下： get(key); put(key, value); 从最简单的开始，每个数据库一个 data.db 文件，我们像写日志一样，将每条记录 append 到文件结尾。 key1,value1 key2,value2 key3,value3 key10,value10 key8,value8 这样我们已经完成了 80%了，然后需要完成读功能。如上数据文件，若需要查询 key2 数据，我们只能从文件开头开始遍历，当直到读取到 key2 数据： for

华为云数据库业务总裁苏光牛 7月20日，华为云TechWave技术峰会上，华为云数据库业务总裁苏光牛正式发布两大数据库新品，包括关系型数据库GaussDB(for MySQL)和非关系型数据库GaussDB NoSQL系列。 仅半个月后，GaussDB又迎来了新一轮更新。在华为云TechWave·数据库专题日上，华为云数据库业务总裁苏光牛详细介绍了GaussDB这个华为的战略性数据库产品的来历，并发表了他对于数据库发展的一些看法。 GaussDB数据库升级下的大调整 苏光牛谈到，在宣布战略性调整之前，外界还有人在质疑，华为在做数据库的态度上并不坚定，GaussDB算不上是华为的战略性产品。本次发布后，这种质疑很快被打消。 其实这从华为对数据库的战略性投入可以看出，比如数据库专业人才的投入和高端专家布局，数据库是人才专家密集型高门槛基础研究，华为有1000+数据库研发专业人才，还有100+布局全球7大区域的数据库内核引擎、算法等高级专家和大咖，这只是数据库的研发人员，并不包含内部为华为云/流程IT/消费者云等数据库底座服务的DBA、SRE运维人员、工具平台开发人员，还有华为云数据库的销售、交付与服务人员；比如数据库研发历史和标杆客户的选择，华为从2007年开始已经持续战略投入数据库超过10年，早在2014年开始就持续和工商银行、招行等头部标杆客户长期联创

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 面对可能出现的网络延迟，不可预估的请求流量等情况，设计一个分布式系统，我们通常围绕系统高可用，数据一致性的目标去规划和实现，想要完全实现这个目标，却并非易事。由此，分布式系统领域诞生了一个基本定理，即 CAP 定理，用于指导分布式系统的设计，从系统高可用，数据一致性，网络容错三个角度将分布式系统的特性抽成一个分区容错一致性模型。这样一来，让系统设计者只需根据业务场景特点，进行权衡设计适合业务场景的分区容错一致性模型即可，很大程度简化了分布式系统设计的难度。 也因此，CAP 定理是架构师所必须要掌握的内容，它影响着架构师对分布式系统的技术选型，技术决策。既然如此重要，接下来，我们就一起学习下 CAP 定理吧。 什么是 CAP CAP 定理最初是由加州大学伯克利分校的计算机科学家埃里克·布鲁尔（Eric Brewer）在 2000 年的 ACM PODC 上提出的一个猜想，也因此被叫做布鲁尔定理。后来在 2002 年，麻省理工学院的赛斯·吉尔伯特（Seth Gilbert）和南希·林奇（Nancy Lynch）发表了 CAP 定理的证明，让它成为分布式系统领域公认的一个定理。 CAP 定理指出了，在一个跨区域网络连接，共享数据的分布式系统中，一致性（Consistency），可用性

Kubernetes 容灾解决方案关键能力 我们面临着不断地需要实施和部署新的软件应用、发展新的商业模式、以及吸引新的客户。通过Kubernetes，我们可以采用云原生方式来进行软件的开发、部署和运维。 基于Kubernetes开发和运行的应用，对于我们实现我们的商业目标，非常重要。但新技术的导入，也会要求我们考虑更多：新的开发方法、新的团队、新的工程师、新的技术、新的合作伙伴、新的供应商、新的挑战。 对CIO们来说，将关键应用转移到Kubernetes上的最大挑战之一，就是容灾恢复能力。 在投入大量资金开发了Kubernetes上的应用后，我们最担心的就是：一旦出现我们无法控制的意外事件，我们的应用变得无法访问。如：云供应商服务意外停止、数据中心电力中断、云服务中断、网络连接中断等。导致用户无法访问应用后，用户满意度大幅下降。 根据著名研究机构Uptime Institute的报告，通常发生服务中断，一般我们会归因到第三方服务上，如托管服务供应商或云服务供应商。31%的服务中断是由由我们无法控制的因素导致的，如：网络错误（30%），IT/软件错误（28%）。对于Kubernetes上的应用，我们需要一个可靠的容灾恢复方案。 根据451 Research的报告，对于关键性应用来说，57%的应用要求RPO<1小时，48%要求RTO<1小时。即使是非关键应用，也有容灾恢复的需求

Cassandra集群管理-替换异常节点 替换异常集群节点，使用JVM启动标志 Dcassandra.replace_address_first_boot = <dead_node_ip>启动。一旦启用此属性，节点将在休眠状态中启动，在此期间所有其他节点将看到此节点关闭。替换节点将立即开始从集群中的其余节点引导数据。 新节点的正常引导的主要区别在于此新节点在此阶段不会接受任何写入。一旦引导完成，节点将被标记为“UP”，我们依赖于隐性启动保障新节点数据独立存在。（因为自引导开始以来新节点不接受写）。 如果替换过程所需的时间超过max_hint_window_in_ms，那么您必须运行repair以使所放置的节点再次保持一致，因为它在引导期间错过了正在进行的写入。 注意: 本文档只是体系文档中的一部分，前面文档信息详见： 测试准备+下线正常节点： https://blog.51cto.com/michaelkang/2419518 节点异常重启： https://blog.51cto.com/michaelkang/2419524 添加新节点： https://blog.51cto.com/michaelkang/2419521 删除异常节点： https://blog.51cto.com/michaelkang/2419525 查看集群状态 [root@kubm-01 ~]#

阿里云峰会直播地址 2020年6月9日，“全速重构”2020阿里云·线上峰会即将隆重召开。 在此次峰会上，阿里云数据库重磅发布云原生分布式数据库 PolarDB-X 、云原生数据仓库AnalyticDB、数据库自治服务DAS、云数据库专属集群、图数据库GDB、云数据库Cassandra版、云数据库ClickHouse7款跨时代产品，用技术倾情打造新数字时代的基石！ 今天小编为大家倾情呈现PolarDB-X 产品亮点抢先看！ 自研云原生分布式数据库PolarDB-X强势来袭！ PolarDB-X是由阿里巴巴自主研发的云原生分布式数据库，融合分布式SQL引擎DRDS与分布式自研存储X-DB，基于云原生一体化架构设计，可支撑千万级并发规模及百PB级海量存储。专注解决海量数据存储、超高并发吞吐、大表瓶颈以及复杂计算效率等数据库瓶颈问题，历经各届天猫双11及阿里云各行业客户业务的考验，助力企业加速完成业务数字化转型 。 PolarDB-X客户业务痛点全解析 在线业务超高并发，扛不住！ PolarDB-X将业务数据及访问压力分摊至多个计算、存储节点之上，平稳解决在线业务超高并发难题 复杂分析查询，性能慢！ 针对在线业务PolarDB-X提供 Parallel Query 以及 MPP 并行加速能力，可大幅提升海量数据下复杂分析查询的执行效率 海量业务数据，存不下！ 通过水平拆分PolarDB

笔记作者：来自于阿里P8级架构师： Mark 笔记特点：条理清晰，含图像化表示更加易懂。 内容概要：包括 Java 集合、JVM、多线程、并发编程、设计模式、Spring全家桶、Java、MyBatis、ZooKeeper、Dubbo、Elasticsearch、Memcached、MongoDB、Redis、MySQL、RabbitMQ、Kafka、Linux、Netty、Tomcat等大厂面试题等、等技术栈！ 由于整个文档比较全面，内容比较多，篇幅不允许，下面以截图方式展示 。 JAVA集合 接口继承关系和实现 List ArrayList（数组） Vector（数组实现、线程同步） LinkList（链表） Set HashSet（Hash表） TreeSet（二叉树） JVM JVM就是java虚拟机,它是一个虚构出来的计算机,可在实际的计算机上模拟各种计算机的功能。JVM有自己完善的硬件结构,例如处理器、堆栈和寄存器等,还具有相应的指令系统。 线程 JVM内存区域 JVM运行时内存 垃圾回收与算法 JAVA 四种引用类型 GC分代收集算法 VS 分区收集算法 GC垃圾收集器 JAVA IO/NIO JVM 类加载机制 JAVA多线程并发 JAVA并发知识库 JAVA线程实现/创建方式 4种线程池 线程生命周期(状态) 终止线程4种方式 sleep与wait 区别

集中式与分布式 集中式 分布式 分布式事务 一致性协议 2PC：Two-Phase Commit二阶段提交协议 3PC:Three-phase Commit 三阶段提交协议 Paxos算法 RAFT算法 总结 集中式与分布式 集中式 就是将所有的业务都部署在一个中心主机（节点）上，所有的功能都由这个主机集中处理。 特点 部署结构简单、不需要考虑多个主机之间的分布式协作问题。 分布式 分布式系统：指将 硬件 或者 软件组件部署在不同的网络计算机上 ，彼此之间仅 仅通过消息传递 进行通信和协调的系统。 特点 分布性 ：多台计算机可空间上随意分布，跨机房、跨城市都可以。 对等性 ：分布式系统中没有主/从之分，都是对等的节点或者服务。 副本 ：指分布式系统对 数据或服务冗余 ，以此提供高可用。 数据副本 ：是指在不同的节点上持久化一份数据，当某一个节点上存储的数据丢失时，可以从副本上读取到该数据，这是分布式系统数据丢失问题最为有效的手段。 服务副本 ：指多个节点提供同样的服务，每个节点都有能力接收来自外部的请求并进行相应的处理。 **并发性：**分布式系统中的多个节点，可能会并发地操作一些共享资源，诸如数据库或分布式存储等。 **缺乏全局时钟：**一个典型的分布式系统是由一系列在空间上随意分布的进程组成，进程彼此之间通过消息进行通信。因此，无法判断两个事件谁先谁后。 可使用逻辑时钟。 *