nosql

本文2015年在完成，转到这里备忘 前言 部门知识库中有概要设计的模板，但很多人拿到模板后也无从下手，主要原因还是对设计的过程了解不深。本文针对MIS系统的设计步骤进行描述。 设计步骤 1、确定系统的内外边界 明确本系统做些什么，不做什么，有哪些是人工完成，哪些是其他系统完成的。一般通过“功能框图”进行描述 2、对系统的功能模块进行划分 一般分到2~3级，同样以“功能框图”进行表示 3、对网络、硬件环境进行规划 形成网络示意图，或部署结构图 4、技术选型 除了操作系统、数据库、应用服务器、总线等，还要对日志、缓存、开发框架、模板技术、JS框架、CSS框架、RPC框架等对开发有影响的技术进行选型，同时也需要确定版本号。 5、表结构设计 数据管理是MIS系统的设计重点，需要在概要阶段对存储，尤其是表结构进行设计。主要是设计出表的关联关系，同时为了SQL方便及性能，可以在一些稳定数据采用空间换时间的手段，也可以采用一些NoSql对文档类型进行存储。 注意这里不使用OOP，原因是MIS系统本身更适合于面向数据的分析。 6、细分模块 此工作是为开发的顺序、进度安排进行准备，建设把模块细分到10个工作日的量 7、技术难点、风险点分析 设计工作暂告一段落后，设计人员要自行解决掉技术难点，提前规避风险，以防项目的开发进度不可控 8、其他对开发有重要影响的内容 如：线程的同步方式、通讯协议、调试模式

问题： I have come across many NoSQL databases and SQL databases. 我遇到过许多NoSQL数据库和SQL数据库。 There are varying parameters to measure the strength and weaknesses of these databases and scalability is one of them. 有各种参数可以衡量这些数据库的优缺点，而可伸缩性就是其中之一。 What is the difference between horizontally and vertically scaling these databases? 水平和垂直缩放这些数据库有什么区别？ 解决方案： 参考一： https://stackoom.com/question/n7kl/数据库水平和垂直缩放之间的差异 参考二： https://oldbug.net/q/n7kl/Difference-between-scaling-horizontally-and-vertically-for-databases 来源： oschina 链接： https://my.oschina.net/u/4428122/blog/4358760

云栖号资讯：【 点击查看更多行业资讯 】 在这里您可以找到不同行业的第一手的上云资讯，还在等什么，快来！ 随着 5G 时代的来临，万物互联的伟大构想正在成为现实。联网的 物联网设备 在 2018 年已经达到了 70 亿 1 ，在未来两年，仅智能水电气表就将超过10亿 2 。 海量的设备接入和设备管理对网络带宽、通信协议以及平台服务架构都带来了很大挑战。对于 物联网协议 来说，必须针对性地解决物联网设备通信的几个关键问题：其网络环境复杂而不可靠、其内存和闪存容量小、其处理器能力有限。 MQTT 协议 是基于发布/订阅模式的物联网通信协议，凭借简单易实现、支持 QoS、报文小等特点，占据了物联网协议的半壁江山： MQTT 协议的诞生 MQTT was created by Andy Stanford-Clark of IBM, and Arlen Nipper (then of Arcom Systems, later CTO of Eurotech).^3 据 Arlen Nipper 在一 IBM Podcast 上的自述，MQTT 原名是 MQ TT， 注意 MQ 与 TT之间的空格，其全称为: MQ Telemetry Transport，是九十年代早期，他在参与 Conoco Phillips 公司的一个原油管道数据采集监控系统(pipeline SCADA system)时

CAP理论的理解 CAP理论作为分布式系统的基础理论,它描述的是一个分布式系统在以下三个特性中： 一致性（ C onsistency） 可用性（ A vailability） 分区容错性（ P artition tolerance） 最多满足其中的两个特性。也就是下图所描述的。分布式系统要么满足CA,要么CP，要么AP。无法同时满足CAP。 　　　　　　　　 I. 什么是 一致性、可用性和分区容错性 分区容错性 ：指的分布式系统中的某个节点或者网络分区出现了故障的时候，整个系统仍然能对外提供满足一致性和可用性的服务。也就是说部分故障不影响整体使用。 事实上我们在设计分布式系统是都会考虑到bug,硬件，网络等各种原因造成的故障，所以即使部分节点或者网络出现故障，我们要求整个系统还是要继续使用的 (不继续使用,相当于只有一个分区,那么也就没有后续的一致性和可用性了) 可用性： 一直可以正常的做读写操作。简单而言就是客户端一直可以正常访问并得到系统的正常响应。用户角度来看就是不会出现系统操作失败或者访问超时等问题。 一致性 ：在分布式系统完成某写操作后任何读操作，都应该获取到该写操作写入的那个最新的值。相当于要求分布式系统中的各节点时时刻刻保持数据的一致性。 II. 该怎么理解 如果我们 事先保证了分区容错性 ，也意味着若某个节点故障了，用户还是可以继续访问

​ 现如今每个公司都有自己的大数据平台和大数据团队，可以看出大数据建设在公司的重要地位，不管是用于做数据分析、BI还是做用于机器学习、人工智能等领域，大数据都是基础，海量数据成为了互联网公司的重要资产。 今天这一份书单，我们将推荐几本综合介绍大数据平台和技术栈的优质书籍，帮各位对大数据技术感兴趣的小伙伴快速入门和学习大数据。 大数据技术栈系列书单 ​ 大数据技术原理与应用 （1） 概念篇：介绍当前紧密关联的*新IT领域技术云计算、大数据和物联网。 （2） 大数据存储与管理篇：介绍分布式数据存储的概念、原理和技术，包括HDFS、HBase、NoSQL数据库、云数据库。 （3） 大数据处理与分析篇：介绍MapReduce分布式编程框架、基于内存的分布式计算框架Spark、图计算、流计算、数据可视化。 （4） 大数据应用篇：介绍基于大数据技术的推荐系统。 作者简介 林子雨,北大博士，厦门大学计算机科学系老师，中国高校**"数字教师"的提出者和建设者。在数据库、数据仓库、数据挖掘、大数据、云计算和物联网等领域有着十多年的知识积累，对各个领域知识都有比较深入的了解，有比较宽泛的视野。 ​ 大数据平台基础架构指南 当前不乏大数据具体技术组件的书籍，但却很少有从大数据平台整体建设和产品形态的宏观角度入手来阐释的。 本书重点介绍大数据开发平台服务构建的整体思路和解决方案

百度云盘：用Python写网络爬虫PDF高清完整版免费下载 提取码：iix7 内容简介 作为一种便捷地收集网上信息并从中抽取出可用信息的方式，网络爬虫技术变得越来越有用。使用Python这样的简单编程语言，你可以使用少量编程技能就可以爬取复杂的网站。 《用Python写网络爬虫》作为使用Python来爬取网络数据的杰出指南，讲解了从静态页面爬取数据的方法以及使用缓存来管理服务器负载的方法。此外，本书还介绍了如何使用AJAX URL和Firebug扩展来爬取数据，以及有关爬取技术的更多真相，比如使用浏览器渲染、管理cookie、通过提交表单从受验证码保护的复杂网站中抽取数据等。本书使用Scrapy创建了一个高级网络爬虫，并对一些真实的网站进行了爬取。 《用Python写网络爬虫》介绍了如下内容： 通过跟踪链接来爬取网站； 使用lxml从页面中抽取数据； 构建线程爬虫来并行爬取页面； 将下载的内容进行缓存，以降低带宽消耗； 解析依赖于JavaScript的网站； 与表单和会话进行交互； 解决受保护页面的验证码问题； 对AJAX调用进行逆向工程； 使用Scrapy创建高级爬虫。 本书读者对象 本书是为想要构建可靠的数据爬取解决方案的开发人员写作的，本书假定读者具有一定的Python编程经验。当然，具备其他编程语言开发经验的读者也可以阅读本书，并理解书中涉及的概念和原理。 作者简介

要回答这个问题，首先要明确啥程度算“零编码”？ 以 Excel 为例，如果把写 Excel 公式（包括复杂一些的）看做零编码；而把写 Excel VBA 看做编码的话， 报表开发是可以零编码的！ 但是，这有个前提：在数据（集）准备好的情况下才可以零编码！ 为什么这么说？ 我们知道报表开发主要分两个阶段： 第一阶段是为报表准备数据，也就是把原始数据通过 SQL/ 存储过程加工成数据集； 第二阶段是使用已准备的数据编写表达式做报表呈现。在报表工具提供的 IDE 里可视化地画出报表样式，然后再填入一些把数据和单元格绑定的表达式就可以完成报表呈现了，虽然表达式可能比较复杂，但相对硬编码要简单得多（Excel 公式和 VBA 的关系）。所以说这个阶段是能做到“零编码”的。 那报表数据准备怎么办？ 很遗憾，这个阶段没法零编码，一直以来只能硬编码，想想我们报表里写的嵌套 SQL、存储过程、JAVA 程序就知道了。为什么报表工具发展这么多年报表呈现已经完全工具化而报表数据准备的手段还这样原始呢？因为这个阶段太复杂了，不仅涉及计算逻辑的算法实现，还涉及报表性能（要知道大部分报表性能问题都是数据准备阶段引起的）。 那报表数据准备是不是没办法了呢？ 虽然不能做到零编码，但可以朝着简单化的方向努力，将数据准备阶段也工具化，这样可以使用工具提供的便利来简化报表数据准备阶段的工作，从而进一步简化报表的开发。

前言 如今， Springboot的诞生，让我们再也不用被Spring的繁琐配置所束缚。 Spring Boot 是当前后端开发的极佳框架。在如今纷繁的技术中尤为突出。它整合了 Spark、 ElasticsearchRabbitMQ、Redis等，实现了数据挖掘、自动预测趋势、关联分析、聚类 、概念描述、偏差检测等。 Spring Boot的配置、使用、监控、部署都很简单，它拥有完善的生态。后期如果因为项目流量太大需要切换到微服务Spring Cloud (基于Spring Boot )也会极为顺利。可以预想，未来会有越来越多的公司采用Spring Boot，更会有越来越多的开发者关注和使用Spring Boot。 SpringBoot实战派 pdf主要内容和创新： 第1章进入Spring Boot世界 第2章准备开发环境 第3章使用开发工具 基础篇 第4章Spring Boot基础 第5章分层开发Web应用程序 以上就是《SpringBoot实战派》+《Springboot精髓》+《面试专题+答案解析》总计825页，没有缺页漏页的情况，由于篇幅限制，需要以上完整内容的朋友，添加小助理vx：kaixindian331即可免费获取~ 第6章响应式编程 进阶篇 第7章Spring Boot进阶 第8章用ORM操作SQL数据库 第9章接口架构风格一RESTful 第10章集成安全框架

Java基础 面向对象的特征：继承、封装和多态 int 和 Integer 有什么区别； Integer的值缓存范围 说说反射的用途及实现 Http 请求的 GET 和 POST 方式的区别 MVC设计思想 什么是Java序列化和反序列化； 如何实现Java序列化； 重载和重写的区别 进程和线程 线程和进程的概念 并行和并发的概念 创建线程的方式及实现 进程间通信的方式 说说 CountDownLatch、CyclicBarrier 原理和区别 说说 Semaphore 原理 说说 Exchanger 原理 ThreadLocal 原理分析； ThreadLocal为什么会出现OOM，出现的深层次原理 讲讲线程池的实现原理 线程池的几种实现方式 线程的生命周期；状态是如何转移的 锁机制 什么是线程安全？如何保证线程安全？ 重入锁的概念；重入锁为什么可以防止死锁？ 产生死锁的四个条件 如何检查死锁 volatile 实现原理 synchronized 实现原理（对象监视器） synchronized 与 lock 的区别 AQS 同步队列 CAS 无锁的概念；乐观锁和悲观锁 常见的原子操作类 什么是 ABA 问题；出现 ABA 问题 JDK 是如何解决的 乐观锁的业务场景及实现方式 Java 8 并发包下常见的并发类 偏向锁、轻量级锁、重量级锁、自旋锁的概念 数据库 DDL、DML

转自： https://www.cnblogs.com/mingorun/p/11025538.html CAP理论的理解 CAP理论作为分布式系统的基础理论,它描述的是一个分布式系统在以下三个特性中： 一致性（ C onsistency） 可用性（ A vailability） 分区容错性（ P artition tolerance） 最多满足其中的两个特性。也就是下图所描述的。分布式系统要么满足CA,要么CP，要么AP。无法同时满足CAP。 　　　　　　　　 I. 什么是 一致性、可用性和分区容错性 分区容错性 ：指的分布式系统中的某个节点或者网络分区出现了故障的时候，整个系统仍然能对外提供满足一致性和可用性的服务。也就是说部分故障不影响整体使用。 事实上我们在设计分布式系统是都会考虑到bug,硬件，网络等各种原因造成的故障，所以即使部分节点或者网络出现故障，我们要求整个系统还是要继续使用的 (不继续使用,相当于只有一个分区,那么也就没有后续的一致性和可用性了) 可用性： 一直可以正常的做读写操作。简单而言就是客户端一直可以正常访问并得到系统的正常响应。用户角度来看就是不会出现系统操作失败或者访问超时等问题。 一致性 ：在分布式系统完成某写操作后任何读操作，都应该获取到该写操作写入的那个最新的值。相当于要求分布式系统中的各节点时时刻刻保持数据的一致性。 II. 该怎么理解