数据存储

提起大数据，不得不提由IBM提出的关于大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），而对于大数据领域的从业人员的日常工作也与这5V密切相关。大数据技术在过去的几十年中取得非常迅速的发展，尤以Hadoop和Spark最为突出，已构建起庞大的技术生态体系圈。 首先通过一张图来了解一下目前大数据领域常用的一些技术，当然大数据发展至今所涉及技术远不止这些。 BigData Stack： 下面分不同层介绍各个技术，当然各个层并不是字面意义上的严格划分，如Hive既提供数据处理功能也提供数据存储功能，但此处将其划为数据分析层中 1. 数据采集和传输层 Flume Flume一个分布式、可靠的、高可用的用于数据采集、聚合和传输的系统。常用于日志采集系统中，支持定制各类数据发送方用于收集数据、通过自定义拦截器对数据进行简单的预处理并传输到各种数据接收方如HDFS、HBase、Kafka中。之前由Cloudera开发，后纳入Apache Logstash ELK工作栈的一员，也常用于数据采集，是开源的服务器端数据处理管道 Sqoop Sqoop主要通过一组命令进行数据导入导出的工具，底层引擎依赖于MapReduce，主要用于Hadoop（如HDFS、Hive、HBase）和RDBMS（如mysql

------ 学以致用、用以促学、学用相长 换到平台产品部后，我进了基础组件组，跟我的几个要好的同事一个组。基础组件组主要是维护一些公共的模块和组件，比如 rabbitmq ， mysql ， redis ， memcache ， tomcat ， ejabberd ， libevent 等等。这些我之前都没有接触过，一个个都是他们认识我，我不认识他们。所以刚开始的时候就一通乱学，老觉得时间不够用，经常加班，跟在终端产品部时的工作状态形成鲜明的对比。但是我喜欢这样的状态，这让我觉得充实，有劲。 我还没转过来之前，基础组件组就在预研一个新一代的网络管理系统。因为平台产品部正在做一个全新的 5.0 平台，所以需要一个全新的网络管理系统，来管理平台的所有服务器和接入平台的所有终端。我转过来没多久，这个网管系统就正式立项了，由基础组件组负责开发。新网管系统设计成 B/S 架构，分为数据收集模块，数据处理模块，数据存储模块和前端展示模块四大模块。因为这是基础组件组第一次从头开始做一个完整的项目，其他同事对界面处理这已块都不懂，然后就安排我做前端展示这一块。虽然我懂界面处理，可是我从来没有做过网页呀，没办法，只能从头开始学。所以那段时间我每天都泡在 w3cschool 这个网站上面，学习 html ， javascript ， css ， ajax 等等。 因为 rabbitmq ，

海量数据存储难点 ：数据量过大，数据中什么情况都可能存在；软硬件要求高，系统资源占用率高；要求很高的处理方法和技巧。 海量数据存储处理经验 : 一、选用优秀的数据库工具 现在的数据库工具厂家比较多，对海量数据的处理对所使用的数据库工具要求比较高，一般使用Oracle或者DB2，微软公司最近发布的SQL Server 2005性能也不错。另外在BI领域：数据库，数据仓库，多维数据库，数据挖掘等相关工具也要进行选择，象好的ETL工具和好的OLAP工具都十分必要，例如Informatic，Eassbase等。笔者在实际数据分析项目中，对每天6000万条的日志数据进行处理，使用SQL Server 2000需要花费6小时，而使用SQL Server 2005则只需要花费3小时。 二、对海量数据进行分区操作 对海量数据进行分区操作十分必要，例如针对按年份存取的数据，我们可以按年进行分区，不同的数据库有不同的分区方式，不过处理机制大体相同。例如SQL Server的数据库分区是将不同的数据存于不同的文件组下，而不同的文件组存于不同的磁盘分区下，这样将数据分散开，减小磁盘I/O，减小了系统负荷，而且还可以将日志，索引等放于不同的分区下。 三、编写优良的程序代码 处理数据离不开优秀的程序代码，尤其在进行复杂数据处理时，必须使用程序。好的程序代码对数据的处理至关重要，这不仅仅是数据处理准确度的问题

结构化数据的存储 随着互联网应用的广泛普及，海量数据的存储和访问成为了系统设计的瓶颈问题。对于一个大型的互联网应用，每天几十亿的PV无疑对数据库造成了相当高的负载。对于系统的稳定性和扩展性造成了极大的问题。 水平 切分数据库 ，可以降低单台机器的负载，同时最大限度的降低了了宕机造成的损失。通过 负载均衡策略 ，有效的降低了单台机器的访问负载，降低了宕机的可能性；通过 集群方案 ，解决了数据库宕机带来的单点数据库不能访问的问题；通过 读写分离 策略更是最大限度了提高了应用中读取（Read）数据的速度和并发量。 1/什么是数据切分 通过一系列的切分规则将数据水平分布到不同的DB或table中，在通过相应的DB路由 或者 table路由规则找到需要查询的具体的DB或者table，以进行Query操作。这里所说的“sharding”通常是指“水平切分”， 这也是本文讨论的重点。具体将有什么样的切分方式呢和路由方式呢？行文至此，读者难免有所疑问，接下来举个简单的例子：我们针对一个Blog应用中的日志来说明，比如日志文章（article）表有如下字段： article_id(int), title(varchar(128)), content(varchar(1024)), user_id(int) 我们可以这样做，将user_id为 1

高清、长周期呈现海量存储需求 高清已经在安防行业全面铺开应用。除了带给用户能够看得更清的良好视觉感受外，对存储容量的需求亦成几何式增长。例如：前端IPC有130W到500W像素，码流也从有2Mbps到8Mbps，而一个130W像素，8Mbps码流的前端，录像一个月就需要2531.3GB，数据量不可小觑。 存储周期方面，现在也有了政府的有力推动。对当前整个安防市场来讲，特别是大公安、大交通、楼宇、司法监所、金融、文教卫、能源项目等行业迅猛发展，甲方客户的需求及大集成商的存储解决方案越来越倾向集中化。需要保存的数据也成线性增长。应对如此巨大的数据量,数据存储及客户数据快速有效查询就变得至关重要。海康一直紧跟行业发展方向，致力于推出更符合用户需求与行业需求的监控/数据中心解决方案。 现有的安防存储模式 1. DVR/NVR前端本地存储 此种模式，一般应用于实施较早项目，使用的是DVR/NVR前端本地存储,随着大数据时代的来临,采用了比较直接的方法,在DVR/NVR直接连接扩展柜来实现容量的扩容。原来系统及原数据保持不变。此种模式由于采用DVR/NVR存储容量相对较小，况且DVR/NVR性能较低，信息孤岛现象严重，无法满足大数据需求。 2. 集中存储模式 客户数据采用磁盘阵列模式。可以采用在存储节点后直接增加扩展柜的模式,随着集群的推出也可以通过增加存储节点来实现容量增加。相对于DVR

1，数据校验，解决接口层的参数校验，是api安全的前线。可以用JSR303注解进行接口层面的校验 ，参考文章： https://www.ibm.com/developerworks/cn/java/j-lo-jsr303/index.html 2，密码加密（这个不说了，有很多加密算法），解决数据存储层面的安全 3，Https访问，解决从client到服务端的传输安全 来源： https://www.cnblogs.com/lihaoyang/p/12003345.html

全栈工程师开发手册 （作者：栾鹏） python教程全解 在json字符串和python对象的相互转化中，会进行下列变换。 会将python中字典的写法，转化为js中对象的写法。（没有区别）。 会将python中列表的写法，转化为js中array的写法。（没有区别） 会将python中unicode的写法，转化为js中string的写法。（与编码有关） 会将python中的int，long的写法，转化为js中number的写法。（没有区别） 会将python中的True的写法，转化为js中true的写法。（写法有区别） 会将python中的False的写法，转化为js中false的写法。（写法有区别） 会将python中的None的写法，转化为js中null的写法。（写法有区别） 反过来也是对应转换。 js中类型 Python中类型 object dict array list string unicode number ( int ) int , long number (real) float true True false False null None python字典所有的键必须为字符串，值可以是任何对象。包括字典、列表、字符串、数值、布尔值以及null。 json库集成在了标准库中。使用import json即可引入。所以不用安装外部包。

需求： 有一个通讯列表，可以自行添加联系数据，但是重新开启后，添加的数据都会清空，我希望打开后，上一次的数据能保留。 这我们就必须用到数据持久化，这一次，我将用NSKeyedArchiver 归档 方式来做数据持久化，达到再次打开应用后，数据依然存在。 通讯录.png NSKeyedArchiver、NSKeyedUnarchiver ，主要用在ios数据存储上，数据从内存存储到闪存上，这个过程称为归档。Apple官方文档中，这些数据类型包括： NSData、NSString、NSNumber、NSDate、NSArray、NSDictionary。很显然，复杂数据例如UIImage，无法直接归档。但我们有一种变通的做法，先将UIImage对象转换为NSData，再对NSData进行归档。 一、创建一个数据模型（自定义类） import UIKitclass JKContactModel: NSObject,NSCoding{ var name:NSString! var phone:NSString! func encodeWithCoder(aCoder: NSCoder){ aCoder.encodeObject(self.name, forKey: "name") aCoder.encodeObject(self.phone, forKey: "phone") }

惠普服务器DL360G6安装ESXi主机后遗忘密码重置密码 先用rufus制作U盘启动盘，启动盘一定要用惠普专用hpe的esxi版本，否则安装会报错， 下载 https://www.iplaysoft.com/rufus.html 下载ios文件 https://pan.baidu.com/s/1-54fga1ApXeoSV6dVuak3A 然后u盘插入，启动服务器： ESXi版本：5.5.0 跟6.0一样 VMware-VMvisor-Installer-5.5.0.update02-3620759.x86_64-Dell_Customized-A00.iso 使用和服务器系统一样的镜像文件 刻录到光盘 将光盘放置服务器光驱内或接入外置光驱 重启服务器调整BIOS进入光盘 进入安装界面后选择“ ESXi-6.0.0”选项 安装界面，按回车 按F11同意并继续 选择本地磁盘进行安装下一步，如果有多块盘，选择之前安装操作系统的那块，如果不记得哪一块，一般默认为最上面那一块，如果选择硬盘后下面的操作和本操作不一样，请尽快回退，停止安装 由于是覆盖安装因此会提示“ESXi and VMFS Found”并给出三个装模式选项，第一个升级ESXi并保留数据文件，第二个安装ESXi并保留数据文件，第三个安装ESXi并覆盖数据文件。根据需要选择第二个安装模式。

分布式现在是很流行的名词，尤其分布式数据处理领域，随着海量数据的产生，大家都在研究更高效、可扩展性好、高可用性的数据存储系统，虽然大家想尽各种办法，基本上还没有什么产品能超越分布式数据库的CAP原理。 所谓CAP理论，即： Cosistency 数据的一致性 Availability 高可用性 Tolerance to newowrk Partitions 分区容忍性 一个数据存储系统不可能同时满足上述三个特性，只能同时满足其两个特性，也就是： CA,CP,AP。可以这么说，当前所有的数据存储解决方案，都可以归类的上述三种类型。 CA 满足数据的一致性和高可用性，但没有可扩展性，如传统的关系型数据，基本上满足是这个解决方案，如ORACLE , MYSQL 的单节点，满足数据的一致性和高可用性。 CP 满足数据的一致性和分区性，如Oracle RAC ，Sybase 集群。虽然Oracle RAC具备一点的扩展性，但当节点达到一定数目时，性能（也即可用性）就会下降很快，并且节点之间的网络开销很在在，需要实时同步各节点之间的数据。 AP 在性能和可扩展性方面表现不错，但在数据一致性方面会用牺牲，各节点的之间数据同步没有哪么快，但能保存数据的最终一致性。当前热炒的NOSQL大多类是典型的AP类型数据库。 综合上述，架构师不要企图设计一套同是满足CAP三方面的数据库。只能在根据业务场景