数据存储

MySQL存储引擎 MySQL的存储引擎 存储引擎sql语句： 查看当前的默认存储引擎: mysql> show variables like "default_storage_engine"; 查询当前数据库支持的存储引擎 mysql> show engines \G; 常用引擎适用场景： InnoDB 用于事务处理应用程序，支持外键和行级锁。如果应用对事物的完整性有比较高的要求，在并发条件下要求数据的一致性，数据操作除了插入和查询之外，还包括很多更新和删除操作，那么InnoDB存储引擎是比较合适的。InnoDB除了有效的降低由删除和更新导致的锁定，还可以确保事务的完整提交和回滚，对于类似计费系统或者财务系统等对数据准确要求性比较高的系统都是合适的选择。 MyISAM 如果应用是以读操作和插入操作为主，只有很少的更新和删除操作，并且对事务的完整性、并发性要求不高，那么可以选择这个存储引擎。 Memory 将所有的数据保存在内存中，在需要快速定位记录和其他类似数据的环境下，可以提供极快的访问。Memory的缺陷是对表的大小有限制，虽然数据库因为异常终止的话数据可以正常恢复，但是一旦数据库关闭，存储在内存中的数据都会丢失。 不同的存储模式： 数据存在硬盘上，存三个文件，存表结构、数据、搜索目录； 数据存在硬盘上、存两个文件，表结构存一个文件，数据和搜索目录存一个文件； 数据存在内存中

前言 传统的数据系统就是所谓的『大数据』技术，这是一个被创造出来的名词，代表着新的技术门槛。近几年得益于产业的发展、业务的创新、数据的爆发式增长以及开源技术的广泛应用，经历多年的磨炼以及在广大开发者的共建下，大数据的核心组件和技术架构日趋成熟。特别是随着云的发展，让『大数据』技术的使用门槛进一步降低，越来越多的业务创新会由数据来驱动完成。 『大数据』技术会逐步向轻量化和智能化方向发展，最终也会成为一个研发工程师的必备技能之一，而这个过程必须是由云计算技术来驱动以及在云平台之上才能完成。应用系统和数据系统也会逐渐融合，数据系统不再隐藏在应用系统之后，而是也会贯穿在整个业务交互逻辑。传统的应用系统，重点在于交互。而现代的应用系统，在与你交互的同时，会慢慢地熟悉你。数据系统的发展驱动了业务系统的发展，从业务化到规模化，再到智能化。 业务化：完成最基本的业务交互逻辑。 规模化：分布式和大数据技术的应用，满足业务规模增长的需求以及数据的积累。 智能化：人工智能技术的应用，挖掘数据的价值，驱动业务的创新。 向规模化和智能化的发展，仍然存在一定的技术门槛。成熟的开源技术的应用能让一个大数据系统的搭建变得简单，同时大数据架构也变得很普遍，例如广为人知的Lambda架构，一定程度上降低了技术的入门门槛。但是对数据系统的后续维护，例如对大数据组件的规模化应用、运维管控和成本优化，需要掌握大数据

YTA 币是流通币 ，既是在各大交易所交易的加密数字货币，也是 YOttaChain 体系内各种不同的资源通证之间互相兑换的中介。所有资源通证都可以在 YOttaChain 系统内与 YTA 自由兑换除了与 YTA 兑换外不允许在不同账户间转账。 YottaChain 采用双层货币模式来保证币值稳定，同时也提供市场化机制便于通过市场发现价格。其中一层是市场化的流通币，另一层是资产背书的资源通证。 YottaChain 为每一种资源（例如硬盘存储资源、带宽资源、X86 CPU 资源）都发行一种类型的通证（ Token ) , YottaChain 有内部交易所提供系统内各类资源通证与 YTA 币的交易服务。各资源通证与流通币的交易价格是完全由市场的浮动来决定的。 YottaChain 的矿工贡献资源挖矿获得相应的资源通证，然后再兑换成 YTA 币。需要使用 YottaChain 系统内资源的用户购买 YTA 币 ，然后再兑换成相应的资源通证，购买相应的资源。为了最大程度地吸引资本，面对不同群体采用不 同激励方式，面对用户和矿工采用资源通证奖励模式，面对投资者和专业矿工设计了上层通证YTA。YottaChain为了最大程度地吸引用户，并给用户一个稳定的价格预期，避免其他区块链项目存在的币价波动导致用户都无法做预算的问题，在资源通证这一层采用系统定价方式。用户购买1GB存储空间的价格是1

小数据存储 我们在编写代码的时候，经常会涉及到数据存储的情况，如果是爬虫得到的大数据，我们会选择使用数据库，或者excel存储。但如果只是一些小数据，或者说关联性较强且存在存储后复用的数据，我们该如何存储呢？ 使用open保存文本 最简单、粗暴+无脑的存储方式就是保存成一个文本文档了。 使用open函数，将结果一行行的保存成文本,这里涉及的知识点只有简单的几条： 文件读写模式，r 、w、a、b、+ ,掌握这几种即可。 使用单独的open打开文件时，需要注意结尾时的调用close()函数关闭文档 推荐使用上下文管理器的with open操作 csv文件 之所以将csv与excel分开说，首先需要扫盲下，csv属于特定格式的文本文件(使用逗号分隔)，而excel是二进制文件。 csv可以直接使用文本编辑器打开，excel不行… 其实csv文件，完全可以使用open函数进行保存，只要你将每行数据都使用,分隔开即可。 另外，python自带csv库，可以很方便的操作与保存该数据 xml文件 xml文件的方式，已经逐渐被淘汰了，为什么这么说？因为它繁琐的树形结构，导致了在传输过程中，占用了更多的内存。所以，除非必要，真的不推荐以xml的形式存储你的数据… configparser python模块中configparser是一个专门用来保存配置文件的模块库

本地存储器可以是位于ESXi主机内部的内部硬盘，也可以是位于主机之外并直接通过SAS或者SATA等协议连接在主机上的外部存储系统。本地存储不需要存储网络即可与主机进行通信，只需要一根连接到存储单元的电缆。必要时，主机中需要有一个兼容的HBA。 在ESXi下，放置VM的空间都称为datastore，不管是本地磁盘还是独立设备，在安装ESXi服务器时已经默认创建。所有在安装VM之前，必须有datastore，当我们使用一块本地硬盘置放虚拟机时，它的数据量会随着时间的变化而越来越大，在虚拟机增多的情况下，一块硬盘运行起来会十分吃力，将大大降低虚拟机的效率。所以，如果生产环境中只有一台ESXi服务器时，我们就会考虑使用多块硬盘或者raid卡等。 步骤一： 添加本地磁盘 我们将一块新的硬盘插入ESXi服务器，现在的服务器都支持硬盘的热插拔，所有在添加硬盘设备时，可以直接将硬盘插入服务器中。 1、 在ESXi（10.128.114.74）上，依次单击“配置”》“数据存储”，查看数据设备，可以看到里面有一个datastore1，这是在安装ESXi服务器时默认创建的。单击右上角的“添加存储器”按钮，如图： 2、在“选择存储器类型”界面上，选择存储类型，存储适配器为ESXi主机提供到特定存储单元或者网络的连接。ESXi支持不同的适配器类别，包括SCSI、IDE、SATA、USB和SAS存储系统

除了数字货币的应用，区块链技术也可以应用于许多市场。根据区块链的分散性质，将使用大量数据，这些数据需要存储和管理。分散存储将整合区块链技术的最佳功能，以满足存储大量数据的实际需求。顾名思义，分散存储可以将数据分发到多个网络节点，类似于区块链的分布式分类账技术。区块链存储是指由区块链励磁构建的分散存储系统，是区块链和存储系统的有效结合。区块链存储池将全局存储节点池化为一个大规模的全局统一共享存储池。 存储是以数字货币http://www.gendan5.com/digitalcurrency/btc.html形式存在的实体经济。其上行链路的过程可以完全由代码控制。此外，分布式存储可以通过将数据分布在多个位置来提高数据的可靠性、可用性、容灾性和其他特性。此外，存储还具有重复数据消除的特性，即用户越多，成本越低，这适合使用区块链刺激。”据优泰连锁创始人王林东称，正是基于以上几点，存储成为区块链技术的最佳登陆应用场景。 目前主流的单一系统甚至云数据库都是集中存储，存储服务器的结构相对容易受到黑客的攻击。或者存储服务器系统受到外围环境的影响，例如电源故障，并且它们仍然有明显的故障点。相比之下，区块链分散存储可以有效避免这些问题，因为它利用分布在不同地方的区域或全局节点。 与企业存储和云存储相比，区块链存储的优势主要体现在四个方面: 1.更高的可靠性 区块链存储在全球数千万个节点上存储数据

第一章 网络空间安全概述 ==1.1. 工作和生活中的网络安全== 1.1.1 生活中常见的网络安全问题 1.账号密码被盗 2.信用卡被盗刷 3.除此之外还有网络诈骗和钓鱼网站等形形色色的网络空间安全事件 1.1.2 工作中常见的网络安全问题 1.网络设备面临的威胁 路由器是常用的网络设备，是企业内部网络与外界通信的出口。一旦黑客攻陷路由器，那么就掌握了控制内部网络访问外部网络的权力，将产生严重的后果。 2.操作系统面临的威胁 目前，我们常用操作系统是Windows和Linux，这两种系统也面临着网络空间安全威胁。一方面，操作系统本身有漏洞，黑客有可能利用这些漏洞入侵操作系统；另一方面，黑客有可能采取非法手段获取操作系统权限，非法操作系统或将其破坏。 3.应用程序面临的威胁 计算机上运行着大量的应用程序，应用程序的安全与企业和用户的正常工作息息相关。 ==1.2 网络空间安全的基本认识== 我们常说的网络空间，是为了刻画人类生存的信息环境或信息空间而创造的词。 国内尚未有公认的、准确的定义，以下为==ISO/IEC 27032:2012、ITU（国际电联）以及荷兰安全与司法部的文件==中关于网络空间安全的定义。 定义1 ：ISO/IEC 27032:2012——《Information technology-Security techniques-Guidelines for

磁盘的工作原理 -- 物理 　　磁道 磁头 扇区 柱面 　　磁盘的分类：机械盘（接口IO）、固态盘 　　IO：串行sata scsi（iscsi） 　　并行ata 　　FC二层协议（施乐公司 - 以太网技术、解释了面向对象的编程语言、图形界面） 　　文件系统 -- 逻辑 　　磁盘必须要有文件系统（数据存储） -- 数据库（数据管理平台） 　　awk 　　windows fat32 ntfs exfat 　　linux 但文件系统 -- ext2 3 4 xfs 　　inode -- 索引空间（文件属性） 　　block -- 数据存储空间 　　数据存储的过程、数据复制的过程、数据删除的过程 　　fdisk -- 磁盘分区 parted 　　mkfs -t 　　mount -o remount,rw 　　-a /etc/fstab 　　unmount 过载点或者挂载文件 动态管理 -- LVM逻辑卷管理 　　linux内核模块 -- dm 　　我们将一个或多个磁盘融合起来，进行重新划分； 　　首先，我们需要定义PV（物理卷） 　　然后，再定义VG（卷组） 　　最后，再从VG中获取空间--LV（逻辑卷） 　　最大优点： 　　可以自由删除或者添加空间，不需要再重新分区； 　　pvcreate vgcreate 命名 lv -l | -L 指定大小 -n 指定名字 　　lvextend -

全球互联网上线的设备数量在2020年可将超过200亿台，这些设备在运行的过程中会产生海量的数据，大数据下的个人及公司机构等对数据进行管理、存储、和检索提出了更高的要求。伴随着互联网技术的快速发展，区块链技术成了近几年网络科技的一批崛起的黑马。 区块链除了数字货币的应用外，其技术还可以应用于很多市场。基于区块链的去中心化特点，将使用大量数据，而这些数据需要进行存储和管理。去中心化存储将集合区块链技术的最佳功能，满足存储大量数据的实际需求。顾名思义，去中心化存储可以把数据分布到多个网络节点，类似于区块链的分布式账本技术。 区块链存储是指用区块链激励构建的去中心化存储系统，是区块链和存储系统的有效结合。区块链存储将全球的存储节点池化，构建成一个规模巨大的全球统一、全球共享的存储池。 “存储是数字形式存在的实体经济，其上链的过程可以完全通过代码来控制，而且，分布式存储能够通过将数据分散在多个地方，来增强数据的可靠性、可用性、异地容灾性等特性。此外，存储还有去重的特性，也就是用户越多，成本越低，适合用过区块链来激励。”在YottaChain创始人王东临看来，正是基于以上几点，就让存储成为区块链技术的最佳落地应用场景。 区块链存储的优势相较于企业级存储和云存储，主要体现在四个方面： 1、可靠性更高 区块链存储将数据存储到全球上千万个节点上，不是用的多副本模式，而是更先进的冗余编码模式

原文引用 https://www.dazhuanlan.com/2019/08/25/5d625d56713b7/ keyword： 位存储（bit） Boole 运算 门电路 数字电路的设计过程，是极端几工程领域的一个重要课题 触发器（flip-fiop）是计算机存储器的基本部件，是现代计算机中存储二进制位的一种方法 1.2 主存储器（main memory） 由称为存储单元（cell）的可管理单位组成 存储单元 独立的、可编址的存储单元 一个典型存储单元的容量为（8 bit）= 1byte 通过唯一标识符来表示每一个存储单元的地址 尽管触发器是存储二进制的一种方法 现代的计算机都是用其他类似的更复杂的技术制造的 为了压缩体积、提高响应速度 存为快速可消散的电荷，需要附加电路（称为刷新电路） 因其的不稳定性，所以成为DRAM（dynamic RAM） 存储器容量的度量 主存储器中的存储单元的总数通常为2的幂，因为设计起来比较方便 所以存在 kilo 表示的其实是1024，其他领域表示的是1000 海量存储技术 磁盘 光盘（compact disk），蓝光光碟的容量是DVD的5倍多 闪存驱动器 电子信号直接发送到存储介质中的，是介质中的二氧化硅的微小的晶格截获电子，能够在没有外力的情况下保存很多年 所以长期保存不入光学盘片可靠 较大的闪存驱动器称为固态硬盘（solid-state