数据存储

一.SharedPreferences 2.SQLite 来源： https://www.cnblogs.com/SeasonBubble/p/11956005.html

小数据存储 我们在编写代码的时候，经常会涉及到数据存储的情况，如果是爬虫得到的大数据，我们会选择使用数据库，或者excel存储。但如果只是一些小数据，或者说关联性较强且存在存储后复用的数据，我们该如何存储呢？ 使用open保存文本 最简单、粗暴+无脑的存储方式就是保存成一个文本文档了。 使用open函数，将结果一行行的保存成文本,这里涉及的知识点只有简单的几条： 文件读写模式，r 、w、a、b、+ ,掌握这几种即可。 使用单独的open打开文件时，需要注意结尾时的调用close()函数关闭文档 推荐使用上下文管理器的with open操作 csv文件 之所以将csv与excel分开说，首先需要扫盲下，csv属于特定格式的文本文件(使用逗号分隔)，而excel是二进制文件。 csv可以直接使用文本编辑器打开，excel不行… 其实csv文件，完全可以使用open函数进行保存，只要你将每行数据都使用,分隔开即可。 另外，python自带csv库，可以很方便的操作与保存该数据 xml文件 xml文件的方式，已经逐渐被淘汰了，为什么这么说？因为它繁琐的树形结构，导致了在传输过程中，占用了更多的内存。所以，除非必要，真的不推荐以xml的形式存储你的数据… configparser python模块中configparser是一个专门用来保存配置文件的模块库

数据储存：磁盘（共享） --|–SAN、NAS、DAS（专门将数据存储于磁盘阵列） |–分布式存储架构（HDFS）–集群（应用）H：HADOOP D：分布 FS：文件 系统：Linux 算法：1、map-reduces的数据处理集群：他是将海量数据按照一定的方式，修改为键值关系 HDFS + map-reduces = Hadoop集群（运行于Linux上的一个高性能集群） 2、通过数学（统计学）+ Python = 算法 3、数据可视化 来源： https://www.cnblogs.com/jitianxuan/p/11944564.html

Hive的系统架构 Hive主要由以下三个模块组成 用户接口模块 驱动模块 元数据存储模块 系统架构 架构解析 用户接口模块 用户接口模块的组成 主要包括：CLI、HWI、JDBC、ODBC、Thrift Server等。 CLI：是Hive自带的一个命令行界面，HWI是Hive的一个简单网页界面; JDBC、ODBC以及Thrift Server可以向用户提供进行编程访问的接口。 功能 该模块主要用来实现外部应用对Hive的访问。 驱动模块（Driver） 驱动模块的组成 主要包括：编译器、优化器、执行器等。 功能 该模块负责把HiveSQL语句转换成一系列MapReduce作业，所有命令和查询都会进入到驱动模块，并且会被解析编译，对计算过程进行优化，之后会按照指定步骤执行。 元数据存储模块（Metastore） 元数据存储模块的组成 元数据存储模块时一个独立的关系型数据库，通常是MySql数据库实例，也可以是Hive自带的Derby数据库实例。 功能 该模块主要主要存储表模式及其他系统元数据。如表的名称、表的列及其属性、表的分区及属性、表的属性、表中数据所在位置信息等。 参考： 厦门大学林子雨编著-大数据技术原理与应用-电子书-第14章-基于Hadoop的数据仓库Hive（2016年4月6日版本）.pdf 来源： https://www.cnblogs.com

第一章 网络空间安全概述 ==1.1. 工作和生活中的网络安全== 1.1.1 生活中常见的网络安全问题 1.账号密码被盗 2.信用卡被盗刷 3.除此之外还有网络诈骗和钓鱼网站等形形色色的网络空间安全事件 1.1.2 工作中常见的网络安全问题 1.网络设备面临的威胁 路由器是常用的网络设备，是企业内部网络与外界通信的出口。一旦黑客攻陷路由器，那么就掌握了控制内部网络访问外部网络的权力，将产生严重的后果。 2.操作系统面临的威胁 目前，我们常用操作系统是Windows和Linux，这两种系统也面临着网络空间安全威胁。一方面，操作系统本身有漏洞，黑客有可能利用这些漏洞入侵操作系统；另一方面，黑客有可能采取非法手段获取操作系统权限，非法操作系统或将其破坏。 3.应用程序面临的威胁 计算机上运行着大量的应用程序，应用程序的安全与企业和用户的正常工作息息相关。 ==1.2 网络空间安全的基本认识== 我们常说的网络空间，是为了刻画人类生存的信息环境或信息空间而创造的词。 国内尚未有公认的、准确的定义，以下为==ISO/IEC 27032:2012、ITU（国际电联）以及荷兰安全与司法部的文件==中关于网络空间安全的定义。 定义1 ：ISO/IEC 27032:2012——《Information technology-Security techniques-Guidelines for

2019-2020-1学期 20192415 《网络空间安全专业导论》第八周学习总结 第一章 网络空间安全概述 第六章 数据安全 主要内容： 数据安全范畴 数据的保密性 数据存储技术 数据备份和恢复技术 6.1 概述 数据的全生命周期管理过程：创建→存储→访问→传输→使用→销毁 数据泄露主要原因：黑客通过网络攻击，木马、病毒窃取，设备丢失或被盗，使用管理不当等。 6.2 数据安全范畴 数据安全：保障数据的 合法持有和使用者 能够在 任何需要该数据时 获得 保密的、没有被非法更改过 的 纯原始数据 。 （一）要素 保密性（Confidentiality）:具有一定保密程度的数据只能让有权读到或更改的人进行读取和更改。 完整性（Integrity）:在存储或传输的过程中，原始的数据不能被随意更改。 可用性（Availability）:对于该数据的合法拥有和使用者，在他们需要这些数据的任何时候，都应该确保他们能够及时得到所需要的数据。 例：多处备份 （二）组成 1.数据本身的安全：主要是指采用现代密码算法对数据进行主动保护。 如：数据保密、数据完整性、双向身份认证 2.数据防护的安全：主要是指采用现代信息存储手段对数据进行主动防护。 如：磁盘阵列、数据备份、异地容灾 数据本身的安全是基于可靠的加密算法与安全体系，如：对称加密、非对称加密方式 3.数据处理的安全：指如何有效地防止数据在录入

第一章 网络空间安全概述 一.工作和生活中的网路安全 1.生活中常见的网络空间安全问题 账号密码被盗 信用卡被盗刷 2.工作中常见的网路安全问题 网路设备面临的威胁 操作系统面临的威胁 应用程序面临的威胁 二.网络空间安全的基本认识 网络空间：为了刻画人类生存的信息环境或信息空间而创造的词。 三.网络空间安全的技术架构 物理安全：物理安全的概念，物理环境安全和物理设备安全等内容。 网络安全:网络与协议安全、网络安全与管理、识别和应对网络安全风险等 系统安全：系统安全、虚拟化安全和移动终端安全等。 应用安全：恶意代码、数据库安全、中间件安全和web安全等 数据安全：数据安全的范畴、数据的保密性、数据存储技术以及数据备份和恢复技术等。 四.我国网络空间安全面临的机遇与挑战 1.我国网络空间安全发展的重大机遇 信息传播的新渠道 生产生活的新空间 经济发展的新引擎 文化繁荣的新载体 社会治理的新平台 交流合作的新纽带 国家主权的新疆域 2.我国网络空间安全面临的严峻挑战 网络渗透危害政治安全 网络攻击威胁经济安全 网络有害信息侵蚀文化安全 网络恐怖和违法犯罪破坏社会安全 网络空间的国际竞争方兴未艾 网络空间机遇与挑战并存。 第二章 物理安全 一.物理安全概述 1.物理安全的定义 保护信息系统的软硬件设备、设施以及其他介质免遭地震、水灾、火灾、雷击等自然灾害、人为破坏或操作失误

win10 bcdedit nointegritychecks > bcdedit.exe /set nointegritychecks on > bcdedit.exe /set loadoptions DDISABLE_INTEGRITY_CHECKS > bcdedit.exe /set testsigning on >bcdedit.exe /? BCDEDIT - 启动配置数据存储编辑器 Bcdedit.exe 命令行工具用于修改启动配置数据存储。 启动配置数据存储包含启动配置参数并 控制操作系统的启动方式。这些参数以前 位于 Boot.ini 文件中(在基于 BIOS 的操作系统中)或位于非易失性 RAM 项中 (在基于可扩展固件接口的操作系统中)。可以 使用 Bcdedit.exe 在启动配置数据存储中 添加、删除、编辑和附加项。 有关命令和选项的详细信息，请键入 bcdedit.exe /? <command>。例 如，若要显示有关 /createstore 命令的详细信息，请键入: bcdedit.exe /? /createstore 有关本帮助文件中按字母顺序排列的主题列表，请运行 "bcdedit /? TOPICS"。 对存储执行的命令 ================================ /store 用于指定当前系统默认值以外的 BCD

Linux 支持多种文件系统，包括 ext2、 ext3、 vfat、 ntfs、 iso9660、 jffs、 romfs和nfs 等，为了对各类文件系统进行统一管理，Linux 引入了虚拟文件系统VFS(Virtual File System) ，为各类文件系统提供一个统一的操作界面和应用编程接口。本文将和大家详细介绍 Linux文件系统 相关知识，一起来看看吧。 Linux 下的文件系统结构如下： Linux 启动时，第一个必须挂载的是根文件系统；若系统不能从指定设备上挂载根文件系统，则系统会出错而退出启动。之后可以自动或手动挂载其他的文件系统。因此，一个系统中可以同时存在不同的文件系统。 　　不同的文件系统类型有不同的特点，因而根据 存储  设备的硬件特性、系统需求等有不同的应用场合。在嵌入式 Linux应用中，主要的 存储  设备为 RAM(DRAM, SDRAM)和ROM( 常采用FLASH 存储器) ，常用的基于存储设备的文件系统类型包括：jffs2, yaffs, cramfs, romfs, ramdisk, ramfs/tmpfs等。 1. 基于 FLASH的文件系统 Flash  ( 闪存 )作为嵌入式系统的主要存储媒介，有其自身的特性。 Flash  的写入操作只能把对应位置的 1修改为 0 ，而不能把 0 修改为 1( 擦除 Flash 

1. 线性表概念（线性数据存储结构） 　　相同类型的有限序列 　　数据存储的本质是内存上的一个空间。 2. 线性表的分类 　　1. 顺序存储结构 　　　　当数据存储时，不用记录数据的位置。直接找来内存中一整块空间，来依照顺序存储连续的一组数据，保证数据物理上的线性。 　　　　数组，ArrayList（底层是动态数组） 　　2. 链式存储结构 　　　　当数据存储时，不用分配整块的空间，各个数据分配在不同的内存地址，只是存数据的同时，指向下一次存储的数据的位置（前驱和后继），保证数据逻辑上的线性。 　　　　linkedList 3. 顺序表和链表的区别 　　参考： https://blog.csdn.net/qq_15037231/article/details/51816757 　　1.顺序表 　　　　访问指定元素时无需从头遍历，通过计算便可获得对应地址，其时间复杂度为O(1)。 　　扩充策略： 每次扩充增加固定数目的存储位置，如每次扩充增加10个元素位置，这种策略可称为线性增长。 特点：节省空间，但是扩充操作频繁，操作次数多。 每次扩充容量加倍，如每次扩充增加一倍存储空间。 特点：减少了扩充操作的执行次数，但可能会浪费空间资源。以空间换时间，推荐的方式。2. 　　面试题： 　　　　ArrayList和LinkedList的区别（也是顺序表和链表的区别）： 　　　　（1