信息存储

两周知识回顾 01.硬件知识回顾部分 1）硬件分类概念介绍 （了解） · 硬件用途分类 ：家用主机设备 企业服务器（物理主机 云主机） · 硬件尺寸分类 ： 服务器尺寸u≈4.445cm 1u 2u 4u 机架服务器 刀片服务器 塔式服务器 · 硬件性能分类 ：pc（x86_64） 小型机服务器（unix） 大型机服务器（unix） 2）硬件组成部分说明 · cpu 运算/控制 · 内存 临时存储 用户（使用浏览器，输入域名进入网站看个图片）10M–> 解析–> 网站IP地址 --> 互联网 -->先放缓存 --> 网站服务器（nginx httpd/tomcat/python）磁盘中（存储数据） · 磁盘 永久存储 · 网卡 网络通讯 · 电源 供电设备 · 主板 将所有硬件信息进行整合 · 风扇 硬件散热 · 阵列卡Raid 将多个磁盘进程整合 · 远程管理卡 远程开关机 安装系统 3）硬件重要组成说明 · cpu信息 ：常用型号志强系列Xeon（登陆阿里云控制台查看了解）核数（并行处理任务的能力）路数（cpu颗数）主频 缓存（L1/L2/L3） · 内存信息 ：进程信息（运行的程序） 缓冲区加快存储数据 缓存区（加快读取数据） PS 命令 - report a snapshot of the current processes. 报告目前进程一个快照信息，不能实时查看

原贴在这里：http://blog.csdn.net/yangcs2009/article/details/39292097。我做了部分修改。 飞天是由阿里云开发的一个大规模分布式计算系统，其中包括 飞天内核 和 飞天开放服务 。 飞天内核负责管理 数据中心 Linux 集群 的 物理 资源，控制分布式程序运行， 隐藏下层 故障恢复 和 数据冗余 等细节，有效提供弹性计算和负载均衡。如图所示，飞天体系 架构 主要包含四大块： 1、资源管理、安全、远程过程调用等构建分布式系统常用的底层服务; 2、分布式文件系统; 3、任务调度; 4、集群部署和监控。 飞天开放服务为用户应用程序提供了 计算 和 存储 两方面的接口和服务，包括： 弹性计算服务(Elastic ComputeService，简称ECS) 开放存储服务(Open Storage Service，简称OSS) 开放结构化数据服务(Open Table Service，简称OTS) 关系型 数据库 服务(Relational Database Service，简称RDS) 开放数据处理服务(Open Data Processing Service，简称ODPS) 并基于弹性计算服务提供了云服务引擎(Aliyun Cloud Engine，简称ACE) 作为第三方应用开发和Web 应用运行和托管的平台 。反正左右的这些服务

原文地址：http://www.2cto.com/kf/201606/519107.html 海量信息即大规模数据，随着互联网技术的发展，互联网上的信息越来越多，如何从海量信息中提取有用信息成为当前互联网技术发展必须面对的问题。 在海量数据中提取信息，不同于常规量级数据中提取信息，在海量信息中提取有用数据，会存在以下几个方面的问题： （1）数据量过大，数据中什么情况都可能存在，如果信息数量只有20条，人工可以逐条进行查找、比对，可是当数据规模扩展到上百条、数千条、数亿条，甚至更多时，仅仅只通过手工已经无法解决存在的问题，必须通过工具或者程序进行处理。 （2）对海量数据信息处理，还需要有良好的软硬件配置，合理使用工具，合理分配 系统 资源。通常情况下，如果需要处理的数据量非常大，超过了TB级，小型机、大型工作站是要考虑的，普通计算机如果有好的方法也可以考虑，如通过联机做成工作集群。 （3）对海量信息处理时，要求很高的处理方法和技巧，如何进行数据挖掘算法的设计以及如何进行数据的存储访问等都是研究的难点。 针对海量数据的处理，可以使用的方法非常多，常见的方法有Hash法、Bit-map法、Bloom filter法、 数据库 优化法、倒排索引法、外排序法、Trie树、堆、双层桶法以及MapReduce法。 Hash法 Hash 一般被翻译为哈希，也被称为散列，它是一种映射关系

ylbtech-SQLServer-SQLServer2017：安装 SQL Server 的硬件和软件要求 1. 返回顶部 1、 安装 SQL Server 的硬件和软件要求 2018/11/06 适用对象： SQL Server（仅限 Windows） Azure SQL 数据库 Azure SQL 数据仓库 并行数据仓库 本文列出了在 Windows 操作系统上安装和运行 SQL Server 至少需要满足的硬件和软件要求。 SQL Server 2017 (14.x) 现已开始支持 Linux 上的 SQL Server。 有关信息，请参阅 Linux 上 SQL Server的硬件和软件要求 。 本文适用于 SQL Server 2016 (13.x) 及更高版本。 进行试用： 从 评估中心下载 SQL Server。 加速已安装有 SQL Server 2016 的虚拟机。 以下注意事项适用于所有版本： 我们建议在 使用 NTFS 或 ReFS 文件格式 的计算机上运行 SQL Server 。 支持但建议不要在使用 FAT32 文件系统 的计算机上安装 SQL Server ，因为它没有 NTFS 或 ReFS 文件系统安全。 SQL Server 安装程序将阻止在只读驱动器、映射的驱动器或压缩驱动器上进行安装。 如果通过远程桌面连接 RDC

WordPress仅仅用了10 个表:wp_comments, wp_links, wp_options, wp_postmeta, wp_posts, wp_term_relationships, wp_term_taxonomy, wp_terms, wp_usermeta, wp_users 按照功能大致分为 五类 用户信息: wp_users和wp_usermeta 链接信息: wp_links 文章及评论信息: wp_posts、wp_postmeta、wp_comments 对分类，链接分类，标签管理: wp_term，wp_term_relationships,wp_term_taxonomy 全局设置信息: wp_options wp_posts 博客发表”文章”存放的地方就是这个wp_posts表了。这个表里存放的除了普通的文章之外，还有附件和页面（page）的一些信息。post_type 字段是用来区分文章类型的。如果post_type是’post’，那么就是文章，如果是’page’,那么就是页面，如果是’attachment’, 那么就是附件了. wp_postmeta 这个表很简单，只有 meta_id, post_id, meta_key, meta_value 这四个字段。post_id 是相关 “文章” 的id。meta_value

一、概述 操作系统对系统的软件资源（不论是应用软件和系统软件）的管理都以文件方式进行，承担这部分功能的操作系统称为文件系统。 1、文件 计算机系统对系统中软件资源：无论是程序或数据、系统软件或应用软件都以文件方式来管理。文件是存贮在某种介质上的（如磁盘、磁带等）并具有文件名的一组有序信息的集合。 文件名是由字符和数字组成的，例如MS-DOS中文件名由三部分组成，格式如下：[<盘符>] <文件名> [.扩展名]。格式 [ ] 中是可以省略，盘符为存放文件的磁盘驱动器号，如用A:和C:分别 表示软盘和硬盘驱动器；文件名由1∽8个字符组成。扩展名为由“.”开始的1-3个字符组成，如.EXE表示可执行的浮动代码文件，.TXT表示ASCⅡ码文本文件，.LIB表示库文件，.BAT表示批处理文件等。 UNIX 文件系统将文件分成普通文件、目录文件、设备文件（特殊文件）和符号连接文件(Symbolic link)等几类，UNIX把所有I/O设备作为特殊文件，对I/O设备操作模仿为对普通文件的存取，这样将文件与设备的I/O尽可能统一起来。 数据项是描述一个对象的某些属性的字符集，它是数据的基本单位，一个数据项有一个值。记录是一组相关数据项的集合，用于描述一个对象某方面的属性。 文件是具有文件名的一组相关记录的集合。数据库是相关数据的集合。 2、文件系统

在Oracle学习过程中，存储结构，表段区块可能是每个初学者都要涉及到的概念。表空间、段、分区和数据块分别表示了Oracle进行数据存储的不同层次和结构。了解清楚这几个结构，有助于我们奠定一个稳固的学习基础，而且对于理解Oracle工作原理也有重要作用。 本文采用从小到大，逐步拓展的方式介绍四个结构，并且与Schema、数据文件的区别进行对比。 数据块（Block） 数据块Block是Oracle存储数据信息的最小单位。注意，这里说的是Oracle环境下的最小单位。Oracle也就是通过数据块来屏蔽不同操作系统存储结构的差异。无论是Windows环境，还是Unix/Linux环境，他们的操作系统存储结构和方式、甚至字符排列的方式都是不同的。Oracle利用数据块将这些差异加以屏蔽，全部数据操作采用对Oracle块的操作，相当于是一个层次的抽象。 Oracle所有对数据的操作和空间分配，实际上都是针对数据块Block的操作。我们从数据表中搜索出一行，实际中Oracle就会从内存缓冲区（或者硬盘）中读取到该行所在的数据块，再返回这数据块上的指定数据行。Oracle无论是在缓冲区，还是在硬盘，进行数据操作的虽小单位也就是数据块。 数据块是有大小的，在一个数据库建立的时候，通过参数进行设置。注意，在Oracle数据库参数中，只有数据块大小的参数是建库之后不能进行修改的。数据块的大小

什么是单点登录SSO？ 今天介绍下什么是单点登录，这个曾经的使用场景是国网电力的PMS2.0系统中，为了仅一次登录就可以同时访问多个系统，采用单点登录的模式。 单点登录在现在的系统架构中广泛存在，他将多个子系统的认证体系打通，实现了一个入口多处使用，而在架构单点登录时，也会遇到一些小问题，在不同的应用环境中可以采用不同的单点登录实现方案来满足需求。我将以我所遇到的应用环境以及在其中所经历的各个阶段与大家分享，若有不足，希望各位不吝赐教。 一、共享Session 共享Session可谓是实现单点登录最直接、最简单的方式。将用户认证信息保存于Session中，即以Session内存储的值为用户凭证，这在单个站点内使用是很正常也很容易实现的，而在用户验证、用户信息管理与业务应用分离的场景下即会遇到单点登录的问题，在应用体系简单，子系统很少的情况下，可以考虑采用Session共享的方法来处理这个问题。 这个架构我使用了基于Redis的Session共享方案。将Session存储于Redis上，然后将整个系统的全局Cookie Domain设置于顶级域名上，这样SessionID就能在各个子系统间共享。 这个方案存在着严重的扩展性问题，首先，ASP.NET的Session存储必须为SessionStateItemCollection对象，而存储的结构是经过序列化后经过加密存储的

Python高级应用程序设计任务要求 用Python实现一个面向主题的网络爬虫程序，并完成以下内容： （注：每人一题，主题内容自选，所有设计内容与源代码需提交到博客园平台） 一、主题式网络爬虫设计方案（15分） 1.主题式网络爬虫名称 猎聘招聘信息爬取与分析 2.主题式网络爬虫爬取的内容与数据特征分析 爬取猎聘网的工作岗位名称、公司名称、工作地点、薪资待遇以及学历要求，并把这些数据存储在文件中，以及对薪资待遇进行数据分析。 3.主题式网络爬虫设计方案概述（包括实现思路与技术难点） 首先爬取目标信息，然后将目标信息进行存储，再提取薪资水平，最后对该行业的薪资进行数据可视化分析。 难点：对目标信息进行爬取，以及数据清洗。 二、主题页面的结构特征分析（15分） 1.主题页面的结构特征 通过对猎聘网主题页面的分析可以得出：我们传入的在key后面，以及页码在curPage参数里。接下来，我们只需对这两个地方进行传值即可得到我们想要的URL。 2.Htmls页面解析 通过对页面源代码的分析可以知道，我们想要的目标信息在属性为class="sojob-item-main clearfix"的div标签中，接下来就是爬取目标信息。 3.节点（标签）查找方法与遍历方法 （必要时画出节点树结构） 我们可以利用find_all()方法查找所有属性为class="sojob-item-main

HDFS体系结构简介及优缺点 体系结构简介 HDFS是一个主/从(Master、Slave)体系结构，从最终用户的角度来看，它就像传统的文件系统一样，可以通过目录路径对文件执行CRUD(创建，读取，修改，删除)等操作。但由于分布式存储的性质，HDFS集群拥有一个NameNode和多个DataNode。NameNode管理文件系统的元数据，DataNode存储实际的数据。客户端通过同NameNode和DataNode的交互访问文件系统。客户端联系NameNode以获取文件的元数据，而真正的文件I/O操作是直接和DataNode进行交互的。 NameNode： NameNode是整个文件系统的管理节点. 作用： 1、负责管理文件系统的命名空间、集群配置信息和存储块的复制； 2、维护着整个文件系统的文件目录树和文件根目录的元信息和每个文件对应的数据块列表； 3、接收用户的操作请求； 4、管理文件与block之间的关系，block与DataNode之间的关系； NameNode会将文件系统的Meta-Data存储在内存中，这些信息主要包括了文件信息、每一个文件对应的文件块的信息和每一个文件块在DataNode的信息等。没有NameNode，文件系统将无法使用。实现上，如果运行NameNode服务的机器毁坏，文件系统上所有的文件将会丢失，因为我们不知道如果根据DataNode的块来重建文件