信息存储

HashMap 概念和特征   概念 ：以键值对的形式存储数据，由键映射到值，核心在于Key上。   特征 ：键不能重复，值可以重复； key-value允许为null 。     HashMap   SinceJDK1.2   前身是HashTable(SinceJDK1.0)     HashMap   实现了Map接口   HashMap底层是一个 Entry 数组，当发生 hash冲突（碰撞） 的时候，HashMap是采用 链表 的方式来解决的，在对应的数组位置存放链表的头结点。对链表而言，新加入的节点会从头结点加入。   Key不能重复，判断是否重复的标准是： hashCode()和equals()方法 , 如果hashCode相同并且equals相等就是一个重复的key。   注意 ：放入HashMap集合中的Key必须要覆盖Object类型的 hashCode()和equals()方法 ，否则就会出现重复的Key。 put()和get()方法   put(K,V) ：将键值对存储到HashMap中(放入)   get(K) ：根据Key获取Value，如果Key在HashMap中不存在返回null。   场景：创建HashMap对象，将元素放入HashMap，根据Key获取Value。 import java.util.HashMap; import java

HTTP 说一下http和https https的SSL加密是在传输层实现的。 (1)http和https的 基本概念 http: 超文本传输协议，是互联网上应用最为广泛的一种网络协议，是一个客户端和服务器端请求和应答的标准（TCP），用于从WWW服务器传输超文本到本地浏览器的传输协议，它可以使浏览器更加高效，使网络传输减少。 https: 是以安全为目标的HTTP通道，简单讲是HTTP的安全版，即HTTP下加入SSL层，HTTPS的安全基础是SSL，因此加密的详细内容就需要SSL。 https协议的主要作用是：建立一个信息安全通道，来确保数组的传输，确保网站的真实性。 (2)http和https的 区别 ？ http传输的数据都是未加密的，也就是明文的，网景公司设置了SSL协议来对http协议传输的数据进行加密处理，简单来说 https协议是由http和ssl协议构建的可进行加密传输和身份认证的网络协议 ，比http协议的安全性更高。 主要的区别如下： Https协议需要ca证书，费用较高。 http是超文本传输协议，信息是明文传输，https则是具有安全性的ssl加密传输协议。 使用不同的链接方式，端口也不同，一般而言，http协议的端口为80，https的端口为443 http的连接很简单，是无状态的；HTTPS协议是由SSL+HTTP协议构建的可进行加密传输

Python总结 目录 Python总结 1 前言 2 （一）如何学习Python 2 （二）一些Python免费课程推荐 3 （三）Python爬虫需要哪些知识？ 4 （四）Python爬虫进阶 6 （五）Python爬虫面试指南 7 （六）推荐一些不错的Python博客 8 （七）Python如何进阶 9 （八）Python爬虫入门 10 （九）Python开发微信公众号 12 （十）Python面试概念和代码 15 （十一）Python书籍 23 前言 知乎：路人甲 微博：玩数据的路人甲 微信公众号：一个程序员的日常 在知乎分享已经有一年多了，之前一直有朋友说我的回答能整理成书籍了，一直偷懒没做，最近有空仔细整理了知乎上的回答和文章另外也添加了一些新的内容，完成了几本小小的电子书，这一本是有关于Python方面的。 还有另外几本包括我的一些数据分析方面的读书笔记、增长黑客的读书笔记、机器学习十大算法等等内容。将会在我的微信公众号：一个程序员的日常进行更新，同时也可以关注我的知乎账号：路人甲 及时关注我的最新分享用数据讲故事。 （一）如何学习Python 学习Python大致可以分为以下几个阶段： 1.刚上手的时候肯定是先过一遍Python最基本的知识，比如说：变量、数据结构、语法等，基础过的很快，基本上1~2周时间就能过完了，我当时是在这儿看的基础：Python 简介 |

大数据，很明显从字面上理解就是大量的数据，海量的数据。大，意思就是数据的量级很大，不上TB都不好意思说是大数据。数据，狭义上理解就是12345那么些数据，毕竟计算机底层是二进制来存的，那么在大数据领域，数据就不仅仅包括数字这些，它可以是所有格式的东西，比如日志，音频视频，文件等等。 所以，大数据从字面上理解就是海量的数据，技术上它包括这些海量数据的采集，过滤，清洗，存储，处理，查看等等部分，每一个部分包括一些大数据的相关技术框架来支持。 当然了，关于这些只是大数据的边角料，数据资料是一直在更新完善的，大数据资料库是收集资料、传输资料、存储资料之后再挖掘资料、分析资料、展示资料，这一系列的步骤都是非常关键的，也是密不可分的。 都是需要有着庞大的数据来源，不仅如此，大数据和云计算也是有着非常密切的关系的，比如，大数据的分布式存储以及分布式计算都是云计算的重要技术。 大数据具有4大特征，也就是快速化、多样化、大量化以及价值高和密度低，快速化是指的互联网连接设备数量的增长为我们带来更高速数据的处理。 而多样化则是指的数据的来源多，格式也多，来源具体到生活中包括搜索引擎的信息来源、社交网络信息来源、通话记录等都是大数据信息的来源。 当然了，关于这些只是大数据的边角料，数据资料是一直在更新完善的，大数据资料库是收集资料、传输资料、存储资料之后再挖掘资料、分析资料、展示资料

（一）如何学习Python 学习Python大致可以分为以下几个阶段： 1.刚上手的时候肯定是先过一遍Python最基本的知识，比如说：变量、数据结构、语法等，基础过的很快，基本上1~2周时间就能过完了，我当时是在这儿看的基础：Python 简介 | 菜鸟教程 2.看完基础后，就是做一些小项目巩固基础，比方说：做一个终端计算器，如果实在找不到什么练手项目，可以在 Codecademy - learn to code, interactively, for free 上面进行练习。 如果时间充裕的话可以买一本讲Python基础的书籍比如《Python编程》，阅读这些书籍，在巩固一遍基础的同时你会发现自己诸多没有学习到的边边角角，这一步是对自己基础知识的补充。 4.Python库是Python的精华所在，可以说Python库组成并且造就了Python，Python库是Python开发者的利器，所以学习Python库就显得尤为重要：The Python Standard Library ，Python库很多，如果你没有时间全部看完，不妨学习一遍常用的Python库：Python常用库 5.Python库是开发者利器，用这些库你可以做很多很多东西，最常见的网络爬虫、自然语言处理、图像识别等等，这些领域都有很强大的Python库做支持，所以当你学了Python库之后，一定要第一时间进行练习。

嘉宾介绍 大家好，首先自我介绍一下，我是360 web平台-基础架构组的宋昭，负责大容量类redis存储pika的和分布式存储Bada的开发工作，这是我的github和博客地址，平时欢迎指正交流^^ 我的github: https://github.com/KernelMaker 我的博客: http://kernelmaker.github.io 下面是pika的github，欢迎关注 https://github.com/Qihoo360/pika Pika介绍 pika是360 DBA和基础架构组联合开发的类redis存储系统, 使用Redis协议，兼容redis绝大多数命令（String，Hash，List，ZSet，Set），用户不需要修改任何代码, 就可以将服务迁移至pika. pika主要是使用持久化存储来解决redis在内存占用超过50G，80G时遇到的如启动恢复时间长，主从同步代价大，硬件成本贵等问题，并且在对外用法上尽可能做到与redis一致，用户基本上对后端是redis或pika无感知 既然pika要做到兼容redis并解决redis在大容量时的各种问题，那么首先要面对的问题便是如何从redis迁移到pika，毕竟现在redis的使用非常广泛，如果从redis迁移到pika很麻烦，那应该也不会有多少人用了 从redis迁移到pika需要经过几个步骤？

原因 马上要做PACS(Picture Archiving and Communication Systems的缩写，意思为影像归档和通信系统。)开发了,先学些DICOM资料,暂时先记录在这里. 概要 DICOM是Digital Imaging and Communications in Medicine的英文缩写，即医学数字成像和通信标准。是 ACR （American College of Radiology,美国放射学会）和NEMA（National Electrical Manufactorers Association,国家电子制造商协会）为主制定的用于数字化医学影像传送、显示与存储的标准。在DICOM标准中详细定义了影像及其相关信息的组成格式和交换方法，利用这个标准，人们可以在影像设备上建立一个接口来完成影像数据的输入/输出工作。 DICOM标准以计算机网络的工业化标准为基础，它能帮助更有效地在医学影像设备之间传输交换数字影像，这些设备不仅包括CT、MR、核医学和超声检查，而且还包括CR、胶片数字化系统、视频采集系统和HIS／RIS信息管理系统等。 该标准1985年产生。目前版本为2003年发布的 DICOM 3.0 2003 版本。 DICOM技术概要及特点 ◆ 在应用层上通过服务和信息对象主要完成五个方面的功能： ◆ 传输和存储完整的对象（如图像、波形和文档）。 ◆

点击上方 好好学java ，选择 星标 公众号 重磅资讯、干货，第一时间送达 来源：jianshu.com/p/8ef0c5a551d3 今日推荐： 在阿里干了五年，面试个小公司挂了… 在Web应用中，HTTP请求是无状态的。即：用户第一次发起请求，与服务器建立连接并登录成功后，为了避免每次打开一个页面都需要登录一下，就出现了cookie，Session。 Cookie Cookie是客户端保存用户信息的一种机制，用来记录用户的一些信息，也是实现Session的一种方式。Cookie存储的数据量有限，且都是保存在客户端浏览器中。不同的浏览器有不同的存储大小，但一般不超过4KB。因此使用 Cookie 实际上只能存储一小段的文本信息。 例如：登录网站，今输入用户名密码登录了，第二天再打开很多情况下就直接打开了。这个时候用到的一个机制就是Cookie。 Session Session是另一种记录客户状态的机制，它是在服务端保存的一个数据结构（主要存储的的SessionID和Session内容，同时也包含了很多自定义的内容如：用户基础信息、权限信息、用户机构信息、固定变量等），这个数据可以保存在集群、数据库、文件中，用于跟踪用户的状态。 客户端浏览器访问服务器的时候，服务器把客户端信息以某种形式记录在服务器上。这就是 Session

1、访问HDFS文件系统 HDFS是工作于用户空间的文件系统，它的树状文件系统是独立的，不能像传统上工作于内核空间的文件系统一样挂载至当前操作系统的目录树上对HDFS进行访问，传统上实现文件或目录管理的命令如ls、cat等此处也无法正常使用。对HDFS文件系统上的文件进行访问，需要通过HDFS的API或者由hadoop提供的命令行工具进行。 1.1 HDFS用户接口 (1) hadoop dfs命令行接口； (2) hadoop dfsadmin命令行接口； (3) web接口； (4) HDFS API； 前三者方式在后文会有详细的使用说明。无论基于何种方式与HDFS文件系统交互，其读取或写入数据的过程是相同的，下面分别对写操作和读操作的过程进行详细描述。 1.2 向HDFS文件系统保存数据 当需要存储文件并写数据时，客户端程序首先会向名称节点发起名称空间更新请求，名称节点检查用户的访问权限及文件是否已经存在，如果没有问题，名称空间会挑选一个合适的数据节点分配一个空闲数据块给客户端程序。客户端程序直接将要存储的数据发往对应的数据节点，在完成存储后，数据节点将根据名称节点的指示将数据块复制多个副本至其它节点。 (1) 向HDFS集群中保存数据之前，HDFS客户端需要事先知悉目标文件系统使用的“块大小”以及“复制因子(Replication Factor，即每一个块需要保存的副本数目

MySQL数据库 MySQL 是一种开放源代码的关系型数据库管理系统（RDBMS），使用最常用的数据库管理语言——结构化查询语言（SQL）进行数据库管理。 mysql中的注释符 ：# 、 /**/ 、 -- MySQL数据库的特有的表是： information_schema.tables information_schema.tables 存储了数据表的元数据信息，下面对常用的字段进行介绍： table_schema: 记录数据库名 table_name: 记录数据表名 table_rows: 关于表的粗略行估计 data_length : 记录表的大小（单位字节） 在MySQL5.0之后，MySQL中默认添加了一个名为 information_schema 的数据库，该数据库中的表都是只读的，不能进行更新、删除和插入等操作，也不能加载触发器，因为它们实际只是一个视图，不是基本表，没有关联的文件。 当尝试删除该 information_schema 数据库时，会爆出以下的错误！ information_schema 数据库中三个很重要的表： information_schema.schemata: 该数据表存储了mysql数据库中的所有数据库的库名 information_schema.tables： 该数据表存储了mysql数据库中的所有数据表的表名 information