海量数据

大家好，今天跟大家分享的内容是传统数据库迁移到阿里云odps遇到的那点坑； 问题描述：传统数据库oracle向阿里云odps迁移数据库的时候，速率刚开始正常，后观察到，在传输过程中，速率越来越慢； 解决思路：1.查看了管控容器里面的日志，没有发现问题； 2.查看了当时网络的联通性，网络也没有问题，连接正常； 3.查看了同步任务的容器，没有发现任务问题； 4.后协调odps专家进行了会诊，经过排查，是因为底层的存储系统，在执行 读写操作的时候，有一台机器特别慢，所以在执行同步任务的时候，只要任务 跑到这台nc上的时候，传输的速度马上就降下来了，所以最后确认是这台nc机器的网卡连接处有问题，后去机房进行了排查，发现次机器的网络线没有查好，属于续接状态，所以后续将其nc的光线口进行插紧，错误没有在出现； 感谢大家的支持 柒年游 来源： 51CTO 作者： 柒年游 链接： https://blog.51cto.com/liwenming18/2329726

近年来，医疗体制改革取得了巨大发展。但随着人口老龄化加剧，国内医疗资源总量不足、分布不均等问题日益凸显，亟需加快推进信息化建设，进一步完善综合医疗服务体系。未来几年，医疗行业还将处在发展变革阶段。本文即是对医疗信息化建设的趋势和挑战加以分析，并基于分布式架构探索医疗私有云、PACS影像存储解决方案，为医疗行业信息化转型实践提供更多思路。 1、医疗信息系统及信息化趋势 医疗信息系统作为医院必不可少的基础设施与技术环境，支撑着医院的日常管理运营。结合业务特点，可以将医院信息系统分为三类。 一是业务平台系统，一般包括医院信息系统（HIS）、临床信息系统（CIS）、放射信息管理系统（RIS）、实验室信息管理系统（LIS）、影像归档和通信系统（PACS）、电子病历（EMR）、客户管理系统（CRM）、医院运营管理系统（HRP）等，各子系统承担不同的业务模块，共同保障医院的正常运营。 二是运营管理系统（ERP），主要承载财务管理、人力资源管理等业务模块，还会和HIS等系统对接以整合资源。其中结构化数据约占70%，文档、图片等非结构化数据约30%。 三是区域医疗系统，这是医疗机构间数据共享、信息整合的基础和载体，承载包括医保互通、远程医疗等交互业务。 互联网时代，网上问诊等新渠道异军突起，业务系统也在发生变化。未来几年医疗行业仍将处在变革阶段，主要体现在：完善医疗服务体系，加强基层医疗建设

转自： http://landmine.javaeye.com/blog/519101 今天遇到难题公司做股票交易系统数据量比较大光备份文件从03-09年就有500G 虽然现在硬盘换到1500GB 但要解决怎样将这些年的数据都附加到一个数据库当中很是头痛 在网上泡了一天终于找到比较理想的方案，希望有所帮助 超大型数据库的大小常常达到数百 GB ，有时甚至要用 TB 来计算。而单表的数据量往往会达到上亿的记录，并且记录数会随着时间而增长。这不但影响着数据库的运行效率，也增大数据库的维护难度。除了表的数据量外，对表不同的访问模式也可能会影响性能和可用性。这些问题都可以通过对大表进行合理分区得到很大的改善。当表和索引变得非常大时，分区可以将数据分为更小、更容易管理的部分来提高系统的运行效率。如果系统有多个 CPU 或是多个磁盘子系统，可以通过并行操作获得更好的性能。所以对大表进行分区是处理海量数据的一种十分高效的方法。本文通过一个具体实例，介绍如何创建和修改分区表，以及如何查看分区表。 1 SQL Server 2005 SQL Server 2005 是微软在推出 SQL Server 2000 后时隔五年推出的一个数据库平台，它的数据库引擎为关系型数据和结构化数据提供了更安全可靠的存储功能，使用户可以构建和管理用于业务的高可用和高性能的数据应用程序。此外 SQL Server

今天遇到难题公司做股票交易系统数据量比较大光备份文件从03-09年就有500G 虽然现在硬盘换到1500GB 但要解决怎样将这些年的数据都附加到一个数据库当中很是头痛 在网上泡了一天终于找到比较理想的方案，希望有所帮助 超大型数据库的大小常常达到数百 GB ，有时甚至要用 TB 来计算。而单表的数据量往往会达到上亿的记录，并且记录数会随着时间而增长。这不但影响着数据库的运行效率，也增大数据库的维护难度。除了表的数据量外，对表不同的访问模式也可能会影响性能和可用性。这些问题都可以通过对大表进行合理分区得到很大的改善。当表和索引变得非常大时，分区可以将数据分为更小、更容易管理的部分来提高系统的运行效率。如果系统有多个 CPU 或是多个磁盘子系统，可以通过并行操作获得更好的性能。所以对大表进行分区是处理海量数据的一种十分高效的方法。本文通过一个具体实例，介绍如何创建和修改分区表，以及如何查看分区表。 1 SQL Server 2005 SQL Server 2005 是微软在推出 SQL Server 2000 后时隔五年推出的一个数据库平台，它的数据库引擎为关系型数据和结构化数据提供了更安全可靠的存储功能，使用户可以构建和管理用于业务的高可用和高性能的数据应用程序。此外 SQL Server 2005 结合了分析、报表、集成和通知功能。这使企业可以构建和部署经济有效的 BI 解决方案

1、海量日志数据，提取出某日访问百度次数最多的那个IP。 首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000，把整个大文件映射为1000个小文件，再找出每个小文中出现频率最大的IP（可以采用hash_map进行频率统计，然后再找出频率最大的几个）及相应的频率。然后再在这1000个最大的IP中，找出那个频率最大的IP，即为所求。 或者如下阐述（雪域之鹰）： 算法思想：分而治之+Hash 1.IP地址最多有2^32=4G种取值情况，所以不能完全加载到内存中处理； 2.可以考虑采用“分而治之”的思想，按照IP地址的Hash(IP)%1024值，把海量IP日志分别存储到1024个小文件中。这样，每个小文件最多包含4MB个IP地址； 3.对于每一个小文件，可以构建一个IP为key，出现次数为value的Hash map，同时记录当前出现次数最多的那个IP地址； 4.可以得到1024个小文件中的出现次数最多的IP，再依据常规的排序算法得到总体上出现次数最多的IP； 2、搜索引擎会通过日志文件把用户每次检索使用的所有检索串都记录下来，每个查询串的长度为1-255字节。 假设目前有一千万个记录（这些查询串的重复度比较高，虽然总数是1千万，但如果除去重复后，不超过3百万个

处理海量数据问题，无非就是： 分而治之/hash映射 + hash统计 + 堆/快速/归并排序； Bloom filter/Bitmap； Trie树/数据库/倒排索引； 外排序； 分布式处理之hadoop/mapreduce。 本文接下来的部分，便针对这5种方法模式结合对应的海量数据处理面试题分别具体阐述。 密匙一、分而治之/hash映射 + hash统计 + 堆/快速/归并排序 1、海量日志数据，提取出某日访问百度次数最多的那个IP。 既然是海量数据处理，那么可想而知，给我们的数据那就一定是海量的。针对这个数据的海量，我们如何着手呢?对的，无非就是分而治之/hash映射 + hash统计 + 堆/快速/归并排序，说白了，就是先映射，而后统计，最后排序： 分而治之/hash映射：针对数据太大，内存受限，智能是：把大文件化成(取模映射)小文件，即16字方针：大而化小，各个击破，缩小规模，逐个解决 hash统计：当大文件转化了小文件，那么我们便可以采用常规的hashmap(ip，value)来进行频率统计。 堆/快速排序：统计完了之后，便进行排序(可采取堆排序)，得到次数最多的IP。 具体而论，则是： “首先是这一天，并且是访问百度的日志中的IP取出来，逐个写入到一个大文件中。注意到IP是32位的，最多有个2^32个IP。同样可以采用映射的方法，比如模1000

作为一家专注于产品自主研发的企业级存储厂商，杉岩数据始终坚持以客户需求为导向，持续完善存储产品及解决方案，通过版本迭代不断丰富产品特性，不断提升产品竞争力。杉岩海量对象存储（SandStone MOS）是面向企业级海量非结构化数据的分布式对象存储产品，经过长时间的产品打磨，SandStone MOS的功能特性越来越完善，与应用场景的融合越来越深入，并在应用实践中持续赢得客户的信赖。 为了进一步满足能源、金融、医疗等行业客户的需求，SandStone MOS的新版本针对客户关注的问题进一步完善了功能特性，并已于近期正式发布，本文即对该版本的价值特性进行专题解读。 生命周期管理进一步增强 标签精确控制的对象级生命周期管理 数据的生命周期管理是体现存储智能化的重要特性之一，用户根据不同业务系统的数据特点，通过SandStone MOS实现数据的存储、迁移、归档、删除等管理操作。在某客户的应用场景中，业务应用将多种业务的日志文件存储到同一个桶内，后期按照规定对过期的日志文件进行删除或者归档。但是，由于不同业务的日志文件过期时间不一样，需要区分桶内不同日志文件的过期时间，以便定期自动删除或者归档。而SandStone MOS原有的生命周期对象过滤方式只有两种：一是对整个桶设定时间规则，到期将桶内所有对象删除或者归档；二是按照桶内对象的前缀进行正则匹配来实现删除或者归档，这都无法满足客户需求

一、海量数据处理 所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就 是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导 致无法一次性装入内存。 那解决办法呢? 针对时间，我们可以采用巧妙的算法搭配合适的数据结构，如Bloom filter/Hash/bit- map/堆/trie树。 针对空间，无非就一个办法：大而化小，分而治之（hash映射）。 相关内容后续GitHub更新 （ 顺手留下GitHub链接，需要获取相关面试等内容的可以自己去找 ） https://github.com/xiangjiana/Android-MS (VX：mm14525201314) 二、算法/数据结构基础 1.Bloom Filter Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地 表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在 集合的快速的概率算法。Bloom Filter有可能会出现错误判断，但不会漏掉判断。也 就是Bloom Filter判断元素不再集合，那肯定不在。如果判断元素存在集合中，有一 定的概率判断错误。因此，Bloom Filter不适合那些“零错误”的应用场合。 而在能容忍低错误率的应用场合下，Bloom Filter比其他常见的算法（如hash，折 半查找

ps ：读书笔记 海量数据解决方案 缓存和页面静态化 　　缓存就是把从数据库中的数据暂时存起来，下次使用时无需在查询数据库。缓存分为程序直接保存到内存和框架框架２种。程序缓存一般使用currentHashMap直接保存到内存。框架缓存的话有redis，memcache等。 　　ps:空数据值问题。 　　缓存创建的时候把没有数据的缓存用特定的符号来表示。因为这种模式下如果从缓存中获取不到数据，就会查询数据库，但是其本身就没有数据的话。那么每次都要查询一次数据库，不合理。 　　页面静态化：是将程序生成的页面保存起来。这样下次调用直接就使用。连程序这一关也过了。更加快速。可以在程序中使用velocity等技术来生成静态页面，也可以通过上层缓存Nginx来生成。 数据库优化 　　１．表结构优化：设计合理的符合规范的表。 　　２．sql优化：根据日志以及其他工具分析那条sql语句最耗时，在针对性的有的放矢的优化，要统筹好，不能只针对一条语句，优化时要考虑到表上的其他语句综合考虑。 　　３．分区：一个表中数据量太大时，那么分区就可以使用了。分区是将数据按照一定规则把数据分到不同区来保存，这样子操作数据时，数据量更少。查询数据时只在一定区间进行。且这种操作时对程序透明的。程序无需修改。 　　４．分表：分表就是把表横向切分为几个表。第一种方式就是为了减少数据，比如一张表里面某个字段是分类

一、海量数据处理 所谓海量数据处理，无非就是基于海量数据上的存储、处理、操作。何谓海量，就 是数据量太大，所以导致要么是无法在较短时间内迅速解决，要么是数据太大，导 致无法一次性装入内存。 那解决办法呢? 针对时间，我们可以采用巧妙的算法搭配合适的数据结构，如Bloom filter/Hash/bit- map/堆/trie树。 针对空间，无非就一个办法：大而化小，分而治之（hash映射）。 相关内容之后会在GitHub上更新，希望多多关注 （ 顺手留下GitHub链接，需要获取相关面试等内容的可以自己去找 ） https://github.com/xiangjiana/Android-MS 更多完整项目下载。未完待续。源码。图文知识后续上传github。 可以点击 关于我 联系我获取 二、算法/数据结构基础 1.Bloom Filter Bloom Filter（BF）是一种空间效率很高的随机数据结构，它利用位数组很简洁地 表示一个集合，并能判断一个元素是否属于这个集合。它是一个判断元素是否存在 集合的快速的概率算法。Bloom Filter有可能会出现错误判断，但不会漏掉判断。也 就是Bloom Filter判断元素不再集合，那肯定不在。如果判断元素存在集合中，有一 定的概率判断错误。因此，Bloom Filter不适合那些“零错误”的应用场合。 而在能容忍低错误率的应用场合下