索引

二级索引与索引Join是多数业务系统要求存储引擎提供的基本特性，RDBMS早已支持，NOSQL阵营也在摸索着符合自身特点的最佳解决方案。 这篇文章会以HBase做为对象来讨论如何基于Hbase构建二级索引与实现索引join。文末同时会列出目前已知的包括0.19.3版secondary index, ITHbase, Facebook方案和官方Coprocessor的介绍。 理论目标 在HBase中实现二级索引与索引Join需要考虑三个目标： 1，高性能的范围检索。 2，数据的低冗余（存储所占的数据量）。 3，数据的一致性。 性能与数据冗余，一致性是相互制约的关系。 如果你实现了高性能地范围检索，必然需要靠冗余索引数据来提升性能，而数据冗余会导致更新数据时难以实现一致性，特别是分布式场景下。 如果你不要求高效地范围检索，那么可以不考虑产生冗余数据，一致性问题也可以间接避免，毕竟share nothing是公认的最简单有效的解决方案。 理论结合实际，下文会以实例的方式来阐述各个方案是如何选择偏重点。 这些方案是经过笔者资料查阅和同事的不断交流后得出的结论，如有错误，欢迎指正： 1，按索引建表 每一个索引建立一个表，然后依靠表的row key来实现范围检索。row key在HBase中是以B+ tree结构化有序存储的，所以scan起来会比较效率。 单表以row key存储索引

一、为什么要使用Solr做二级索引 二、实时查询方案 三、部署流程 3.1 安装HBase、Solr 3.2 增加HBase复制功能 3.3创建相应的 SolrCloud 集合 3.4 创建 Lily HBase Indexer 配置 3.5创建 Morphline 配置文件 3.6 注册 Lily HBase Indexer Configuration 和 Lily HBase Indexer Service 3.7 同步数据 3.8批量同步索引 3.9 设置多个indexer 四、数据的增删改查 4.1 增加 4.2更新 4.3删除 4.4 总结 五、 扩展命令 六、F&Q 6.1创建indexer失败，原来indexer已经存在 6.2创建indexer失败 6.3使用自带的indexer工具批量同步索引失败,提示找不到morphlines.conf 6.4使用自带的indexer工具批量同步索引失败,提示找不到solrconfig.xml 6.5使用自带的indexer工具批量同步索引失败,提示找不到Java heap space 6.6 HBaseIndexer启动后一会儿就自动退出 6.7 HBaseIndexer同步的数据与Solr不一致 6.8 出现了6.7的问题之后，修改了read-row="never"后，丢失部分字段 一、为什么要使用Solr做二级索引

平时我们在工作中，会遇到列表，字符串，如果要找出某元素在序列中的位置，可以使用如下几种方法： 下面的例子使用L列表，找到2所在的位置： 方法一，使用enumerate函数，它不仅可以直接列出位置，还可以列出值： L = [2,4,5,6,2,6,0,4] for i,j in enumerate(L): 　　if j =2: 　　print(i,j) 结果：0 2 　　 4 6 方法二，直接用index函数： L = [2,4,5,6,2,6,0,4] print(L.index(2)) 结果：0 4 方法三，使用for循环： L = [2,4,5,6,2,6,0,4] for i in L: 　　if L[i] == 2: 　　print(i) 结果：0 　　　4 此处有个小知识点，找到某元素出现的第一个位置： L = [2,4,5,6,2,6,0,4] for i in L: 　　if L[i] == 2: 　　print(i) 　　break 结果：0 来源： https://www.cnblogs.com/banxiade/p/12641363.html

1、MyISAM不支持事务，InnoDB是事务类型的存储引擎 当我们的表需要用到事务支持的时候，那肯定是不能选择MyISAM了。 2、MyISAM只支持表级锁，BDB支持页级锁和表级锁默认为页级锁，而InnoDB支持行级锁和表级锁默认为行级锁 表级锁：直接锁定整张表，在锁定期间，其他进程无法对该表进行写操作，如果设置的是写锁，那么其他进程读也不允许 MyISAM是表级锁定的存储引擎，它不会出现死锁问题 对于write，表锁定原理如下： 如果表上没有锁，在其上面放置一个写锁，否则，把锁定请求放在写锁队列中。 对于read，表锁定原理如下 ： 如果表上没有写锁定，那么把一个读锁放在其上面，否则把锁请求放在读锁定队列中 当一个锁定被释放时，表可被写锁定队列中的线程得到，然后才是读锁定队列中的线程。这意味着，如果你在一个表上有许多更新，那么你的SELECT语句将等到所有的写锁定线程执行完。 行级锁：只对指定的行进行锁定，其他进程还是可以对表中的其他行进行操作的。 行级锁是Mysql粒度最小的一种锁，它能大大的减少数据库操作的冲突，但是粒度越小实现成本也越大。 行 级锁可能会导致“死锁”，那到底是怎么导致的呢，分析原因：Mysql行级锁并不是直接锁记录，而是锁索引。索引分为主键索引和非主键索引两种，如果一条 sql语句操作了主键索引，那么Mysql就会锁定这个主键索引

MyISAM与InnoDB两者之间怎么选择 1、MyISAM不支持事务，InnoDB是事务类型的存储引擎 当我们的表需要用到事务支持的时候，那肯定是不能选择MyISAM了。 2、MyISAM只支持表级锁，BDB支持页级锁和表级锁默认为页级锁，而InnoDB支持行级锁和表级锁默认为行级锁 表级锁：直接锁定整张表，在锁定期间，其他进程无法对该表进行写操作，如果设置的是写锁，那么其他进程读也不允许 MyISAM是表级锁定的存储引擎，它不会出现死锁问题 对于write，表锁定原理如下： 如果表上没有锁，在其上面放置一个写锁，否则，把锁定请求放在写锁队列中。 对于read，表锁定原理如下 ： 如果表上没有写锁定，那么把一个读锁放在其上面，否则把锁请求放在读锁定队列中 当一个锁定被释放时，表可被写锁定队列中的线程得到，然后才是读锁定队列中的线程。这意味着，如果你在一个表上有许多更新，那么你的SELECT语句将等到所有的写锁定 线程执行完。 行级锁：只对指定的行进行锁定，其他进程还是可以对表中的其他行进行操作的。 行级锁是Mysql粒度最小的一种锁，它能大大的减少数据库操作的冲突，但是粒度越小实现成本也越大。 行级锁可能会导致“死锁”，那到底是怎么导致的呢，分析原因：Mysql行级锁并不是直接锁记录，而是锁索引。索引分为主键索引和非主键索引两种，如果一条sql语句操作了主 键索引

数据库 ，简而言之可视为电子化的档案柜——储存电子档案的处所，使用者可以对档案中的资料执行新增、截取、更新、删除等操作。 所谓“资料库”系以 一定方式 储存在一起、能予多个用户共享、具有尽可能小的冗余度、与应用程序彼此独立的数据集合。 数据库管理系统 数据库管理系统（database management system，简称DBMS）是为管理数据库而设计的电脑软件系统，一般具有存储、截取、安全保障、备份等基础功能。数据库管理系统可依据它所支持的数据库模型来作分类，例如关联式、XML；或依据所支持的电脑类型来作分类，例如服务器集群、移动电话；或依据所用查询语言来分类，例如SQL、XQuery；或依据性能冲量点来分类，例如最大规模、最高执行速度；不论使用那种分类方式，一些DBMS能够跨类别，例如同时支持多种查询语言。 类型： 关系型数据库： MySQL 　　MariaDB（MySQL的代替品） 　　Percona Server（MySQL的代替品） PostgreSQL Microsoft Access Microsoft SQL Server Google Fusion Tables FileMaker Oracle资料库 Sybase dBASE Clipper FoxPro foshub 非关系型数据库（NoSQL）： BigTable（Google） Cassandra

系列(Series)是由一组数据（各种NumPy数据类型），以及一组与之相关的数据标签（索引）组成，系列不要求数据类型是相同的。 系列是一个一维数组，只有一个维度（或称作轴）是行（row），在访问系列时，只需要设置一个索引。pandas自动为系列创建了一个从0开始到N-1的序号，称作行的下标，行的位置。可以显式设置index参数，为每行设置标签，pandas把标签称作索引。用户可以通过索引、也可以通过位置来访问Series对象中的元素。 系列可以看作是索引到数据值的一个映射，一个索引对应一个数据值，这种结构就是有序的字典。 官网SeriesAPI 1.构造 pandas . Series ( data = None , index = None , dtype = None , name = None , copy = False ) data：传递给系列的数据，可以是ndarray、list或字典 index：设置轴的索引，索引值的个数与data参数的长度相同。如果没有设置index参数，那么默认值是 np.arange(n)，或者 RangeIndex (0, 1, 2, …, n)。 dtype：设置系列元素的数据类型，如果没有设置，那么将推断数据类型 name：系列是一个多行的结构，name是系列的名称 copy：复制数据，默认值是false 1.1

1. mysql数据库基本操作 启动停止mysql服务器：net start\stop mysql 连接mysql数据库：mysql -u root -h localhost -p password 2. mysql 存储引擎 查询mysql支持的存储引擎：show engines; innoDB存储引擎：倾向于事务处理的应用程序，频繁的更新、删除操作 MyISAM存储引擎：查询速度快，空间和内存使用效率低 MEMORY存储引擎：“内存”，存储速度快但安全性不高 3. mysql 基本操作 创建数据库：create database db_admin; 显示所有的数据库：show databases; 显示数据库中所有的表：show tables; 选择数据库：use db_admin; 删除数据库：drop database db_admin; 创建数据表：create table tb_new(id int primary key, name varchar(20)); 查询表结构：show columns from tb_new; / describe tb_new; 修改表结构：alter table tb_new add email varchar(30), add adress varchar(50); // 可以是modify\drop\change 重命名表

　　作者：战斗民族就是干 　　转载请注明地址：http://www.cnblogs.com/prayers/p/8982141.html 　　本篇文章我们来了解一下solr的性能方面的调优，分为Schema优化、索引更新与提交调优、索引合并性能调优、Solr缓存、Solr查询性能优化 Schema优化 　　 1、index=true比index=false在索引时占用更多的内存、索引合并和优化时间更长，索引体积也响应变的更大，如果你不需要针对该域进行检索，可以设置为index=false 　　2、如果不关心Term在文档中出现的次数对最终文档的影响可以设置omitNorms=true，即取消标准化因此对score的影响。 它能减少磁盘空间的占用并加快索引速度 　 3、如果你不需要对该域进行高亮，你还可以设置omitPositions=true进一步减小索引体积 　　4、如果只需要利用倒排索引结构根据指定的Term找到对应的document，不需要计算Term在Document中的出现频率来考虑每个索引文档的权重，那么还可以设置omitTermFreqAndPositions=true即忽略TF计算以及Term在TermVector中的位置信息，这样能够进一步减小索引体积 　　5、对于stored属性而言，在响应结果集中通过FL参数返回stored=true的域的执行开销很大

欢迎观看 {无双}(wushuang) 的读书笔记，您可以通过订阅 无双的公众号或微博或头条号 持续关注最新的文章。 头条号ID：1656865998770190 微信公众号：落叶飞翔的蜗牛 开源中国博客： https://my.oschina.net/zhouguanya QQ：3190976240 MySQL数据库区别于其他数据库的最重要的一个特点是其插件式的存储引擎。 MySQL各类存储引擎 InnoDB存储引擎 从MySQL数据库5.5.8版本开始，InnoDB存储引擎是默认的存储引擎。 InnoDB存储引擎支持事务，其设计目标主要是面向在线事务处理（OLTP）的应用。其特点是行锁设计、支持外键，支持类似于Oracle的非锁定读，即默认读取操作不会产生锁。 InnoDB通过使用多版本并发控制MVCC来获取高并发性，并且实现了SQL标准的4种隔离级别，默认为repeatable级别。同时，使用一种称为next-key locking的策略避免幻读现象的产生。除此之外，InnoDB存储引擎还提供了插入缓冲、二次写、自适应哈希索引、预读等高性能和高可用的功能。 对于表中存储的数据，InnoDB存储引擎采用聚集的方式，每张表的存储都是按照主键的顺序进行存放的。如果没有显示的在定义时指定主键，InnoDB存储引擎会为每一行生成一个6字节的ROWID作为主键。 MyISAM存储引擎