mongodb利用索引对find结果排序(sort)
最近线上有个接口超时报警,排查发现是查询MongoDB的时候比较慢(平均耗时1s以上)。文档结构很简单:
{ "_id" : NumberLong(1214789), "created_at" : ISODate("2019-02-21T16:08:44.337Z"), "updated_at" : ISODate("2019-02-21T16:08:44.337Z"), "cid" : 158865, "uid" : NumberLong(1024654707), "object_id" : "", "random" : 163595854, "participation_num" : 1 }
已有索引:
{"_id":1} {"uid":1} {"cid":1} {"cid":1,"uid":1}
接口里的查询转换成查询语句为:
db.record.find({ "cid":158865, "is_del": { "$ne": true } }).sort({"_id": -1}).limit(10)
数据量100W+,不小,但是对MongoDB来说应该也不算大。
想当然的觉得:已经有cid索引,那么find时走索引应该查起来很快,排序的话,_id也是有索引的,应该不会出现问题啊。后经老大指点,MongoDB的索引应该和mysql一样只能用一个(事实上2.6版本开始mongo是可以一个查询使用多个索引的)。
既然是只能用一个索引,那当然想着把sort里的字段也加一起弄一个复合索引:
{"cid":1,"cid":-1}
加上索引后这里explain里可以看到:
"winningPlan" : { "stage" : "FETCH", "filter" : { "$not" : { "is_del" : { "$eq" : true } } }, "inputStage" : { "stage" : "IXSCAN", "keyPattern" : { "cid" : 1, "_id" : -1 }, "indexName" : "cid_id", "isMultiKey" : false, "direction" : "forward", "indexBounds" : { "cid" : [ "[158865.0, 158865.0]" ], "_id" : [ "[MaxKey, MinKey]" ] } } }
这里查询出来的实际上就直接是排好序的了
这里总结下mongo的索引一些要注意的地方:
- 避免内存排序,内存排序超过32M时会放弃。这里有个有意思的地方:
对于文档:
{ "_id":1111, "a":2222, "b":3333 }
有如下三个索引:
{"_id":1} {"a":1}
当使用如下查询时,在数据量不同时,mongo选择的查询方案是不同的:
db.testdoc.find({"a":2222}).sort({"_id":-1}).limit(10)
当数据量少时,会使用{"_a":1}
索引,并进行内存排序,当数据量大时,会使用{"_id":1}
索引,这个时候find
里的a并没有用到索引,所以最终是会扫描所有文档,速度非常慢(上面线上接口慢其实也是这样的情况).
- 索引里的排序顺序要和sort里的完全一致或完全相反:
{"a":-1,"b":1}
能用于{"a":-1,"b":1}
和{"a":1,"b":-1}