海量数据处理--简易版

Deadly 提交于 2019-12-08 17:55:38

//2015年5月1日

一、分治法

map reduce(注意mapreduce要实现全排序的难点)

分治法注意点:你分的是否有规律

1.你用hash分,则不同部分间不可能有相同的数据


二、int型与string型数据

前者 bitmap

后者 trie tree


三、top N

分治法则每个map中取top N,最后在reduce中合并为一个Top N

或者堆排序,K个元素的最大堆


四、近似算法

只会考布隆过滤器,判重,求交集

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!