大数据处理思路

1.处理优化：优化sql、考虑使用临时表或中间表

2.数据库优化：合理构建索引、合理设计表结构、数据库集群

3.分流：用和不用分开、常用和不常用分开；对数据库存放的数据分库分表分区；对文件存放的数据拆文件、考虑分批处理；原则就是尽量减少每次操作的数据的技术；

4.缓存技术：读多写少用缓存

5.合理使用nosql：mongodb、redis、memched、hbase等

6.分布式大数据方案：hadoop、spark、storm等

 

 

nosql数据库的种类：临时性键值存储(Memcached Redis)、永久性键值存储(ROMA Redis)、面向文档存储(mongoDB couchDB)、面向列存储(Casssandra HBase)

 

来源：https://www.cnblogs.com/hzq3554055/p/11999765.html