块存储Ceph,对象存储Swift,存大文件的HDFS的技术比较
文章目录 1.存储文件的大小 2.存储类型:块存储和对象存储 3.对象存储的概念 5.对象存储和文件系统存储区别 1.存储文件的大小 HDFS、HBase、Hive不太适合存文档、图片大小的文件,HDFS适用于存大文件。 SWIFT:处理几个G的大文件性能上可能会比HDFS差,因为没有条带化。 但遇到很多几兆、几十兆的,这些文件的存储,HDFS就不如SWIFT。 所以对于日常文件的单独处理用SWIFT,集中处理如果达到G级用HDFS。 2.存储类型:块存储和对象存储 如果只要用对象存储,就选择SWIFT;如果只要用块存储,那就Ceph; 既要用对象存储又要用块存储的场合,是用SWIFT还是Ceph呢? ( 1 )如果节点数量很大,推荐用Ceph单独做块,用SWIFT做对象存储,因为在节点数量较大时,Ceph的维护成本比SWIFT要高得多, 大多数场景实际应用的时候会发现,大部分数据都可以放到对象存储上 ; 2 ) 如果节点数量少,那就用Ceph统一搞定,因为一般认为生产环境中最小的分布式存储应当有五个节点,所以,如果节点数量 少于十个或者刚到十来个,那构建两个分布式存储显然是不理想的 ( 考虑到空间划分问题 ) ; 3 ) 如果团队里有牛人能轻松解决Ceph大规模部署问题,那就果断用Ceph ; 4 ) 如果希望对象存储能够和OpenStack其他项目无缝结合,如果希望实现多租户