打造基于Python的流式数据分析平台

霸气de小男生 提交于 2019-12-01 04:54:21

    基于Python已经有多个科学研究和数据分析库,使用非常方便。结合OpenStack(http://www.openstack.org)、RabbitMQ(http://www.rabbitmq.com)、Celery(http://www.celeryproject.org)可以打造一个实时数据的分析平台。

    OpenStack是基于Python开发的云计算平台,可以进行虚拟机的调度和管理,以及数据的虚拟化存储。RabbitMQ是一个消息总线服务器,支持通过消息的数据快速收发和任务数据的调度、分派,Celery实现并行的Worker数据分析模型。三个软件模块的结合可以完成虚拟机管理、任务管理、实时数据收发的相关任务,并使用numPy等科学计算库执行数据分析。

    如下图所示:

    感觉上,功能满强的哦!以后有时间了,再来慢慢研究。

易学教程内所有资源均来自网络或用户发布的内容,如有违反法律规定的内容欢迎反馈
该文章没有解决你所遇到的问题?点击提问,说说你的问题,让更多的人一起探讨吧!