数据流图

1、大数据流程图 2、大数据各个环节主要技术 在这里还是要推荐下我自己建的 大数据学习交流群:9437**91324 ，群里都是学大数据开发的，如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党，不定期分享干货（只有大数据软件开发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进阶中和进想深入大数据的小伙伴加入。 2.1、数据处理主要技术 Sqoop ：（发音：skup）作为一款开源的离线数据传输工具，主要用于Hadoop(Hive) 与传统数据库（MySql,PostgreSQL）间的数据传递。它可以将一个关系数据库中数据导入Hadoop的HDFS中， 也可以将HDFS中的数据导入关系型数据库中。 Flume： 实时数据采集的一个开源框架，它是Cloudera提供的一个高可用用的、高可靠、分布式的海量日志采集、聚合和传输的系统。目前已经是Apache的顶级子项目。使用Flume可以收集诸如日志、时间等数据 并将这些数据集中存储起来供下游使用（尤其是数据流框架，例如Storm）。和Flume类似的另一个框架是Scribe（FaceBook开源的日志收集系统，它为日志的分布式收集、统一处理提供一个可扩展的、高容错的简单方案） 　Kafka： 通常来说Flume采集数据的速度和下游处理的速度通常不同步，因此实时平台架构都会用一个消息中间件来缓冲

软件工程自学 emmm我们专业不学习软件工程，自学一点，权当休闲。 1.概述 应对不断变化的需求 开发占比比测试和维护小得多。 1.2 软件开发的三个阶段 私人化的软件环境中，软件的水平与个人的关系很大。 专家系统：提供专业知识与服务 网格计算：云计算 软件开发的初期，一定要先花时间把需求搞清楚 可读性、可理解性越好，可维护性越好 软件开发追求一致性和标准性 技术先进，需求不清楚是中国的现状。没有技术解决不了的，但是主要问题是把需求提清楚 好的需求本身就是一种资源 维护对一个公司的信誉很重要，要考虑到开发公司的流动性 维护费：技术支持（电话、邮件）、上门解决，这是一个长期的盈利（对客户就是花费） 软件的维护是一件很困难的问题。 软件！=程序，软件是由一个完整的配置组成的，还包括文档和数据。 在软件开发的不同阶段进行修改，需要付出的代价是很不相同的。 一旦发生错误应该马上修改 开发费与维护费是两回事。签合同的时候要说好 1.3 软件工程概述 好的项目管理要尽量准时。 一种策略：快速迭代、抢占市场、尽早上架 开发目的的折中、最优化 易于维护的软件，可靠性一般也比较高 可靠性和性能是互斥的，一个是求稳，一个是性能导向的 软件工程的原则： 例如类，就是对一组有共同特性的对象的抽象 局部化：资源的声明、使用和释放应该放在同一个模块中并且应该尽量靠近 一致性：要培训员工使用公司统一的命名

来源：https://blog.csdn.net/Rong_Toa/article/details/80771976 第一章 软件工程概论 1．什么是软件危机？ 软件危机是指在计算机软件的开发和维护过程中所遇到的一系列严重问题。这些问题表现在以下几个方面： (1)用户对开发出的软件很难满意。 (2)软件产品的质量往往靠不住。 (3)一般软件很难维护。 (4)软件生产效率很低。 (5)软件开发成本越来越大。 (6)软件成本与开发进度难以估计。 (7)软件技术的发展远远满足不了计算机应用的普及与深入的需要。 2．为什么会产生软件危机？ (1)开发人员方面，对软件产品缺乏正确认识，没有真正理解软件产品是一个完整的配置组成。造成开发中制定计划盲目、编程草率，不考虑维护工作的必要性。 (2)软件本身方面，对于计算机系统来说，软件是逻辑部件，软件开发过程没有统一的、公认的方法论和规范指导，造成软件维护困难。 (3)尤其是随着软件规模越来越大,复杂程度越来越高,原有软件开发方式效率不高、质量不能保证、成本过高、研制周期不易估计、维护困难等一系列问题更为突出，技术的发展已经远远不能适应社会需求。 3．怎样克服软件危机？ (1)充分吸收和借鉴人类长期以来从事各种工程项目中积累的行之有效的有效原理、概念、技术与方法，特别是吸取几十年来人类从事计算机硬件研究和开发的经验教训

3.1 什么是DStream Discretized Stream是Spark Streaming的基础抽象，代表持续性的数据流和经过各种Spark算子操作后的结果数据流。在内部实现上，DStream是一系列连续的RDD来表示。每个RDD含有一段时间间隔内的数据，如下图： 对数据的操作也是按照RDD为单位来进行的 Spark Streaming使用数据源产生的数据流创建DStream，也可以在已有的DStream上使用一些操作来创建新的DStream。 它的工作流程像下面的图所示一样，接受到实时数据后，给数据分批次，然后传给Spark Engine处理最后生成该批次的结果。 来源： https://blog.51cto.com/14473726/2435677

一、什么是威胁建模 简单的来说，威胁建模就是通过结构化的方法，系统的识别、评估产品的安全风险和威胁，并针对这些风险、威胁制定消减措施的一个过程。 威胁建模是一个非常有用的工具，它的核心是“像攻击者一样思考”。威胁建模可以在产品设计阶段、架构评审阶段或者产品运行时开展，强迫我们站在攻击者的角度去评估产品的安全性，分析产品中每个组件是否可能被篡改、仿冒，是否可能会造成信息泄露、拒绝攻击。威胁建模的作用更偏向于确保产品架构、功能设计的安全，无法保证编码的安全，但是输出的威胁建模报告中包含了全面的安全需求，这些安全需求不仅包括大的方案设计，如要认证、鉴权、审计，也可以包括安全细节的实现，比如具体的认证方式、密码使用哪种安全算法存储，使用什么方法生成安全随机数等。所以，威胁建模虽不能保证编码的安全，但可以指导研发人员编写出安全的代码，同时也可以辅助渗透测试人员开展安全测试。 二、为什么要做威胁建模 1. 站在攻击者的角度通过识别威胁，尽可能多的发现产品架构和功能设计中的安全风险 2. 制定措施消减威胁，规避风险，确保产品的安全性 三、应该在什么时候做威胁建模 威胁建模应融入企业的软件开发安全生命周期（SDL）中。 1. 新产品或新功能的设计阶段应开展威胁建模，发现风险、制定消减措施，消减措施是安全需求的一部分，需落入产品需求跟踪，确保产品安全。 2. 系统运行过程中也可以开展威胁建模

Spark是基于内存的大数据综合处理引擎，具有优秀的作业调度机制和快速的分布式计算能力，使其能够更加高效地进行迭代计算，因此Spark能够在一定程度上实现大数据的流式处理。 随着信息技术的迅猛发展，数据量呈现出爆炸式增长趋势，数据的种类与变化速度也远远超出人们的想象，因此人们对大数据处理提出了更高的要求，越来越多的领域迫切需要大数据技术来解决领域内的关键问题。在一些特定的领域中(例如金融、灾害预警等)，时间就是金钱、时间可能就是生命!然而传统的批处理框架却一直难以满足这些领域中的实时性需求。为此，涌现出了一批如S4、Storm的流式计算框架。Spark是基于内存的大数据综合处理引擎，具有优秀的作业调度机制和快速的分布式计算能力，使其能够更加高效地进行迭代计算，因此Spark能够在一定程度上实现大数据的流式处理。 Spark Streaming是Spark上的一个流式处理框架，可以面向海量数据实现高吞吐量、高容错的实时计算。Spark Streaming支持多种类型数据源，包括Kafka、Flume、trwitter、zeroMQ、Kinesis以及TCP sockets等，如图1所示。Spark Streaming实时接收数据流，并按照一定的时间间隔将连续的数据流拆分成一批批离散的数据集;然后应用诸如map、reducluce、join和window等丰富的API进行复杂的数据处理