regression

Python —— sklearn.feature_selection模块 sklearn.feature_selection模块的作用是feature selection，而不是feature extraction。 Univariate feature selection：单变量的特征选择 单变量特征选择的原理是分别单独的计算每个变量的某个统计指标，根据该指标来判断哪些指标重要。剔除那些不重要的指标。 sklearn.feature_selection模块中主要有以下几个方法： SelectKBest和SelectPercentile比较相似，前者选择排名排在前n个的变量，后者选择排名排在前n%的变量。而他们通过什么指标来给变量排名呢？这需要二外的指定。 对于regression问题，可以使用f_regression指标。对于classification问题，可以使用chi2或者f_classif变量。 回归： f_regression：相关系数，计算每个变量与目标变量的相关系数，然后计算出F值和P值； 分类 : chi2：卡方检验； f_classif：方差分析，计算方差分析（ANOVA）的F值 (组间均方 / 组内均方)； 使用的例子： 1 from sklearn.feature_selection import SelectPercentile, f_classif 2

一、软件测试的目的 发现缺陷 尽早和尽量多的发现被测对象中的缺陷，应该是测试人员测试过程中最常提起的一个测试目标，也是所谓测试价值的一个的重要体现。发现缺陷的目的是推动开发人员定位和修复问题，测试人员通过再测试和回归测试，确保开发人员已修复缺陷，并没有影响原来正常的区域，从而提高产品质量。开发生命周期的每个阶段，都应该有测试的参与，并尽量多的发现本阶段的缺陷，从而大大提高本阶段的缺陷阶段遏制能力，从而提高测试效率、降低成本和提高质量。 推荐一个软件测试技术交流群：1079636098 学习路线以及对应教程免费领取 二、软件测试的两大分类 1、白盒测试 白盒测试是把测试对象看作一个打开的盒子。利用白盒测试法进行动态测试时，需要测试软件产品的内部结构和处理过程，不需测试软件产品的功能。 白盒测试法的覆盖标准有逻辑覆盖、循环覆盖和基本路劲测试。其中逻辑覆盖包括语句覆盖、判断覆盖、条件覆盖、判定/条件覆盖、条件组合覆盖和路径覆盖。 白盒测试是知道产品内部工作过程，可通过测试来检测产品内部动作是否按照规格说明书的规定正常进行，按照程序内部的结构测试程序，检验程序中的每条通路是否都有能按预定要求正确工作，而不顾它的功能，白盒测试的主要方法有逻辑驱动、基路测试等，主要用于软件验证。 2、黑盒测试 黑盒测试是根据软件的规格对软件进行的测试，这类测试不考虑软件内部的运作原理

Storm ------------------ 实时计算，延迟很低。 吞吐量小。 tuple() Spark Streaming ------------------ DStream，离散流计算。 相当于一序列RDD。 按照时间片划分RDD。 DStream分区 = RDD的分区。 动态数据。 StreamingContext( , Seconds( 2 )) windows话操作，batch的扩展。 吞吐量大。 socketTextStream() // Socket // 分区200ms kafka流 // kafka分区 == rdd一个分区。 LocationStrategy ------------------ 位置策略，控制主题分区在哪个节点消费。 PreferBroker // 首选kafka服务器 PreferConsistent // 首选均衡处理 PreferFixed // 首选固定位置 ConsumerStrategy ----------------- 控制消费者对kafka消息的消费范围界定。 Assign // 指定,控制到主题下的分区. Subscribe // 订阅主题集合,控制不到主题下的某个分区。 SubscribePattern // 正则消费,对Subscribe的增强，支持正则表达式. 消费语义模型 ---------------- 1