metrics

目标：前两天老师给了我数据，让我构建一个CRF模型，并且用十折交叉验证计算出每一组数据的recall/precision/f1-score,最后用平均值加减标准差的形式展示。 过程：1.读取所有数据 2.训练CRF 我用80%做了训练集，20%做了测试集 因为采用的是已经标记过的肺癌语料库 所以把标记单独列出来了，用于后面PRF三个指标的计算 3.构建模型 4.十折交叉验证 from sklearn.model_selection import KFold#要引入KFold包 kf = KFold(n_splits=10)#十折 注意a和b的意思 这里的metrics.flat_classfication_report返回了一个string ,如图 至于咋写成标准差加减平均值 ，他返回的是string哇15551 ，我要怎么把每个指标的PRF值都分离出来（爆哭） 在某个机智学长的提示下 我打开了excel 把数据搞进去 用excel计算了平均值和方差嘻嘻嘻 嗷对还有代码用到的库 import os import numpy as np import pandas as pd import xlrd import sklearn_crfsuite from sklearn.model_selection import RandomizedSearchCV from sklearn

JobGraph https://t.zsxq.com/naaMf6y 博客 1、 Flink 从0到1学习 —— Apache Flink 介绍 2、 Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、 Flink 从0到1学习 —— Flink 配置文件详解 4、 Flink 从0到1学习 —— Data Source 介绍 5、 Flink 从0到1学习 —— 如何自定义 Data Source ？ 6、 Flink 从0到1学习 —— Data Sink 介绍 7、 Flink 从0到1学习 —— 如何自定义 Data Sink ？ 8、 Flink 从0到1学习 —— Flink Data transformation(转换) 9、 Flink 从0到1学习 —— 介绍 Flink 中的 Stream Windows 10、 Flink 从0到1学习 —— Flink 中的几种 Time 详解 11、 Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 ElasticSearch 12、 Flink 从0到1学习 —— Flink 项目如何运行？ 13、 Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 Kafka 14、 Flink 从0到1学习 —— Flink

JobManager 的作用 https://t.zsxq.com/2VRrbuf 博客 1、 Flink 从0到1学习 —— Apache Flink 介绍 2、 Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、 Flink 从0到1学习 —— Flink 配置文件详解 4、 Flink 从0到1学习 —— Data Source 介绍 5、 Flink 从0到1学习 —— 如何自定义 Data Source ？ 6、 Flink 从0到1学习 —— Data Sink 介绍 7、 Flink 从0到1学习 —— 如何自定义 Data Sink ？ 8、 Flink 从0到1学习 —— Flink Data transformation(转换) 9、 Flink 从0到1学习 —— 介绍 Flink 中的 Stream Windows 10、 Flink 从0到1学习 —— Flink 中的几种 Time 详解 11、 Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 ElasticSearch 12、 Flink 从0到1学习 —— Flink 项目如何运行？ 13、 Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 Kafka 14、 Flink 从0到1学习 ——

If I put this in some activity class it works perfectly but, when I put it in my App class the method getWindowManager() can not be found. Is there some way to get the WindowManager in app class? My app class is defined like this: public class myApp extends Application { and in on create method I have this: DisplayMetrics dm = new DisplayMetrics(); getWindowManager().getDefaultDisplay().getMetrics(dm); int width = dm.widthPixels; Here, Context.getResource() DisplayMetrics dm = getResources().getDisplayMetrics(); int densityDpi = dm.densityDpi; You can also try this: WindowManager wm =

前言 如今，许多用于分析大型数据集的开源系统都是用 Java 或者是基于 JVM 的编程语言实现的。最着名的例子是 Apache Hadoop，还有较新的框架，如 Apache Spark、Apache Drill、Apache Flink。基于 JVM 的数据分析引擎面临的一个常见挑战就是如何在内存中存储大量的数据（包括缓存和高效处理）。合理的管理好 JVM 内存可以将 难以配置且不可预测的系统 与 少量配置且稳定运行的系统区分开来。 在这篇文章中，我们将讨论 Apache Flink 如何管理内存，讨论其自定义序列化与反序列化机制，以及它是如何操作二进制数据的。 数据对象直接放在堆内存中 在 JVM 中处理大量数据最直接的方式就是将这些数据做为对象存储在堆内存中，然后直接在内存中操作这些数据，如果想进行排序则就是对对象列表进行排序。然而这种方法有一些明显的缺点，首先，在频繁的创建和销毁大量对象的时候，监视和控制堆内存的使用并不是一件很简单的事情。如果对象分配过多的话，那么会导致内存过度使用，从而触发 OutOfMemoryError，导致 JVM 进程直接被杀死。另一个方面就是因为这些对象大都是生存在新生代，当 JVM 进行垃圾回收时，垃圾收集的开销很容易达到 50% 甚至更多。最后就是 Java 对象具有一定的空间开销（具体取决于 JVM 和平台）。对于具有许多小对象的数据集

https://t.zsxq.com/UnA2jIi 博客 1、 Flink 从0到1学习 —— Apache Flink 介绍 2、 Flink 从0到1学习 —— Mac 上搭建 Flink 1.6.0 环境并构建运行简单程序入门 3、 Flink 从0到1学习 —— Flink 配置文件详解 4、 Flink 从0到1学习 —— Data Source 介绍 5、 Flink 从0到1学习 —— 如何自定义 Data Source ？ 6、 Flink 从0到1学习 —— Data Sink 介绍 7、 Flink 从0到1学习 —— 如何自定义 Data Sink ？ 8、 Flink 从0到1学习 —— Flink Data transformation(转换) 9、 Flink 从0到1学习 —— 介绍 Flink 中的 Stream Windows 10、 Flink 从0到1学习 —— Flink 中的几种 Time 详解 11、 Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 ElasticSearch 12、 Flink 从0到1学习 —— Flink 项目如何运行？ 13、 Flink 从0到1学习 —— Flink 读取 Kafka 数据写入到 Kafka 14、 Flink 从0到1学习 —— Flink JobManager

最近一直在折腾时序类型的数据库，经过一段时间项目应用，觉得十分不错。而Prometheus又是刚刚推出不久的开源方案，中文资料较少，所以打算写一系列应用的实践过程分享一下。 Prometheus 是什么？ Prometheus是一套开源的监控&报警&时间序列数据库的组合，起始是由 SoundCloud 公司开发的。随着发展，越来越多公司和组织接受采用Prometheus，社区也十分活跃，他们便将它独立成开源项目，并且有公司来运作。google SRE的书内也曾提到跟他们BorgMon监控系统相似的实现是Prometheus。现在最常见的Kubernetes容器管理系统中，通常会搭配Prometheus进行监控。 Prometheus 的优点 非常少的外部依赖，安装使用超简单 已经有非常多的系统集成 例如：docker HAProxy Nginx JMX等等 服务自动化发现 直接集成到代码 设计思想是按照分布式、微服务架构来实现的 Prometheus 的特性 自定义多维度的数据模型 非常高效的存储 平均一个采样数据占 ~3.5 bytes左右，320万的时间序列，每30秒采样，保持60天，消耗磁盘大概228G。 强大的查询语句 轻松实现数据可视化 等等 相对于Graphite这种产品，还是有不少优点的。最让我觉得不错的是非常优秀的写性能和读取性能

Prometheus是一个监控平台，通过抓取目标上和metric相关的HTTP endpoint，收集被监控目标的metrics。本文会指导你怎么安装、配置prometheus，并通过prometheus监控资源。你将会下载、安装、运行prometheus；下载、安装exporter or tools（输出主机或服务的时间序列数据）。我们介绍的第一个exporter是Node Exporter（输出主机级别的metrics，比如CPU、内存、磁盘）。 下载Prometheus 下载使用你平台的最新版本的 Prometheus ，然后解压： curl -LO https://github.com/prometheus/prometheus/releases/download/v2.0.0/prometheus-2.0.0.linux-amd64.tar.gz tar xvfz prometheus-*.tar.gz cd prometheus-* 　　 prometheus服务是一个单一的二进制文件。我们运行这个二进制文件，通过可选择项 --help 寻求帮助 ./prometheus --help usage: prometheus [<flags>] The Prometheus monitoring server . . . 　　 配置Prometheus

前言 本文摘自本人《 大数据重磅炸弹——实时计算框架 Flink 》课程第二篇 自己之前发布过一篇 Chat 《大数据“重磅炸弹”：实时计算框架 Flink》 ，里面介绍了多种需求： 小田，你看能不能做个监控大屏实时查看促销活动销售额（GMV）？ 小朱，搞促销活动的时候能不能实时统计下网站的 PV/UV 啊？ 小鹏，我们现在搞促销活动能不能实时统计销量 Top5 啊？ 小李，怎么回事啊？现在搞促销活动结果服务器宕机了都没告警，能不能加一个？ 小刘，服务器这会好卡，是不是出了什么问题啊，你看能不能做个监控大屏实时查看机器的运行情况？ 小赵，我们线上的应用频繁出现 Error 日志，但是只有靠人肉上机器查看才知道情况，能不能在出现错误的时候及时告警通知？ 小夏，我们 1 元秒杀促销活动中有件商品被某个用户薅了 100 件，怎么都没有风控啊？ 小宋，你看我们搞促销活动能不能根据每个顾客的浏览记录实时推荐不同的商品啊？ …… 大数据发展至今，数据呈指数倍的增长，对实效性的要求也越来越高，于是像上面这种需求也变得越来越多了。 那这些场景对应着什么业务需求呢？我们来总结下，大概如下： 初看这些需求，是不是感觉很难？ 那么我们接下来来分析一下该怎么去实现？ 从这些需求来看，最根本的业务都是需要 实时查看数据信息 ，那么首先我们得想想如何去采集这些实时数据，然后将采集的实时数据进行实时的计算