metrics

1.下载yaml 文件 wget http://pencil-file.oss-cn-hangzhou.aliyuncs.com/blog/auth-delegator.yaml wget http://pencil-file.oss-cn-hangzhou.aliyuncs.com/blog/metrics-server-service.yaml wget http://pencil-file.oss-cn-hangzhou.aliyuncs.com/blog/auth-reader.yaml wget http://pencil-file.oss-cn-hangzhou.aliyuncs.com/blog/metrics-apiservice.yaml wget http://pencil-file.oss-cn-hangzhou.aliyuncs.com/blog/metrics-server-deployment.yaml wget http://pencil-file.oss-cn-hangzhou.aliyuncs.com/blog/aggregated-metrics-reader.yaml wget http://pencil-file.oss-cn-hangzhou.aliyuncs.com/blog/resource-reader.yaml 2.

目录 node_exporter监控集群节点 1.node-exporter.yaml 2.查看DaemonSet字段 3.启动 prometheus.yaml文件说明 1.Pod的安全策略 2.监控master节点 3.启动参数 4.映射端口 5.服务发现 热更新: prometheu_configmap 配置文件 容器监控 Api-Service 监控 Service 监控 1.添加service监控 2.service添加prometheus标签 3.kube-state-metrics node_exporter监控集群节点 通过prometheus来采集节点的监控指标，可以通过node_exporter获取，node_exporter就是抓取用于采集服务器节点的各种运行指标，目前node_exporter几乎支持所有常见的监控点，比如cpu、distats、loadavg、meminfo、netstat等，详细的监控列表可以参考github repo 这里使用DeamonSet控制器来部署该服务，这样每一个节点都会运行一个Pod，如果我们从集群中删除或添加节点后，也会进行自动扩展 1.node-exporter.yaml # cat >>prometheus-node-exporter.yaml apiVersion: apps/v1 kind: DaemonSet

一.二分类的正确率 or 预测正确的样本个数 from sklearn import metrics y_pred = my_model . predict ( x_test ) #####my_model是经过x_train和y_train以及模型算法进行参数调优的训练模型结果，y_pred是测试数据的预测值 metrics . accuracy_score ( y_test , y_pred ) ##模型预测正确率；metrics.accuracy_score（y_test,y_pred,normalize=True,sample_weight=None）normalize=True返回的结果是预测正确率，normalize=False返回的是预测样本的正确样本数，sample_weight每个样本的权重，默认是None即每个样本的权重是1，sample_weight的长度必须是和y_test的长度一样 来源： CSDN 作者： fight_for_ours 链接： https://blog.csdn.net/qq_40577144/article/details/103863898

Spark任务启动后，我们通常都是通过跳板机去Spark UI界面查看对应任务的信息，一旦任务多了之后，这将会是让人头疼的问题。如果能将所有任务信息集中起来监控，那将会是很完美的事情。 通过S park官网指导文档 ，发现Spark只支持以下sink Each instance can report to zero or more sinks . Sinks are contained in the org.apache.spark.metrics.sink package: ConsoleSink : Logs metrics information to the console. CSVSink : Exports metrics data to CSV files at regular intervals. JmxSink : Registers metrics for viewing in a JMX console. MetricsServlet : Adds a servlet within the existing Spark UI to serve metrics data as JSON data. GraphiteSink : Sends metrics to a Graphite node. Slf4jSink : Sends metrics to slf4j

prometheus 介绍 Prometheus是一个开源的系统监控和报警工具包，普罗米修斯在2016年加入了云原生计算基金会，成为继Kubernetes之后的第二个项目。 普罗米修斯的主要特征是: 多维数据模型，时间序列数据由度量名称和键/值对标识 PromQL是一种灵活的查询语言，可以利用这种维度 不依赖分布式存储;单个服务器节点是自治的 时间序列收集通过HTTP上的拉模型进行 通过中间网关支持时间序列的推送 通过服务发现或静态配置发现目标 多种模式的绘图和仪表板的支持 架构图 组件 prometheus server 端 负责定时在目标上抓取metrics（指标）数据，每个抓取目标都需要暴露一个http 服务接口用于 prometheus 定时抓取，这种调用监控对象获取监控数据的方式称为pull prometheus client 端 为需要监控的服务生成相应的 metrics 并暴露给 Prometheus server Push Gateway：主要用于短期的 jobs。由于这类 jobs 存在时间较短，可能在 Prometheus 来 pull 之前就消失了。为此，这次 jobs 可以直接向 Prometheus server 端推送它们的 metrics。这种方式主要用于服务层面的 metrics，对于机器层面的 metrices，需要使用 node exporter

项目的组件相对比较复杂，原有的一些选项是靠 ConfigMap 以及 istioctl 分别调整的，现在通过重新设计的 Helm Chart ，安装选项用 values.yml 或者 helm 命令行的方式来进行集中管理了。 在安装 Istio 之前要确保 Kubernetes 集群（仅支持 v1.9 及以后版本）已部署并配置好本地的 kubectl 客户端。 1. 下载 Istio $ wget https://github.com/istio/istio/releases/download/1.0.2/istio-1.0.2-linux.tar.gz $ tar zxf istio-1.0.2-linux.tar.gz $ cp istio-1.0.2/bin/istioctl /usr/local/bin/ 2. 使用 Helm 部署 Istio 服务 git clone https://github.com/istio/istio.git cd istio 安装包内的 Helm 目录中包含了 Istio 的 Chart，官方提供了两种方法： 用 Helm 生成 istio.yaml ，然后自行安装。 用 Tiller 直接安装。 很明显，两种方法并没有什么本质区别，这里我们采用第一种方法来部署。 $ helm template install/kubernetes/helm