info

文章目录 概述 使用 命名空间Namespace 命名空间管理 预定义的命名空间 创建表 删除表 修改表 新增、更新数据Put 常用构造函数 常用方法 实例代码 删除数据Delete 构造函数 常用方法 实例代码 获取单行Get 构造函数 常用方法 实测代码 获取多行Scan 常用构造函数 常用方法 实测代码 概述 对于建表，和RDBMS类似，HBase也有namespace的概念，可以指定表空间创建表，也可以直接创建表，进入default表空间。 对于数据操作，HBase支持四类主要的数据操作，分别是： Put ：增加一行，修改一行； Delete ：删除一行，删除指定列族，删除指定column的多个版本，删除指定column的制定版本等； Get ：获取指定行的所有信息，获取指定行和指定列族的所有colunm，获取指定column，获取指定column的几个版本， 获取指定column的指定版本等； Scan ：获取所有行，获取指定行键范围的行，获取从某行开始的几行，获取满足过滤条件的行等。 这四个类都是 org.apache.hadoop.hbase.client的子类，可以到官网API去查看详细信息，本文仅总结常用方法，力争让读者用20%的时间掌握80%的常用功能。 使用 命名空间Namespace 在关系数据库系统中，命名空间namespace指的是一个 表的逻辑分组

一、ELK简介 ELK是Elasticsearch、Logstash、Kibana的简称，这三者是核心套件，但并非全部。 Elasticsearch是实时全文搜索和分析引擎，提供搜集、分析、存储数据三大功能；是一套开放REST和JAVA API等结构提供高效搜索功能，可扩展的分布式系统。它构建于Apache Lucene搜索引擎库之上。 Logstash是一个用来搜集、分析、过滤日志的工具。它支持几乎任何类型的日志，包括系统日志、错误日志和自定义应用程序日志。它可以从许多来源接收日志，这些来源包括 syslog、消息传递（例如 RabbitMQ）和JMX，它能够以多种方式输出数据，包括电子邮件、websockets和Elasticsearch。 Kibana是一个基于Web的图形界面，用于搜索、分析和可视化存储在 Elasticsearch指标中的日志数据。它利用Elasticsearch的REST接口来检索数据，不仅允许用户创建他们自己的数据的定制仪表板视图，还允许他们以特殊的方式查询和过滤数据。 Beats：filebeat:日志文件，metricbeat:类似cpu/内存度量数据，packetbeat:网络数据，winlogbeat:windows数据，heartbeat：健康检查 官网地址：https://www.elastic.co/cn/ 二、ELK安装环境

sqoop安装 sqoop镜像： http://mirror.bit.edu.cn/apache/sqoop/ https://mirrors.tuna.tsinghua.edu.cn/apache/sqoop/ http://archive.apache.org/dist/ #更多历史版本 本教程： hadoop2.7.5 hdfs导入导出均成功 hbase2.1.8 不能导出到mysql，能导入到hbase hive2.3.6 导入导出均成功 1.解压、添加环境变量 把sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz上传到linux的/opt/目录下，并解压。 [root@master opt]# tar -zxvf ./ sqoop-1.4.7.bin__hadoop-2.6.0.tar.gz #解压文件到当前/opt目录 [root@master opt]# mv sqoop-1.4.7.bin__hadoop-2.6.0 sqoop #将文件夹名改为sqoop 添加环境变量： [root@master opt]# vi ~/.bash_profile 添加如下代码： export SQOOP_HOME=/opt/sqoop export PATH=$SQOOP_HOME/bin:$PATH source ~/.bash_profile #立即生效

你造吗，今天是个大喜的日子！来到这儿，就意味着你爬虫已经入门啦！ 在这个重要又喜悦的日子里，我们就干三件事：回顾前路、项目实操、展望未来。 回顾前路，是为了复习0-6关所学的知识。项目实操，是通过写一个爬虫程序把所学的知识用起来。展望未来，是预告一下我们之后会遇到的风景。 马上开始吧~ 回顾前路 在前面，我们按关卡学了好多好多知识。而这么多的内容，我们用【项目实现】和【知识地图】两张图就能说清。 【项目实现】： 任何完成项目的过程，都是由以下三步构成的。 先需要明确自己的目标是什么，然后分析一下如何实现这个目标，最后就可以去写代码了。 当然，这不是一个线性的过程，而可能出现“代码实现”碰壁后然后折返“分析过程”，再“代码实现”的情形。 接下来是【知识地图】：前面6关所讲的爬虫原理，在本质上，是一个我们所操作的对象在不断转换的过程。 总体上来说，从Response对象开始，我们就分成了两条路径，一条路径是数据放在HTML里，所以我们用BeautifulSoup库去解析数据和提取数据；另一条，数据作为Json存储起来，所以我们用response.json()方法去解析，然后提取、存储数据。 你需要根据具体的情况，来确定自己应该选择哪一条路径。 也可以参考图片上的注释，帮助自己去回忆不同对象的方法和属性。不过，老师还是希望你能把这个图记在心里。 好啦，0-6关的内容就梳理完成啦~

自定义 systemctl 管理服务 ##简介 systemd是靠管理unit的方式来控制开机服务，开机级别等功能。 在/usr/lib/systemd/system目录下包含了各种unit文件，有service后缀的服务unit，有target后缀的开机级别unit等，这里介绍关于service后缀的文件。因为systemd在开机要想执行自启动，都是通过这些*.service 的unit控制的，服务又分为系统服务（system）和用户服务（user）。 系统服务：开机不登陆就能运行的程序（常用于开机自启）。 用户服务：需要登陆以后才能运行的程序。 配置文件说明: 所有的*.service 文件都存放在 /lib/systemd/system 目录下面, 我们可以查看 crontab.service 文件看看里面 写的都是什么 [root@zhangsf system]# cd ~ [root@zhangsf ~]# cat /usr/lib/systemd/system/crond.service [Unit] Description=Command Scheduler After=auditd.service systemd-user-sessions.service time-sync.target [Service] EnvironmentFile=/etc

搭建步骤： 1：自签ETCD证书 2：ETCD部署 3：Node安装docker 4：Flannel部署（先写入子网到etcd） ---------master---------- 5：自签APIServer证书 6：部署APIServer组件（token，csv） 7：部署controller-manager（指定apiserver证书）和scheduler组件 ----------node---------- 8：生成kubeconfig（bootstrap，kubeconfig和kube-proxy.kubeconfig） 9：部署kubelet组件 10：部署kube-proxy组件 ----------加入群集---------- 11：kubectl get csr && kubectl certificate approve 允许办法证书，加入群集 12：添加一个node节点 13：查看kubectl get node 节点 环境准备： master节点： CentOS 7-3：192.168.18.128 node节点： CentOS 7-4：192.168.18.148 docker CentOS 7-5：192.168.18.145 docker Mester7-3： [root@master ~]# mkdir k8s [root@master ~]# cd

#include <QCoreApplication> #include <QStringList> #include <QString> #include <qdebug.h> #include <QNetworkInterface> #ifdef __GNUC__ #include <cpuid.h> #elif defined(_MSC_VER) #if _MSC_VER >= 1400 #include <intrin.h> #endif #else #error Only supports MSVC or GCC #endif QStringList get_mac(); void getcpuid(unsigned int CPUInfo[4], unsigned int InfoType); void getcpuidex(unsigned int CPUInfo[4], unsigned int InfoType, unsigned int ECXValue); QString get_cpuId(); int main(int argc, char *argv[]) { QCoreApplication a(argc, argv); //测试cpu_id QString cpu_id = ""; cpu_id = get_cpuId(); qDebug() <<

实验参考 Open vSwitch使用案例扩展实验 实验步骤 1. 实验任务一。 1.创建新文件ovsSingleBr.py并编辑以下内容： #!/usr/bin/python from mininet.net import Mininet from mininet.node import Node from mininet.link import Link from mininet.log import setLogLevel, info def myNet(): "Create network from scratch using Open vSwitch." info( "*** Creating nodes\n" ) switch0 = Node( 's0', inNamespace=False ) h0 = Node( 'h0' ) h1 = Node( 'h1' ) h2 = Node( 'h2' ) info( "*** Creating links\n" ) Link( h0, switch0) Link( h1, switch0) Link( h2, switch0) info( "*** Configuring hosts\n" ) h0.setIP( '192.168.123.1/24' ) h1.setIP( '192.168.123.2/24' ) h2

文章目录 一、进入HBase命令行 二、HBase表的操作 三、创建create 四、查看表列表list 五、查看表的详细信息desc 六、修改表的定义alter 1、添加一个列簇 2、删除一个列簇 3、添加列簇hehe同时删除列簇myInfo 4、清空表truncate 5、删除表drop 七、HBase表中数据的操作 八、增put 九、查get + scan 十、 删delete 一、进入HBase命令行 在你安装的随意台服务器节点上，执行命令：hbase shell，会进入到你的 hbase shell 客户端 [ root@zj1 conf ] # hbase shell 2019 - 12 - 19 12 : 55 : 49 , 053 INFO [ main ] Configuration . deprecation : hadoop . native . lib is deprecated . Instead , use io . native . lib . available 2019 - 12 - 19 12 : 55 : 52 , 523 WARN [ main ] util . NativeCodeLoader : Unable to load native - hadoop library for your platform . . . using

监控内存及CPU使用情况 import psutil def get_memory_cpu_info ( ) : info = psutil . virtual_memory ( ) memory_cpu_info = { 'memory_total' : info . total , 'memory_available' : info . available , 'memory_used' : info . used , 'memory_free' : info . free , 'memory_percent' : info . percent , 'cup_used_percent' : psutil . cpu_percent ( ) } return memory_cpu_info if __name__ == '__main__' : res = get_memory_cpu_info ( ) print ( res ) Json文件写出 import json def write_to_file ( content , filename ) : with open ( filename , 'a' , encoding = 'utf-8' ) as f : f . write ( json . dumps ( content , ensure_ascii =