info

rocketmq运行时提示 No route info of this topic 异常产生的原因可能是 ①Broker禁止自动创建Topic，且用户没有通过手工方式创建Topic ②Broker没有正确连接到Name Server ③Producer没有正确连接到Name Server 首先解决①这种情况，启动顺序要先启动nameserver，再启动broker，启动broker时加上autoCreateTopicEnable=true 例如 nohup sh mqbroker -n localhost:9876 autoCreateTopicEnable=true & 启动没有异常检查下nameserver中是否成功注册了broker，有两种方式 第一种、看broker的日志 如果出现形如 2018-02-28 16:21:35 INFO BrokerControllerScheduledThread1 - register broker to name server 192.168.192.129:9876 OK 2018-02-28 16:22:05 INFO BrokerControllerScheduledThread1 - register broker to name server 192.168.192.129:9876 OK 证明已经连接到nameserver上

版本说明： HDP：3.0.1.0 Hive：3.1.0 HBase：2.0.0 一、前言 之前学习 HBase 就有疑惑，HBase 虽然可以存储数亿或数十亿行数据，但是对于数据分析来说，不太友好，只提供了简单的基于 Key 值的快速查询能力，没法进行大量的条件查询。 不过，Hive 与 HBase 的整合可以实现我们的这个目标。不仅如此，还能通过 Hive 将数据批量地导入到 HBase 中。 <!--more--> Hive 与 HBase 整合的实现是利用两者本身对外的 API 接口互相通信来完成的，其具体工作交由 Hive 的 lib 目录中的 hive-hbase-handler-xxx.jar 工具类来实现对 HBase 数据的读取。 二、适用场景 Hive 与 HBase 整合的适用场景： **1、**通过 Hive 与 HBase 整合，可以将 HBase 的数据通过 Hive 来分析，让 HBase 支持 JOIN、GROUP 等 SQL 查询语法。 **2、**实现将批量数据导入到 HBase 表中。 三、依赖条件 需要有以下依赖，ambari 已经为我们做好了这一切： 已有 HDFS、MapReduce、Hive、Zookeeper、HBase 环境。 确保 Hive 的 lib 目录下有 hive-hbase-handler-xxx.jar

转自： https://my.oschina.net/jywm/blog/757973 安装步骤 在服务器安装了mysql 或者mysql-connect的前提下 1、安装setuptools 2、安装mysql-python 1、No module named setuptools *原因 没有安装setuptools工具 *解决方案 在python官网 https://pypi.python.org搜 setuptools工具，复制工具连接，然后如下操作 #wget https://pypi.python.org/packages/6b/dd/a7de8caeeffab76bacf56972b3f090c12e0ae6932245abbce706690a6436/setuptools-2#md5=a46750b6bd90a1343466bd57b0e2721a #tar -zxvf setuptools-28.3.0.tar.gz #python setup.py build #python setup.py install 2、mysql_config找不到 *现象 [root@4342116e3cd9 MySQL-python-1.2.5]# python setup.py build sh: mysql_config: command not found

错误提示信息为： Error:java: java.lang.ExceptionInInitializerError com.sun.tools.javac.code.TypeTags 如果使用 Maven 错误信息是一样的。 [INFO] ------------------------------------------------------------------------ [INFO] BUILD FAILURE [INFO] ------------------------------------------------------------------------ [INFO] Total time: 2.449 s [INFO] Finished at: 2020-02-26T08:34:45-05:00 [INFO] ------------------------------------------------------------------------ [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:3.7.0:compile (default-compile) on project core-java-annotations: Fatal

插入数据 在建立一个空的数据库和数据表时，首先需要考虑的是如何向数据表中添加数据，该操作可以使用INSERT语句来完成。使用INSERT语句可以向一个已有数据表插一个新行，也就插入一行新记录。 在MySQL中，INSERT语句有3种语法格式，分别是INSERT... VALUES语句、INSERT... SET语句和INSERT... SELECT语句。 使用INSERT... VALUES语句插入数据 使用INSERT... VALUES语句插入数据，是INSERT语句的最常用的语法格式。 语法格式如下： INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE] [INTO] 数据表名 [(字段名,...)] VALUES ({值 | DEFAULT},...),(...),... [ ON DUPLICATE KEY UPDATE 字段名=表达式, ... ] 例子： create database test; #创建库 use test; #进入库 create table info (id int not null,name char(16),score decimal(5,2),age int(8)); #创建表 插入测试数据 insert into info (id,name,score,age)values(1,

插入数据 在建立一个空的数据库和数据表时，首先需要考虑的是如何向数据表中添加数据，该操作可以使用INSERT语句来完成。使用INSERT语句可以向一个已有数据表插一个新行，也就插入一行新记录。 在MySQL中，INSERT语句有3种语法格式，分别是INSERT... VALUES语句、INSERT... SET语句和INSERT... SELECT语句。 使用INSERT... VALUES语句插入数据 使用INSERT... VALUES语句插入数据，是INSERT语句的最常用的语法格式。 语法格式如下： INSERT [LOW_PRIORITY | DELAYED | HIGH_PRIORITY] [IGNORE] [INTO] 数据表名 [(字段名,...)] VALUES ({值 | DEFAULT},...),(...),... [ ON DUPLICATE KEY UPDATE 字段名=表达式, ... ] 例子： create database test; #创建库 use test; #进入库 create table info (id int not null,name char(16),score decimal(5,2),age int(8)); #创建表 插入测试数据 insert into info (id,name,score,age)values(1,

/** * @param $width 裁剪的宽度 * @param $height 裁剪的高度 * @param string $filePath 保存缩略图文件的文件夹路径 * @param string $name 上传的文件类型 * @return array 缩略图和原图路径 * @author: hhygyl * @name: uploadThumb * @describe:缩略图上传 */ public function uploadThumb ( $width , $height , $filePath = "thumb_images" , $name = "file" ) { $file = request ( ) - > file ( $name ) ; if ( $file ) { $filePaths = ROOT_PATH . 'public' . DS . 'uploads' . DS . $filePath ; $info = $file - > validate ( [ 'size' = > 2014 * 12 , 'ext' = > 'jpg,png,gif,jpeg' ] ) - > move ( $filePaths ) ; if ( $info ) { $md5 = $file - > hash ( 'md5' ) ; $sha1 =

前言： 做测试开发有一段时间了，总会碰到各种各样的问题，特此记录下，已做备忘； 任务目标： 最近接手的工作是需要在平台上集成monkey命令，支持命令执行并对日志进行筛选，将包含exception、crash和anr的记录筛选出来并统计出现次数； 任务整理与分析： 1.实际概况： 平台部署在linux服务器上；用户使用自己的电脑（win）连接真机（安卓）执行monkey命令； 2.思路分析： 1）服务器需要收集执行monkey命令的主机信息（主机名，IP地址等）； 2）通过收集到的主机信息，控制主机执行monkey命令； 3.技术选型： 1）通过redis上传主机信息； 2）jsonp跨域传递命令，flask本地运行，接收命令并使用subprocess的Popen模块执行命令，执行后将结果返回给服务器并展示； 项目实施： 1.收集主机信息： 前提：用户本机需准备好python环境并安装flask和redis模块；本机配置好adb环境； 执行：运行提供的salve.py文件，上传主机信息； 代码： 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 import flask , redis , os , socket from flask import request from subprocess import *

本文首发于公众号「Python知识圈」，如需转载，请在公众号联系作者授权。 前言 上一篇文章整理了的公众号所有文章的导航链接，其实如果手动整理起来的话，是一件很费力的事情，因为公众号里添加文章的时候只能一篇篇的选择，是个单选框。 面对几百篇的文章，这样一个个选择的话，是一件苦差事。 pk哥作为一个 Pythoner，当然不能这么低效，我们用爬虫把文章的标题和链接等信息提取出来。 抓包 我们需要通过抓包提取公众号文章的请求的 URL，参考之前写过的一篇抓包的文章 Python爬虫APP前的准备 ，pk哥这次直接抓取 PC 端微信的公众号文章列表信息，更简单。 我以抓包工具 Charles 为例，勾选容许抓取电脑的请求，一般是默认就勾选的。 为了过滤掉其他无关请求，我们在左下方设置下我们要抓取的域名。 打开 PC 端微信，打开 「Python知识圈」公众号文章列表后，Charles 就会抓取到大量的请求，找到我们需要的请求，返回的 JSON 信息里包含了文章的标题、摘要、链接等信息，都在 comm_msg_info 下面。 这些都是请求链接后的返回，请求链接 url 我们可以在 Overview 中查看。 通过抓包获取了这么多信息后，我们可以写爬虫爬取所有文章的信息并保存了。 初始化函数 公众号历史文章列表向上滑动，加载更多文章后发现链接中变化的只有 offset 这个参数

一、Redis基础 1、安装启动Redis 1.1 去pkgs.org下载rpm包 [root@node1 ~]# wget http://www6.atomicorp.com/channels/atomic/centos/6/i386/RPMS/redis-3.0.7-4.el6.art.i686.rpm 1.2 yum本地安装 [root@node1 ~]# yum localinstall redis-3.0.7-4.el6.art.i686.rpm 查看redis安装生成的文件： [root@node1 ~]# rpm -ql redis 备份原始配置： [root@node1 ~]# cp -p /etc/redis.conf{,.orgi} 1.3 配置 [root@node1 ~]# vim /etc/redis.conf #监听多个地址： bind 127.0.0.1 10.201.106.21 启动： [root@node1 ~]# service redis start Starting redis-server: [ OK ] [root@node1 ~]# ss -tnlp | grep redis LISTEN 0 128 10.201.106.21:6379 *:* users:(("redis-server",16155,5)) LISTEN 0