curl

任务背景 运维人员需要对系统和业务日志进行精准把控，便于分析系统和业务状态。日志分布在不同的服务器上，传统的使用 传统的方法依次登录每台服务器查看日志，既繁琐又效率低下。所以我们需要 集中化 的日志管理工具将 位于不同服务 器上的日志收集到一起, 然后进行分析,展示 。 前面我们学习过rsyslog,它就可以实现集中化的日志管理，可是rsyslog集中后的日志实现统计与检索又成了一个问 题。使用wc, grep, awk等相关命令可以实现统计与检索，但如果要求更高的场景，这些命令也会力不从心。所以我们需要一套专业的日志收集分析展示系统。 总结： 1、日志是用于记录系统或业务的状态 2、通过日志可以获得系统或业务的状态，并进行分析。 3、早期的日志是分散在各主机上 4、通过rsyslog实现本地日志管理，收集，轮转，集中管理 5、早期的日志分析方法：wc,grep,awk 6、集中式的日志收集、分析、展示系统 任务要求 1, 搭建ELK集群 2, 收集日志信息并展示 任务拆解 1, 认识ELK 2, 部署elasticsearch集群并了解其基本概念 3, 安装elasticsearch-head实现图形化操作 4, 安装logstash收集日志 5, 安装kibana日志展示 6, 安装file beat实现轻量级日志收集 学习目标 能够说出ELK的应用场景

0. go-zero介绍 go-zero是一个集成了各种工程实践的web和rpc框架。通过弹性设计保障了大并发服务端的稳定性，经受了充分的实战检验。 go-zero包含极简的API定义和生成工具goctl，可以根据定义的api文件一键生成Go, iOS, Android, Kotlin, Dart, TypeScript, JavaScript代码，并可直接运行。 使用go-zero的好处： 轻松获得支撑千万日活服务的稳定性 内建级联超时控制、限流、自适应熔断、自适应降载等微服务治理能力，无需配置和额外代码 微服务治理中间件可无缝集成到其它现有框架使用 极简的API描述，一键生成各端代码 自动校验客户端请求参数合法性 大量微服务治理和并发工具包 1. go-zero框架背景 18年初，晓黑板后端在经过频繁的宕机后，决定从 Java+MongoDB 的单体架构迁移到微服务架构，经过仔细思考和对比，我们决定： 基于Go语言 高效的性能 简洁的语法 广泛验证的工程效率 极致的部署体验 极低的服务端资源成本 自研微服务框架 个人有过很多微服务框架自研经验 需要有更快速的问题定位能力 更便捷的增加新特性 2. go-zero框架设计思考 对于微服务框架的设计，我们期望保障微服务稳定性的同时，也要特别注重研发效率。所以设计之初，我们就有如下一些准则： 保持简单 高可用 高并发 易扩展 弹性设计

对于在git上面拉代码报"error: RPC failed; curl 56 OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 10054"解决方法 参考文章： （1）对于在git上面拉代码报"error: RPC failed; curl 56 OpenSSL SSL_read: SSL_ERROR_SYSCALL, errno 10054"解决方法 （2）https://www.cnblogs.com/xzhan/p/11239774.html 备忘一下。 来源： oschina 链接： https://my.oschina.net/u/4354470/blog/4713640

**本片博客主要介绍了 laravl和laravel-admin的使用，EasyWeChat结合laravel的使用，laravl-admin后台调取， WangEditor富文本编辑器。 关于laravel和laravel-admin的使用 首先去多看文档吧 大概流程就是先去composer laravel框架 然后配置数据库 然后安装laravl-admin官网文档 进行安装laravel-admin框架 关于laravel微信公众号开发 基于EasyWeChat 验证token use EasyWeChat\Factory; class TokenController extends Controller { public function wxtoken(Request $request) { /* $signature = $request->input('signature'); $timestamp = $request->input('timestamp'); $nonce = $request->input('nonce'); $echoStr = $request->input('echostr'); if ($this->checkSignature($signature, $timestamp, $nonce)) { ob_end_clean(); /

本篇文章仅用于技术交流学习和研究的目的，严禁使用文章中的技术用于非法目的和破坏，否则造成一切后果与发表本文章的作者无关 靶机下载之后使用仅主机模式加载到本地VMware Workstation工作站，需要发现目标靶机的IP地址，可以使用nmap，netdiscover，或者arp之类的工具 arp-scan 例如:sudo arp-scan -I eth1 -l 当然也是可以使用Windows环境下mac地址扫描工具都是可以的，那么本次演示就是arp-scan工具发现； 地址:https://www.vulnhub.com/entry/stapler-1,150/ sudo nmap -n -p- -sC -sV -T5 -Pn -oN stapler.nmap 192.168.202.15 nmap扫描结果 开放的端口还是很多的，从前面一个一个来，探测到目标靶机开放了21端口并且允许匿名登录，登录上去看看 看到一个文件note 下载下来看到如上信息，得到两个用户名john和elly先放着，继续下面的端口，22端口就先放着，使用gobuster爆破了下目标靶机的目录没发现什么有价值的信息，然后使用nikto扫描了下，发现了两个敏感文件 使用wget下载下来，发现并没有什么作用，继续向下看发现了Samba服务，我们使用命令枚举下信息 enum4linux 192.168.202.15

股票软件都提供自定义公式的功能，但因为常规股票软件都是点播数据，自定义公式对分时行情完全无效，要想更细腻的分析，只能找股票实时行情接口 一般来说，有如下3种版本 屌丝版 去门户财经频道采集数据，百度，sina，搜狐，网易，和讯都有。首推sina，页面结构良好，同时提供js接口和动态gif绘制 json数据： >> curl http : //hq.sinajs.cn/list=sh600133 >> var hq_str_sh600133 = "东湖高新,5.41,5.38,5.43,5.46,5.35,5.43,5.44,2596381,1401227 6,15200,5.43,27310,5.42,8900,5.41,17700,5.40,13400,5.39,73295,5.44,82100,5.45,40 000,5.46,18100,5.47,59700,5.48,2013-04-17,15:03:10,00" ; 日k线图: http://image.sinajs.cn/newchart/daily/n/sh600133.gif sina提供js data url 有很多，到sina网站上仔细研究即可 另外 http://www.webxml.com.cn/zh_cn/web_services.aspx 通过webservice的方法提供了行情数据

关于使用JDBC读取Apache Druid遇到的问题以及解决思路 在使用 Apache Druid 提供的JDBC api 时，遇到了以下问题： 在Apache Druid 的web页面端可以执行的SQL语句，在放到了JDBC执行时会有无法执行的情况： 例如 where XXX in （‘xx’，‘xx’）语法 原因猜想 ：可能是版本低的原因造成。 解决思路 ： 在不尝试更改现有版本的情况下，通过查阅Druid官方文档发现： 向Druid发送查询是可以通过 curl 发送一个特定内容的 .json格式的文件来实现的。 基于此方法，我们可以通过使用java 来执行 curl 命令，并且动态将参数传入特定的.json文件。 curl 命令 ： .json文件内容： 使用效果： 这样就可以保证：只要是Druid 的web页面可以执行的SQL语句，同样在java中正确执行，不仅提高了SQL编写效率， 而且可以将在java中得到的结果直接进行处理使用。 附: Apache Druid 官方文档 来源： oschina 链接： https://my.oschina.net/u/4398987/blog/4707866

学习此文的技巧来自于老男孩openstack林海峰老师的教程《第25讲 openstack的api》： https://www.bilibili.com/video/BV1LJ411Y7og?p=25 和https://www.qstack.com.cn/archives/168.html 其中我学到的技巧包括： （1）openstack官方文档的api使用 （2）不借助官方文档，直接用wireshark抓包工具，抓出所需要的构造url的方法，直接使用。 （1）-H指定head，也就是指定http头哪些需要的参数。（譬如我们抓的追踪流-http流 头部的X-Auth-Token:和Content-Type:都可以用-H指定） curl -H "X-Auth-Token:gAAAAABaMImzumUV648tH56PGK38DlE9Jz0G2qg0pv5M7XlrZu1XoXMacvOsJXHH9NgvovrfgeJR-DlFPRrE0wpqdHW9VkSLWwuGZtaKkcX7zRlehrHttLPTigz9UPdQi4GrZ7u2APIG6kIsyKLiVLkUMMDen02FWKQGKZT8eOG2gx-OKDAV1cE" -H "Content-Type: application/json" http://10.0.0.11:9292/v2/images curl -H

1、说明 对官方的 jenkins/jnlp-slave 镜像集成 docker 和 kubectl 命令。 2、Dockerfile 文件 该镜像底层采用的是 Debian 系统，先更改下载源，然后安装 docker-ce，并下载 kubectl 文件（因官网下载链接有墙，故用 rancher 提供的下载链接）。 FROM jenkins/jnlp- slave ENV KUBECTL_VERSION =v1. 14.5 USER root RUN echo " deb http://mirrors.163.com/debian/ stretch main " > /etc/apt/sources.list && \ echo " deb http://mirrors.163.com/debian/ stretch-updates main non-free contrib " >> /etc/apt/sources.list && \ echo " deb http://mirrors.163.com/debian-security/ stretch/updates main non-free contrib " >> /etc/apt/ sources.list RUN apt - get update && \ apt - get -y install apt

日常运维的过程中 来源： oschina 链接： https://my.oschina.net/u/4258525/blog/4486425