系统日志

推荐！国外程序员整理的系统管理员资源大全 2015-1-19 12:24 发布者: admin 微博分享 受其他程序员汇编 php 资源，kahun 在 Github 发起系统管理员相关的开源资源整理。 内容分类包括：备份/克隆软件、云计算/云存储、协作软件、配置管理、日志管理、监控、项目管理…… 当然也有系统管理员相关书籍。 备份 备份软件 Amanda -客户端-服务器模型备份工具 Bacula - 另一个客户端-服务器模型备份工具 Backupninja -轻量级，可扩展的元数据备份系统 Backuppc -客户端-服务器模型备份工具和文件共享方案。 Burp -网络备份和还原程序 Duplicity -使用rsync算法加密的带宽-效率备份 Lsyncd -监控一个本地目录树的变化,然后产生一个进程去同步变化。默认使用rsync。 Rsnapshot -文件系统快照工具 SafeKeep -使用rdiff-backup，集中的，基于pull的备份 TarSnap - 具有一个开源客户端的安全备份服务 UrBackup -另一个客户端-服务器备份系统 DREBS - AWS EBS支持策略的备份脚本 克隆 克隆软件 Clonezilla -分区和磁盘镜像/克隆程序 Fog - 另一个计算机克隆解决方案 Redo Backup -简单的备份，恢复和还原 云计算 AppScale

90%的人会遇到性能问题，如何用1行代码快速定位？ 原创： 齐光 阿里技术 阿里妹导读：在 《如何回答性能优化的问题，才能打动阿里面试官？ 》 中，主要是介绍了应用常见性能瓶颈点的分布，及如何初判若干指标是否出现了异常。 今天，齐光将会基于之前列举的众多指标，给出一些常见的调优分析思路，即：如何在众多异常性能指标中，找出最核心的那一个，进而定位性能瓶颈点，最后进行性能调优。整篇文章会按照代码、CPU、内存、网络、磁盘等方向进行组织，针对对某一各优化点，会有系统的「套路」总结，便于思路的迁移实践。 1. 代码相关 遇到性能问题，首先应该做的是检查否与业务代码相关——不是通过阅读代码解决问题，而是通过日志或代码，排除掉一些与业务代码相关的低级错误。 性能优化的最佳位置，是应用内部。 譬如，查看业务日志，检查日志内容里是否有大量的报错产生，应用层、框架层的一些性能问题，大多数都能从日志里找到端倪（日志级别设置不合理，导致线上疯狂打日志）；再者，检查代码的主要逻辑，如 for 循环的不合理使用、NPE、正则表达式、数学计算等常见的一些问题，都可以通过简单地修改代码修复问题。 别动辄就把性能优化和缓存、异步化、JVM 调优等名词挂钩，复杂问题可能会有简单解，「二八原则」在性能优化的领域里里依然有效 。当然了，了解一些基本的「代码常用踩坑点」，可以加速我们问题分析思路的过程，从 CPU、内存

1. 说之前 由于业务应用 bug(本身或引入第三方库)、环境原因、硬件问题等原因，线上服务出现故障 / 问题几乎不可避免。例如，常见的现象包括请求超时、用户明显感受到系统发生卡顿等等。 作为一个合格的研发人员（技术人员），不仅要能写得一手好代码，掌握如何排查问题技巧也是研发人进阶必须掌握的实战技能。这里提到的排查问题不仅仅是在Coding的过程中Debug，还包括测试阶段、线上发布阶段问题的排查。特别是在生产环境中，一般是没办法或很难进行Debug操作的。 而通过掌握服务线上问题排查思路并能够熟练排查问题常用工具 / 命令 / 平台来获取运行时的具体情况，这些运行时信息包括但不限于运行日志、异常堆栈、堆使用情况、GC情况、JVM参数情况、线程情况等。 排查出问题并找到根本原因加以解决，其实是一件很成就感的事情。曾经有人问过我：“你是怎么想到问题出现在xxx的？又是怎么确认根本原因是xxx的？”，我只能轻描淡写的回答：“靠经验”，其实这里说的“靠经验”是很模糊的，一直以来大家可能都觉得排查问题要靠经验，但是又说不出具体通过什么样的经验排查出了问题。而本质上排查定位线上问题是具有一定技巧或者说是经验规律的，排查者如果对业务系统了解得越深入，那么相对来说定位也会容易一些。排查问题的关键是什么？ 一句话总结：给一个系统定位排查问题的时候，知识、经验是关键，数据是依据

K afka入门介绍 https://www.cnblogs.com/swordfall/p/8251700.html最近在看hdoop的hdfs 以及看了下kafka的底层存储，发现分布式的技术基本上都是相同的。 都是通过增加一个coordinator的节点作为存储元数据， 将实体数据放到datanode 里面来提高容量。而且也跟微服务类似，将一个单体应用拆开分多份，放到不同的node节点中来 并且通过replication 来保证高可用。通过服务注册中心统一进行管理。 微服务 hadoop kafka 都是通过分而治之的办法来提高容量和性能和安全性。包含现在比较多的Greenplum和华为的高斯数据库，以及nginx的负责均衡工作原理 其实也是类似，都是通过增加一个服务注册中心类似的协调中心，然后增加datanode来存储具体的数据。 如果数量就行增大，就在协调中心上面再增加一层入口控制。而且像是nginx的底层的master和worker node 的进程模式也是如此。master负责协调 node干具体的工作redis的cluster也是 只不过通过hash算法作为服务注册或者是协调中心的工作。然后每个redis服务作为每一个datanode来提供服务，增加扩展性。然后redis的sentry模式就相当于replication模式来保证数据的安全性了

ETL讲解 ETL讲解（很详细！！！） ETL是将业务系统的数据经过抽取、清洗转换之后加载到数据仓库的过程，目的是将企业中的分散、零乱、标准不统一的数据整合到一起，为企业的决策提供分析依据。 ETL是BI项目重要的一个环节。 通常情况下，在BI项目中ETL会花掉整个项目至少1/3的时间,ETL设计的好坏直接关接到BI项目的成败。 　　ETL的设计分三部分：数据抽取、数据的清洗转换、数据的加载。在设计ETL的时候我们也是从这三部分出发。数据的抽取是从各个不同的数据源抽取到ODS(Operational Data Store，操作型数据存储)中——这个过程也可以做一些数据的清洗和转换)，在抽取的过程中需要挑选不同的抽取方法，尽可能的提高ETL的运行效率。ETL三个部分中，花费时间最长的是“T”(Transform，清洗、转换)的部分，一般情况下这部分工作量是整个ETL的2/3。数据的加载一般在数据清洗完了之后直接写入DW(Data Warehousing，数据仓库)中去。 　　ETL的实现有多种方法，常用的有三种。一种是借助ETL工具(如Oracle的OWB、SQL Server 2000的DTS、SQL Server2005的SSIS服务、Informatic等)实现，一种是SQL方式实现，另外一种是ETL工具和SQL相结合。前两种方法各有各的优缺点

一、配置静态IP地址 输入ifconfig后没有配置IP地址，接下来进行手动配置。 输入以下命令进入IP配置文件进行配置 原始内容 进入vi后，输入i进入编辑状态，编辑完成后，按esc键退出编辑状态，输入:wq进行保存退出。 编辑后的内容 重新启动一下 遇到的问题： IP配置完成，重启后，可以和本机ping通，但是无法ping通百度。 原因猜测： IP地址冲突；网关不对 解决： 最后经检查是网关配置错误 二、history命令 该命令可以回显从开机到当前时间输入过的所有指令 三、 在刚进入系统时所处的当前目录是root目录下 四、日志 存在于/var/log目录下 日志文件 日志文件 含义 /var/log/secure Linux系统安全日志，记录用户和工作组的情况、用户登陆认证情况 /var/log/boot.log 该文件记录了系统在引导过程中发生的事件 /var/log/messages 内核及公共信息日志，是许多进程日志文件的汇总 /var/log/dmesg 系统引导日志，该日志使用dmesg命令快速查看最后一次系统引导的引导日志 /var/log/lastlog 该日志不能用诸如cat、tail等查看，因为该日志里面是二进制文件，可以用lastlog命令查看，它根据UID排序显示登录名、端口号（tty）和上次登录时间。如果一个用户从未登录过，lastlog显示

0. 现象 windows假死了，键盘功能正常，就是画面卡住不动了。 1. 看log linux下面很容易通过命令dmesg和/var/log/message来看日志。 但是windows就懵逼了，不知所措， 其实可以通过事件查看器,windows日志，系统 。能够看到系统报错，如图: 导致 explorer崩溃，系统无响应: 是因为nv的设备，也就是显卡问题假死了。考虑换显卡了，这块卡是闲鱼上面二手买的，很明显卖家处理过，很新，没有什么灰尘，可能有内伤了。 来源： https://www.cnblogs.com/gqdw/p/11915265.html

明天要去学习的 1.学习springBoot的自动装配，并且知道spring是如何自动去加载log4j的流程 https://blog.csdn.net/satomiyo/article/details/100040235 log4j配置文件 了解日志-->slf4j的介绍-->log4j的介绍-->logback的介绍-->springboot中slf4j+log4j的使用-->springboot中slf4j+logback的使用 一、前言 我觉得能够加强自己的开发能力，首先必须学会去配置一些文件，而不是crud。在springBoot项目中，一般会有log4j.properties的配置文件，该配置文件是记录项目中的日志的配置信息。 日志是一个项目中必不可少的灵魂，没有日志的项目是没有灵魂的，因此掌握基础的日志编写是非常有必要的。 二、为什么需要日志 我们最开始使用的是System.out.prinlt()进行输出我们的调代码的信息，用来监控具有什么信息，System.out.println()其实是对业务无关的代码，这些对业务无关的代码都是对业务代码的一些intercupt。 我们必须要明确，日志不仅仅System.out.prinlt(s) ,s的信息，同时日志包括一些额外的上下文，上下文信息是非常重要的，这些信息具有 访问时间、对应的类、行、产生的线程等

上一篇 中我们介绍了为什么需要一个日志系统、为什么云原生下的日志系统如此重要以及云原生下日志系统的建设难点，相信DevOps、SRE、运维等同学看了是深有体会的。本篇文章单刀直入，会直接跟大家分享一下如何在云原生的场景下搭建一个灵活、功能强大、可靠、可扩容的日志系统。 需求驱动架构设计 技术架构，是将产品需求转变为技术实现的过程。对于所有的架构师而言，能够将产品需求分析透彻是非常基本也是非常重要的一点。很多系统刚建成没多久就要被推翻，最根本的原因还是没有解决好产品真正的需求。 我所在的日志服务团队在日志这块有近10年的经验，几乎服务阿里内部所有的团队，涉及电商、支付、物流、云计算、游戏、即时通讯、IoT等领域，多年来的产品功能的优化和迭代都是基于各个团队的日志需求变化。 有幸我们最近几年在阿里云上实现了产品化，服务了数以万计的企业用户，包括国内各大直播类、短视频、新闻媒体、游戏等行业Top1互联网客户。产品功能从服务一个公司到服务上万家公司会有质的差别，上云促使我们更加深入的去思考：究竟哪些功能是日志这个平台需要去为用户去解决的，日志最核心的诉求是什么，如何去满足各行各业、各种不同业务角色的需求... 需求分解与功能设计 上一节中我们分析了公司内各个不同角色对于日志的相关需求，总结起来有以下几点： 支持各种日志格式、数据源的采集，包括非K8s 能够快速的查找/定位问题日志

------------恢复内容开始------------ copy 一 简介 The WiFi Pineapple 是由国外无线安全审计公司Hak5开发并售卖的一款无线安全测试神器（俗称大菠萝），从2008年起目前已经发布到第六代产品。当前的主打产品是The WiFi Pineapple NANO 和WiFI Pineapple TETRA（支持5GHz频段） 手上这款是WiFi Pineapple NANO 产品规格： ·CPU：400 MHz MIPS Atheros AR9331 SoC ·内存：64 MB DDR2 RAM ·磁盘：16 MB ROM + Micro SD（6G） ·无线：Atheros AR9331（wlan0）+ Atheros AR9271（wlan1），均为IEEE 802.11 b / g / n ·端口：（2）RP-SMA天线，USB网卡（ASIX AX88772A） ·USB 2.0主机，Micro SD读卡器 ·电源：USB 5V 1.5A. 包括 Y型USB电源线 ·可配置状态指示灯LED ·可配置的重置按钮 二 使用背景 对于这种 黑客 “外设” 来讲，和其他外设没什么两样，都是烧钱的东西，那这个东西在什么情况下入手比较合适呢？ 1安全研究 对于正在进行安全研究并计划将研究方向定为wifi安全的小伙伴们，可以使用这款 “外设”