log文件

redo日志

爷,独闯天下 提交于 2019-11-28 21:40:25
redo日志 作用 innoDB存储引擎中,需要在服务器故障重启后,能够准确的恢复所有已提交的数据,保证数据持久性;如某个事务在内存Buffer Pool中已被提交(脏页),但服务器突然故障,数据就丢失了; 为了解决这个问题,可以采用修改页面刷新到磁盘,但因为可能只修改了一条记录,没必要实时刷新浪费时间,而且修改的记录并不一定是连续的,随机IO刷新较慢。 可以将已提交事务修改的记录记录下来,即某个表空间中某页的某个偏移量的值更新为多少,这个记录的文件就称为redo log。相比刷新内存中的页面到磁盘,redo log刷新到磁盘的内容小了很多,而且是一个顺序写入磁盘的过程。 redo日志不止记录索引插入/更新记录等操作,还有执行这个操作影响到的其他动作,如页分裂新增目录项记录,修改页信息等对数据页做的任何修改等等。 和binlog区别:binlog记录的是页已经正式落盘的操作且是包含所有存储引擎,redo日志记录InnoDB引擎下仍然在buffer pool中的操作,用于系统奔溃时恢复脏页。 日志 日志格式 type:类型 MLOG_1BYTE:1 :表示在页面的某个偏移量处写入1个字节的 redo 日志类型。 MLOG_2BYTE:2 MLOG_4BYTE:4 MLOG_8BYTE:8 MLOG_WRITE_STRING:30 MLOG_REC_INSERT:9

git

∥☆過路亽.° 提交于 2019-11-28 20:05:03
git 分布式版本管理系统 gitlab git 私库解决方案 GitHub git 公有库解决方案 git 安装 依赖安装 :yum install curl-devel expat-devel gettext-devel openssl-devel zlib-devel gcc perl-ExtUtils-MakeMaker -y tar xf git-2.7.4.tar.gz cd git-2.7.4 make prefix=/usr/local/git all make prefix=/usr/local/git install rm -rf /usr/bin/git ln -s /usr/local/git/bin/git /usr/bin/git git --version 初始化 mkdir test cd test 目录将会被版本控制 git init git config --global user.name "lwb" 添加名字 git config --global user.email 346978526@qq.com 添加邮箱 git config --list 查看配置信息 git log 四个区域:远程仓库 本地仓库 暂存区域 工作目录 四种状态 :untracked unmodified modified staged untracked

Apache优化——日志管理 11.22 访问日志不记录静态文件 11.23 访问日志切割 11.24 静态元素过期时间

戏子无情 提交于 2019-11-28 19:42:40
11.22 访问日志不记录静态文件 网站大多元素为静态文件,如图片、css、js等,这些元素可以不用记录 编辑虚拟主机配置文件“httpd-vhosts.conf”: [root@cham002 ~]# vim /usr/local/apache2.4/conf/extra/httpd-vhosts.conf 。。。。。。 <VirtualHost *:80> DocumentRoot "/data/wwwroot/111.com" ServerName 111.com ServerAlias www.example.com 2111.com.cn # <Directory /data/wwwroot/111.com> # <FilesMatch 123.php> # AllowOverride AuthConfig # AuthName "111.com user auth" # AuthType Basic #AuthUserFile /data/.htpasswd # require valid-user #</FilesMatch> # </Directory> <IfModule mod_rewrite.c> RewriteEngine on RewriteCond %{HTTP_HOST} !^111.com$ RewriteRule ^/(.*)$ http:/

linux(centos7.0以上版本)安装 mysql-5.7.24-linux-glibc2.12-x86_64.tar 版本的mysql

假如想象 提交于 2019-11-28 19:24:06
1:查看 linux下是否有老版本的mysql(有删除) 查找old mysql:rpm -qa | grep mysql 卸载:卸载命令:rpm –ev {包名}——:rpm -ev mysql-community-common-5.7.23-1.el7.x86_64 查找老版本mysql相关的安装目录命令:find / -name mysql 若查找到相关目录使用命令:rm –rf {目录名}:删除目录 2:查看 linux 下是否安装 mariadb 数据库(有的话需要删除,因为有冲突) 检查是否安装了 mariadb: rpm -qamariadb | grep 删除mariadb:rpm -e --nodeps mariadb-libs-5.5.52-1.el7.x86_64 3:创建mysql存放目录(/root/software) 创建文件夹:mkdir /root/software 解压到当前文件夹,并把解压后文件移动到指定文件夹并修文件夹名称: 解压:tar -xzvf mysql-5.7.24-linux-glibc2.12-x86_64.tar.gz 移动并修改名字:mv mysql-5.7.24-linux-glibc2.12-x86_64 /usr/local/mysql 4:创建主目录(data:存储目录) 创建主目录:mkdir /usr/local

docker私有仓库-harbor

萝らか妹 提交于 2019-11-28 19:04:30
简单说一下Harbor的部署,踩了几个坑,参考同事大神的配置文件,一脸懵逼的部署出来了,其中部分内容参考了网上一些大神的文档,本篇文章仅供参考学习,如有雷同,万分荣幸。 这篇文档仅限于centos7参考,掉坑概不负责 一、Harbor官方文档 1.部署及配置文档 https://github.com/vmware/harbor/blob/master/docs/installation_guide.md  https://github.com/vmware/harbor/releases  #安装包地址,安装文档里面有提及 2.用户使用指南 https://github.com/vmware/harbor/blob/master/docs/user_guide.md 3.Harbor各组件作用 (这个是网上抄的【http://blog.csdn.net/u010278923/article/details/77941995】) Harbor主要组件包括proxy,他是一个nginx前端代理,主要是分发前端页面ui访问和镜像上传和下载流量,上图中通过深蓝色先标识;ui提供了一个web管理页面,当然还包括了一个前端页面和后端API,底层使用mysql数据库;registry是镜像仓库,负责存储镜像文件,当镜像上传完毕后通过hook通知ui创建repository,上图通过红色线标识

Mysql5.7安装

半城伤御伤魂 提交于 2019-11-28 18:28:08
一、yum方式安装: 从CentOS 7.0发布以来,yum源中开始使用Mariadb来代替MySQL的安装。即使你输入的是yum install -y mysql , 显示的也是Mariadb的安装内容。 使用源代码进行编译安装又太麻烦。因此,如果想使用yum安装MySQL的话,就需要去下载官方指定的yum源. yum下载网址为:https://dev.mysql.com/downloads/repo/yum/ 找到Red Hat Enterprise Linux 7 / Oracle Linux 7 (Architecture Independent), RPM Package,单击后面的Download, 在新的页面中单击最下面的No thanks, just start my download.就可以下载到yum源了。 1)安装MySQL YUM资源库 [root@kevin ~]# yum localinstall https://dev.mysql.com/get/mysql57-community-release-el7-8.noarch.rpm 2)安装MySQL 5.7 [root@kevin ~]# yum install -y mysql-community-server 3)启动MySQL服务器和MySQL的自动启动 [root@kevin ~]#

TF-IDF算法原理

▼魔方 西西 提交于 2019-11-28 17:36:54
转自:http://www.cnblogs.com/biyeymyhjob/archive/2012/07/17/2595249.html wikipedia:https://en.wikipedia.org/wiki/Tf%E2%80%93idf 概念 TF-IDF(term frequency–inverse document frequency)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降。TF-IDF加权的各种形式常被搜寻引擎应用,作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外,因特网上的搜寻引擎还会使用基于连结分析的评级方法,以确定文件在搜寻结果中出现的顺序。    原理 在一份给定的文件里, 词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(分子一般小于分母 区别于IDF),以防止它偏向长的文件。(同一个词语在长文件里可能会比短文件有更高的词频,而不管该词语重要与否。)    逆向文件频率 (inverse document frequency, IDF) 是一个词语普遍重要性的度量

TF-IDF算法原理

↘锁芯ラ 提交于 2019-11-28 17:36:43
原文: https://www.cnblogs.com/biyeymyhjob/archive/2012/07/17/2595249.html   TF-IDF(term frequency–inverse document frequency)是一种用于资讯检索与资讯探勘的常用加权技术。TF-IDF是一种统计方法,用以评估一字词对于一个文件集或一个语料库中的其中一份文件的重要程度。 字词的重要性随着它在文件中出现的次数成正比增加,但同时会随着它在语料库中出现的频率成反比下降 。TF-IDF加权的各种形式常被搜寻引擎应用,作为文件与用户查询之间相关程度的度量或评级。除了TF-IDF以外,因特网上的搜寻引擎还会使用基于连结分析的评级方法,以确定文件在搜寻结果中出现的顺序。    原理:      在一份给定的文件里, 词频 (term frequency, TF) 指的是某一个给定的词语在该文件中出现的次数。这个数字通常会被归一化(分子一般小于分母 ,区别于IDF),以防止它偏向长的文件。同一个词语在长文件里可能会比短文件有更高的词频,而不管该词语重要与否。 逆向文件频率 (inverse document frequency, IDF) 是一个词语普遍重要性的度量。某一特定词语的IDF,可以由总文件数目除以包含该词语之文件的数目,再将得到的商取对数得到。    

Linux常用命令2

血红的双手。 提交于 2019-11-28 17:35:42
系统重启,关机 shutdown -h now 立刻关闭系统 init 0 关闭系统 telinit 0 关闭系统 shutdown -h 20:00 :预定时间关闭系统(晚上8点关机,如果现在超过8点,则明晚8点) shutdown -h +10 :预定时间关闭系统(10分钟后关机) shutdown -h hours:minutes & 按预定时间关闭系统 shutdown -c 取消按预定时间关闭系统 shutdown -r now 立刻重启 reboot 立刻重启 logout 注销 系统性能 top :动态实时显示cpu、内存、进程等使用情况(类似windows下的任务管理器) top -d 2 -p 7427 :-d为画面更新的秒数,默认5秒,-p为指定进程pid的信息 vmstat 2 10 :每隔2秒采集一次服务器状态,采集10次(查看内存、io读写状态、cpu) free -h :查看系统内存及虚拟内存使用情况 df -h :显示磁盘的空间使用情况 iostat :可查io读写、cpu使用情况 sar -u 3 5 :查看cpu使用情况(3秒一次,共5次) sar -d 2 3 :评估磁盘性能 ps aux|grep firefox :获取火狐的进程号(PID)(可查看进程占用cpu、内存百分比及进程触发指令的路径) kill -9 进程号 :强制杀死进程

【04】MySQL:存储引擎

南笙酒味 提交于 2019-11-28 17:28:46
写在前面的话 在使用 Linux 的时候,可以经常听到有关文件系统 FS(File System)的东西,MySQL 也有属于自己类似的东西,那就是存储引擎。之前在创建数据表的时候,在 Create table 后面一般都加了 engine=innodb。这就是指定存储引擎。 关于存储引擎 可以将存储引擎就当作 Linux 而言的文件系统,其主要功能在于:数据读写 / 安全 / 一致性,提升读写性能,提供热备份,自动故障恢复,高可用等。 需要知道的存储引擎大致有: InnoDB , MyISAM , MEMORY ,ARCHIVE, CSV , BLACKHOLE ,MERGE,NDBCLUSTER,EXAMPLE 等 查看数据库支持的存储引擎: show engines; 结果: 值得注意的是,存储引擎针对的对象是表,这意味着一个库中,可能存在多种存储引擎,例如: select TABLE_NAME,ENGINE from information_schema.tables where TABLE_SCHEMA="mysql"; 结果: 对于 MySQL 的两大分支 Percona 和 MariaDB 的存储引擎: Percona:默认 XtraDB MariaDB:默认 InnoDB 同样也有其它的存储引擎:TokuDB,RocksDB,MyRocks 等。