uniq

8.10 shell特殊符号cut命令/8.11 sort_wc_uniq命令/8.12 tee_tr_split命令 任意个任意字符 ? 任意一个字符 注释字符 \ 脱义字符 | 管道符 cut 分割，-d 分隔符 -f 指定段号 -c 指定第几个字符 sort 排序(默认以asci码排序)， -n 以数字排序 -r 反序 -t 分隔符 -kn1/-kn1,n2 -u 排序后去重 wc -l 统计行数 -m 统计字符数 -w 统计词 uniq 去重， -c统计行数 tee 和>类似，重定向的同时还在屏幕显示 tr 替换字符， tr 'a' 'b',大小写替换tr '[a-z]' '[A-Z]' split 切割，-b大小（默认单位字节），-l 数字 针对行来切割 [root@Srv001 ~]# cat /etc/passwd | head -n2 | cut -d ":" -f 1,7 root:/bin/bash bin:/sbin/nologin sort 2.txt | uniq -c uniq 去重的内容一定要连续的,所以要先用排序 tee -a 追加 [root@Srv001 ~]# echo "aminglinux" | tr '[al]' [AL] AmingLinux split -b 1000M aaa 以每个文件1000M大小来切割 split -b

文章目录 简介 效果图 过程 将需要的内容保存至test文件中 词频统计思路 脚本命令简单 问题 简介 使用linux简单的命令进行词频统计 效果图 过程 将需要的内容保存至test文件中 cat test 词频统计思路 使用换行符\n将所有的空格替换 去掉标点符号 sort、uniq进行统计 脚本命令简单 cat test | tr ' ' '\n' | sed 's/[.,]//g' | sort | uniq - c Linux命令知识点解释： sort: Linux sort命令用于将文本文件内容加以排序。 uniq Linux uniq 命令用于检查及删除文本文件中重复出现的行列，一般与 sort 命令结合使用。 参数-c: -c或--count 在每列旁边显示该行重复出现的次数。 问题 第一行不知道为啥是12 个空，经过试验发现是每个英文段落的首行缩进部分没有去除。 来源： CSDN 作者： 变秃，才能变强 链接： https://blog.csdn.net/Dchanong_/article/details/104581658

特殊符号 * 代表零个或多个任意字符 ? 代表一个任意字符 #注释符号，后面的内容会被忽略 \脱义字符会把后面的特殊符号还原为普通字符 | 管道符 用作将前面的命令输出作为后面命令的输入 命令cut用来截取某一个字段 格式：cut -d '分隔字符' [-cf] n 。这里n是数字 -d后面跟分隔字符，分隔字符用单引号括起来 -f 后面接的是第几个区段 -c 后面接的是第几个字符，可以是一个数字，也可以是一个区间，还可以是多个数字。 命令 sort 用作排序 格式：sort [-t 分隔符] [-kn1,n2] [-nru] ,n1和n2是数字。 sort不加任何选项，就会从首字符向后一些按ASCII码值进行比较，最后将它们按升序排序 -t 后面跟分隔字符，作用跟cut的-d选项一样，-k后面可以跟单个数字表示对第几个区域的字符串排序 -n 使用纯数字排序 -r反向排序 -u 表示去重复 -kn1，n2 表示有n1区间排序到n2区间 wc 命令用于统计文档的行数，字符数或词数 不加任何选项直接跟文档 ，会把行数、词数、字符数依次输出。 -l 统计行数 -m 统计字符数 -w 统计词数 uniq删除重复行 -c 统计重复行出现的行数 从上面的图片中可以看到还有相同的行，所以在使用uniq命令前，要先排序 tee命令后面跟文件名，作用类似于重定向>,但它比重定向多一个功能

Shell 中的 sort 和 uniq 命令 sort ：通常用来排序 uniq ：通常对重复字符进行处理 sort -n sort -r sort -u 去重，u: unique（独一无二的） sort -o 指定输出文件 sort -t 指定分隔符 sort -k 指定列排序(配合-t使用) 所有参数都不改变原文件，只是在终端输出 uniq -u 显示不重复的行 uniq -d 只显示重复的行 uniq -c 显示所有数字重复的次数 [root@localhost sort-uniq]# cat numbers 12 2 1 3 55 5 5 354 54 0 [root@localhost sort-uniq]# sort numbers #默认对每一行的第一个单个数字进行排序 0 1 12 2 3 354 5 5 54 55 [root@localhost sort-uniq]# sort -n numbers #对纯数字排序 0 1 2 3 5 5 12 54 55 354 [root@localhost sort-uniq]# sort -rn numbers #反向纯数字排序 354 55 54 12 5 5 3 2 1 0 [root@localhost sort-uniq]# sort -rn numbers -o NUM #-o指定输出文件 [root

@[toc] 本文将为读者提供许多不同 Linux 命令的简要概述。 将特别强调解释如何在执行数据科学任务的上下文中使用每个命令。 我们的目标是让读者相信这些命令中的每一个都非常有用，并且让他们了解每个命令在操作或分析数据时可以扮演什么角色。 管道符号 “ | ” 许多读者可能已经熟悉了“ | ”符号，但是如果不熟悉的话，值得提前指出: 下面几节中讨论的命令的所有输入和输出都可以使用“ | ”符号自动“管道”输入到彼此中！ 这意味着每个命令完成的所有特殊任务都可以链接在一起，从而生成非常强大和简短的迷你程序，所有这些都直接在命令行上完成！ grep 什么是 grep？ “ grep”是一个可用于从文件中提取匹配文本的工具。 您可以指定许多不同的控件标志和选项，这些标志和选项允许您非常有选择性地确定希望从文件或流中提取哪些文本子集。 Grep 通常用作“面向行”的工具，这意味着在找到匹配的文本时，Grep 将打印该行上的所有文本，尽管您可以使用“-o”标志只打印匹配的行部分。 为什么 grep 是有用的？ “ grep”很有用，因为它是在大量文件中搜索特定文本块的最快方法。 一些很好的用例有: 从巨大的 web 服务器日志中过滤访问特定的 web 页面; 为特定关键字的实例搜索代码库(这比使用 Eclipse Editor 的搜索要快得多，也更可靠) ; 在 Unix

session防御方法 1、每当用户登陆的时候就进行重置sessionID 2、sessionID闲置过久时，进行重置sessionID 3、 大部分防止会话劫持的方法对会话固定攻击同样有效。如设置HttpOnly，关闭透明化Session ID，User-Agent验证，Token校验等。 防御方法： 1、 更改Session名称。PHP中Session的默认名称是PHPSESSID，此变量会保存在Cookie中，如果攻击者不分析站点，就不能猜到Session名称，阻挡部分攻击。 2、 关闭透明化Session ID。透明化Session ID指当浏览器中的Http请求没有使用Cookie来存放Session ID时，Session ID则使用URL来传递。 3、 设置HttpOnly。通过设置Cookie的HttpOnly为true，可以防止客户端脚本访问这个Cookie，从而有效的防止XSS攻击。 4、 关闭所有phpinfo类dump request信息的页面。 5、 使用User-Agent检测请求的一致性。但有专家警告不要依赖于检查User-Agent的一致性。这是因为服务器群集中的HTTP代理服务器会对User-Agent进行编辑，而本群集中的多个代理服务器在编辑该值时可能会不一致。 6、 加入Token校验。同样是用于检测请求的一致性，给攻击者制造一些麻烦

有网友在问答网站Quora上提问：“有哪些省时小技巧，是每个Linux用户都应该知道的？” Joshua Levy 平常就在 Linux 平台工作，并且他积累了不少实用命令行技巧，他在回复中精选出一部分。对技术用户来说，这些技巧挺重要或实用，但知道的人并不多。下文略有点长，一般来说，用户也不需要对全部内容都了解，但为了达到省时方便的目的，Joshua Levy 仍不遗余力做了校对，以保证列出的每一条都值得一读，前提是你是一位Linux重度用户。 为了获取文中提到的一个命令的更多信息，先试下“man <命令名称>”，在一些情况下，为了让这条命令可以正常执行，你必须安装相应的包，可以用aptitude 或者 yum。如果失败了，求助Google。 基础篇 学习基础的Bash。事实上，读整个的bash的帮助手册；很容易理解而且篇幅也不算长。其他一些可选的shell外观可能更漂亮，但是bash功能很强大而且总是能用（主要学习zsh或者tcsh在很多情况下你会受到限制）。 学习vim，对于Linux下的随机编辑，几乎没有工具能出其右（即使你大部分的时间里都在使用Emacs或者Eclipse）。 通过ssh-agent，ssh-add等命令，了解ssh，以及跳过每次登陆时密码验证的基础办法，。 熟悉bash下的工作管理: &，Ctrl-Z，Ctrl-C，jobs，fg，bg，kill， 等等。

处理文本的工具sed 行编辑器 ,默认自带循环。 sed是一种流编辑器，它一次处理一行内容。 功能：主要用来自动编辑一个或多个文件,简化对文件的反复操作,编写转换程序等 sed工具 用法： sed [option]... 'script' inputfile... 常用选项： -n：不输出模式空间内容到屏幕，即不自动打印 -e: 多点编辑 -f： 从指定文件中读取编辑脚本 -r: 支持使用扩展正则表达式 -i.bak: 备份文件并原处编辑 地址定界： (1) 不给地址：对全文进行处理 (2) 单地址： #: 指定的行，$：最后一行 /pattern/：被此处模式所能够匹配到的每一行 (3) 地址范围： #,# #,+# /pat1/,/pat2/ #,/pat1/ (4) ~：步进 1~2 奇数行 2~2 偶数行 编辑命令： d: 删除模式空间匹配的行，并立即启用下一轮循环 p：打印当前模式空间内容，追加到默认输出之 a：在指定行后面追加文本 支持使用\n实现多行追加 i：在行前面插入文本 c ：替换行为单行或多行文本 w /path/somefile: 保存模式匹配的行至指定文件 r /path/somefile：读取指定文件的文本至模式空间中 匹配到的行后 =: 为模式空间中的行打印行号 !:模式空间中匹配行取反处理 s///：查找替换,支持使用其它分隔符，s@@@，s###