sed

sed是一种流编辑器，它是文本处理中非常中的工具，能够完美的配合正则表达式使用，功能不同凡响。
处理时，把当前处理的行存储在临时缓冲区中，称为“模式空间”（pattern space），接着用sed命令处理缓冲区中的内容，处理完成后，把缓冲区的内容送往屏幕。接着处理下一行，这样不断重复，直到文件末尾。文件内容并没有 改变，除非你使用重定向存储输出。Sed主要用来自动编辑一个或多个文件；简化对文件的反复操作；编写转换程序等。

命令格式：

sed [options] 'command' file(s)
sed [options] -f scriptfile file(s)

选项：

-n∶使用安静(silent)模式。在一般 sed 的用法中，所有来自 STDIN的资料一般都会被列出到萤幕上。但如果加上 -n 参数后，则只有经过sed 特殊处理的那一行(或者动作)才会被列出来。
-e∶直接在指令列模式上进行 sed 的动作编辑；
-f∶直接将 sed 的动作写在一个档案内， -f filename 则可以执行 filename 内的sed 动作；
-r∶sed 的动作支援的是延伸型正规表示法的语法。(预设是基础正规表示法语法)
-i∶直接修改读取的档案内容，而不是由萤幕输出。

参数：
文件：指定待处理的文本文件列表。

命令：

a   ∶新增， a 的后面可以接字串，而这些字串会在新的一行出现(目前的下一行)～
c   ∶取代， c 的后面可以接字串，这些字串可以取代 n1,n2 之间的行！
d   ∶删除，因为是删除啊，所以 d 后面通常不接任何咚咚；
i   ∶插入， i 的后面可以接字串，而这些字串会在新的一行出现(目前的上一行)；
p   ∶列印，亦即将某个选择的资料印出。通常 p 会与参数 sed -n 一起运作～
s   ∶取代，可以直接进行取代的工作哩！通常这个 s 的动作可以搭配正规表示法！例如 1,20s/old/new/g 就是啦！

sed命令

a\ 在当前行下面插入文本。
i\ 在当前行上面插入文本。
c\ 把选定的行改为新的文本。
d 删除，删除选择的行。
D 删除模板块的第一行。
s 替换指定字符
h 拷贝模板块的内容到内存中的缓冲区。
H 追加模板块的内容到内存中的缓冲区。
g 获得内存缓冲区的内容，并替代当前模板块中的文本。
G 获得内存缓冲区的内容，并追加到当前模板块文本的后面。
l 列表不能打印字符的清单。
n 读取下一个输入行，用下一个命令处理新的行而不是用第一个命令。
N 追加下一个输入行到模板块后面并在二者间嵌入一个新行，改变当前行号码。
p 打印模板块的行。
P(大写) 打印模板块的第一行。
q 退出Sed。
b lable 分支到脚本中带有标记的地方，如果分支不存在则分支到脚本的末尾。
r file 从file中读行。
t label if分支，从最后一行开始，条件一旦满足或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
T label 错误分支，从最后一行开始，一旦发生错误或者T，t命令，将导致分支到带有标号的命令处，或者到脚本的末尾。
w file 写并追加模板块到file末尾。  
W file 写并追加模板块的第一行到file末尾。  
! 表示后面的命令对所有没有被选定的行发生作用。  
= 打印当前行号码。  
\# 把注释扩展到下一个换行符以前。

sed替换标记，配合s指令使用：

 g  表示行内全面替换。
 p  表示打印行。
 w  表示把行写入一个文件。
 x  表示互换模板块中的文本和缓冲区中的文本。
 y  表示把一个字符翻译为另外的字符（但是不用于正则表达式）
 \1  子串匹配标记
 &  已匹配字符串标记

sed元字符集：

 ^  匹配行开始，如：/^sed/匹配所有以sed开头的行。
 $  匹配行结束，如：/sed$/匹配所有以sed结尾的行。   如果$匹配不上，检查文本是不是 CR LF 换行: \r$
 .  匹配一个非换行符的任意字符，如：/s.d/匹配s后接一个任意字符，最后是d。
 * 匹配0个或多个字符，如：/*sed/匹配所有模板是一个或多个空格后紧跟sed的行。
 []  匹配一个指定范围内的字符，如/[ss]ed/匹配sed和Sed。
 [^]  匹配一个不在指定范围内的字符，如：/[^A-RT-Z]ed/匹配不包含A-R和T-Z的一个字母开头，紧跟ed的行。
 (..)  匹配子串，保存匹配的字符，如s/\(love\)able/\1rs，loveable被替换成lovers。
 &  保存搜索字符用来替换其他字符，如s/love/ **&** /，love这成 **love** 。
 <  匹配单词的开始，如:/<love/匹配包含以love开头的单词的行。
 >  匹配单词的结束，如/love>/匹配包含以love结尾的单词的行。
 x{m}  重复字符x，m次，如：/0{5}/匹配包含5个0的行。
 x{m,}  重复字符x，至少m次，如：/0\{5,\}/匹配至少有5个0的行。
 x{m,n}  重复字符x，至少m次，不多于n次，如：/0\{5,10\}/匹配5~10个0的行。

定界符：

字符 / 在sed中作为定界符使用，也可以使用任意的定界符 比如：
sed 's:test:TEXT:g'
sed 's|test|TEXT|g'
定界符出现在样式内部时，需要进行转义：
sed 's/\/bin/\/usr\/local\/bin/g'

模板是定界符包含的部分 可以是正则表达式

4．使用实例：
假设我们有一文件名为ab

[root@localhost ruby]# cat ab
Hello!
ruby is me,welcome to my blog.
end

删除某行

[root@localhost ruby] # sed '1d' ab              #删除第一行
[root@localhost ruby] # sed '$d' ab              #删除最后一行
[root@localhost ruby] # sed '1,2d' ab           #删除第一行到第二行
[root@localhost ruby] # sed '2,$d' ab           #删除第二行到最后一行

显示某行

[root@localhost ruby] # sed -n '1p' ab           #显示第一行
[root@localhost ruby] # sed -n '$p' ab           #显示最后一行
[root@localhost ruby] # sed -n '1,2p' ab        #显示第一行到第二行
[root@localhost ruby] # sed -n '2,$p' ab        #显示第二行到最后一行

使用模式进行查询

[root@localhost ruby] # sed -n '/ruby/p' ab    #查询包括关键字ruby所在所有行
[root@localhost ruby] # sed -n '/ruby/!p' ab    #查询除了关键字ruby所在所有行
[root@localhost ruby] # sed -n '/\$/p' ab        #查询包括关键字$所在所有行，使用反斜线\屏蔽特殊含义

增加一行或多行字符串

[root@localhost ruby] # sed '1a drink tea' ab  #第一行后增加字符串"drink tea"
Hello!
drink tea
ruby is me,welcome to my blog.
end
[root@localhost ruby] # sed '1,3a drink tea' ab #第一行到第三行后增加字符串"drink tea"
Hello!
drink tea
ruby is me,welcome to my blog.
drink tea
end
drink tea
[root@localhost ruby] # sed '1a drink tea\nor coffee' ab   #第一行后增加多行，使用换行符\n
Hello!
drink tea
or coffee
ruby is me,welcome to my blog.
end

代替一行或多行

[root@localhost ruby] # sed '1c Hi' ab                #第一行代替为Hi
Hi
ruby is me,welcome to my blog.
end
[root@localhost ruby] # sed '1,2c Hi' ab             #第一行到第二行代替为Hi
Hi
end

sed '1c /   Hi' ab                #第一行代替为"   Hi",注意Hi前面有空格

替换一行中的某部分
格式：sed 's/要替换的字符串/新的字符串/g' （要替换的字符串可以用正则表达式）

[root@localhost ruby] # sed -n '/ruby/p' ab | sed 's/ruby/bird/g'    #替换ruby为bird
[root@localhost ruby] # sed -n '/ruby/p' ab | sed 's/ruby//g'        #删除ruby

今天在写一个脚本遇到问题，----需要在sed中引入shell变量，在网上搜了变天才找到，经过测试
这四种方法都可用，在这里跟大家分享下，=---同时谢谢netman大哥，前辈就是前辈哈哈

1.eval sed 's/$a/$b/' filename
2.sed "s/$a/$b/" filename
3.sed 's/'$a'/'$b'/' filename
4.sed s/$a/$b/ filename

将"bind-address = xxxxx"替换为"bind-address = $AUTH_IP"

sed -i 's/\(bind-address\s*\=\).*/\1 '$AUTH_IP'/' /etc/mysql/my.cnf

匹配子串 可以用()括起来，需要转义，即：\(匹配子串\)，如上面的\(bind-address\s*=\)，子串匹配标记\1，可以多段，如：\1\2\3

插入

[root@localhost ruby] # sed -i '$a bye' ab         #在文件ab中最后一行直接输入"bye"
[root@localhost ruby]# cat ab
Hello!
ruby is me,welcome to my blog.
end
bye

删除匹配行

sed -i '/匹配字符串/d'  filename  （注：若匹配字符串是变量，则需要""，而不是''。）

替换匹配行中的某个字符串

sed -i '/匹配字符串/s/替换源字符串/替换目标字符串/g' filename

sed中的值包含定界符/时，可用其他定界符：

sed 's/要替换的字符串/新的字符串/'
sed 's:要替换的字符串:新的字符串:'
sed 's#要替换的字符串#新的字符串#'

sed中的值包含'时，外层使用双引号，里面使用单引号，转义双引号

sed 's/要替换的字符串/新的字符串/'
sed "s/要替换的字符串/新的字符串/"

注：上面说的界定符和引号。要依据具体情况，减少转义字符\的使用，增加可读性。如：

sed "s/888'888/888\"888/"

注：单引号'不接受转义，下面这种写法是错的

sed 's/888\'888/888"888/'

匹配数字，不支持\d的写法

[0-9]
[0-9]\{个数\}

在指定内容行的前一行或后一行添加内容

    sed -i '/  指定内容行  /  i或a  \  要插入的内容' /etc/my.cnf

    #匹配行之前添加内容用i
    sed -i '/\[mysqld\]/i\lower_case_table_names=1' /etc/my.cnf
    #匹配行之后添加内容用a
    sed -i '/\[mysqld\]/a\lower_case_table_names=1' /etc/my.cnf

效果如下：(#匹配行后加的情况)

...
# The MySQL server
[mysqld]
lower_case_table_names=1
port            = 3306
socket          = /tmp/mysql.sock
...

RHEL6.5里面man sed的解释：

       a \
       text   Append text, which has each embedded newline preceded by a backslash.
       追加文本（之前），每个内嵌换行符前面加上一个反斜杠。
       i \
       text   Insert text, which has each embedded newline preceded by a backslash.
       插入文本（之后），每个内嵌换行符前面加上一个反斜杠。

同时包含
sed -n '/root/ {/bash/ s#bash#rrrr#gp}' /etc/passwd
找root，若找到 找bash，若找到 进行替换操作

找到同时包含tail log csv 字符串的行，不分先后

[root@RHEL ~]# cat 1.txt
123tail456log789csv
456log789csv123tail
789csv123tail456log

[root@RHEL ~]# cat 1.txt | sed -n '/tail/{/log/{/csv/p}}'
123tail456log789csv
456log789csv123tail
789csv123tail456log
[root@RHEL ~]#

下一个：n命令
如果test被匹配，则移动到匹配行的下一行，替换这一行的aa，变为bb，并打印该行，然后继续：

sed '/test/{ n; s/aa/bb/; }' file

解析参数

id=$(sed '/^ID=/!d;s/.*=//' urfile)
ip=$(sed '/^IP=/!d;s/.*=//' urfile)
name=$(sed '/^Name=/!d;s/.*=//' urfile)
echo $id
echo $ip
echo $name

/^ID=/!d/   删除不是以ID开头的行。
s/.*=//  替换.*=为空

[root@RHEL ~]# cat urfile
ID=123
IP=192.168.3.154
Name=test
[root@RHEL ~]# id=`sed '/^ID=/!d;s/.*=//' urfile`
[root@RHEL ~]# ip=`sed '/^IP=/!d;s/.*=//' urfile`
[root@RHEL ~]# name=`sed '/^Name=/!d;s/.*=//' urfile`
[root@RHEL ~]# echo $id
123
[root@RHEL ~]# echo $ip
192.168.3.154
[root@RHEL ~]# echo $name
test
[root@RHEL ~]#

#我之前只会这样：
id=$(cat urfile | grep ID=)
echo $id | sed 's/ID=\(.*\)/\1/'

sed获取最小匹配的方法：

1.通过 [^str] 的方法找到最近的右侧匹配规则  sed 's/\([^)]*\)//g'
2.使用perl代替sed                    perl -pe 's/\(.*?\)//g'

sed支持的匹配规则与perl不同，关于字符是否需要转义也是不一样的。举例中的 "(" 和 ")" 在sed中不需要转义，在perl中则需要转义。

把文本文件中的所有换行符替换成"\n"字符

比如把如下文本
Hello,
World!
替换成：
Hello,\nWorld!

sed s/$/"\\\n"/ test.txt|tr -d '\n'

把文本文件中的所有"\n"字符替换成换行符

比如把如下文本
Hello,\nWorld!
替换成：
Hello,
World!

sed 's/\\n/\n/g' test.txt

输出从第一行到出现 CERTIFICATE 的这一行，找不到则全文输出

sed -n '1,/CERTIFICATE/ p'

当找到存在 CERTIFICATE 的行时，开始输出从这一行到文件末尾的所有行。找不到则输出为空

sed -n '/CERTIFICATE/,$ p'