[Shell 基础] sed 的使用方法

================================================================================
# sed -e 's/123/1234/' a.txt
将a.txt文件中所有行中的123用1234替换（-e表示命令以命令行的方式执行；参数s，表示执行替换操作）
# sed -e '3,5 a4' a.txt
将a.txt文件中的3行到5行之间所有行的后面添加一行内容为4的行（参数a，表示添加行，参数a后面指定添加的内容）
# sed -e '1 s/12/45/' a.txt
把第一行的12替换成45
sed -i "s/oldstring/newstring/g" `grep oldstring -rl yourdir`
批量处理通过grep搜索出来的所有文档，将这些文档中所有的oldstring用newstring替换（-i参数表示直接对目标文件操作）
$ sed -n 's/^test/mytest/p' example.file
(-n)选项和p标志一起使用表示只打印那些发生替换的行。也就是说，如果某一行开头的test被替换成mytest，就打印它。(^这是正则表达式中表示开头，该符号后面跟的就是开头的字符串)（参数p表示打印行）
$ sed 's/^go/&19850715/' example.file
表示被替换换字符串被找到后，被替换的字符串通过＆符号连接给出的字符串组成新字符传替换被替换的字符串,所有以go开头的行都会被替换成它自已加19850715，变成go19850715
$ sed -n 's/\(love\)able/\1rs/p' example.file
love 被标记为1，所有loveable会被替换成lovers，而且替换的行会被打印出来。需要将这条命令分解，s/是表示替换操作，\(love\)表示选中love字符串，\(love\)able/表示包含loveable的行，\(love\)able/\l表示love字符串标记为1，表示在替换过程中不变。rs/表示替换的目标字符串。这条命令的操作含义：只打印替换了的行
$ sed 's#10#100#g' example.file
不论什么字符，紧跟着s命令的都被认为是新的分隔符，所以，“#”在这里是分隔符，代替了默认的“/”分隔符。表示把所有10替换成100。
$ sed -n '/love/,/unlove/p' example.file
只打印包含love字符串行到包含unlove字符串行之间的所有行（确定行的范围就是通过逗号实现的）
$ sed -n '5,/^wang/p' example
只打印从第五行开始到第一个包含以wang开始的行之间的所有行
$ sed '/love/,/unlove/s/$/go/' example.file
对于包含love字符串的行到包含unlove字符串之间的行，每行的末尾用字符串go替换。
字符串$/表示以字符串结尾的行，$/表示每一行的结尾，s/$/go/表示每一行的结尾添加go字符串
$ sed -e '11,53d' -e 's/wang/pan/' example.file
(-e)选项允许在同一行里执行多条命令。如例子所示，第一条命令删除11至53行，第二条命令用pan替换wang。命令的执行顺序对结果有影响。如果两个命令都是替换命令，那么第一个替换命令将影响第二个替换命令的结果。(参数d，表示删除指定的行)
$ sed --expression='s/wang/pan/' --expression='/love/d' example.file
一个比-e更好的命令是--expression。它能给sed表达式赋值。
$ sed '/go/r file' example.file
file里的内容被读进来，显示在与go匹配的行后面，如果匹配多行，则file的内容将显示在所有匹配行的下面。参数r，表示读出文件，后面空格紧跟文件名称
$ sed -n '/test/w file' example.file
在example.file中所有包含test的行都被写入file里。参数w，表示将匹配的行写入到指定的文件file中
$ sed '/^test/a\oh! My god!' example.file
'oh! My god!'被追加到以test开头的行的后面，sed要求参数a后面有一个反斜杠。
$ sed '/test/i\oh! My god!' example.file
'oh! My god!'被追加到包含test字符串行的前面，参数i表示添加指定内容到匹配行的前面，sed要求参数i后面有一个反斜杠
$ sed '/test/{ n; s/aa/bb/; }' example.file
如果test被匹配，则移动到匹配行的下一行，替换这一行的aa，变为bb。参数n，表示读取匹配行的下一个输入行，用下一个命令处理新的行而不是匹配行。Sed要求参数n后跟分号
$ sed '1,10y/abcde/ABCDE/' example.file
把1—10行内所有abcde转变为大写，注意，正则表达式元字符不能使用这个命令。参数y，表示把一个字符翻译为另外的字符（但是不用于正则表达式）
$ sed -i 's/now/right now/g' test_sed_command.txt
表示直接操作文件test_sed_command.txt，将文件test_sed_command.txt中所有的now用right now替换。参数-i，表示直接操作修改文件，不输出。
$ sed -e '/old/h' -e '/girl-friend/G' test_sed_command.txt
首先了解参数h，拷贝匹配成功行的内容到内存中的缓冲区。在了解参数G，获得内存缓冲区的内容，并追加到当前模板块文本的后面。上面命令行的含义：将包含 old字符串的行的内容保存在缓冲区中，然后将缓冲区的内容拿出来添加到包含girl-friend字符串行的后面。隐含要求搜集到缓冲区的匹配行在需要添加行的前面。
$ sed -e '/test/h' -e '/go/x' example.file
将包含test字符串的行的内容保存在缓冲区中，然后再将缓冲区的内容替换包含go字符串的行。参数x，表示行替换操作。隐含要求搜集到缓冲区的匹配行在需要被替换行的前面。
================================================================================


0. 文件内容
$ cat test.log
key1=value1
key2=value2
key3=value3

使用方法
sed [option] filename 或 cat filename | sed [option]


1. 删除行
1-1. 正则表达式
$ cat filename sed [-e] '1,2d' <= 指定行号, 删除第 1, 2 行
$ cat filename sed [-e] '/key1/d' <= 包含 key1 的行被删除
$ cat filename sed [-e] '/^key1/d' <= 以 key1 开头的行被删除
$ cat filename sed [-e] '/value1$/d' <= 以 value1 结尾的行被删除
$ cat filename sed [-e] '/^key1=value1$/d' <= key1=value1 行完全匹配的行被删除
$ cat filename sed [-e] '/^key1$/d' <= 无匹配行, 则不删除
$ cat filename sed [-e] '/key1=value1/,/key2=value2/d' <= 指出删除范围, 加逗号
$ cat filename sed [-e] "/AAA/,/BBB/s/$/TAIL/"  <= 包含AAA到包含BBB的行, 在其末尾添加TAIL
$ cat filename sed [-e] '/^key1/d' -e '/^key2/d' <= 分别指出删除行, 删除多行
$ cat filename sed [-e] '/^key1/d <= 以换行的形式来指定多行
/^key2/d'
$ cat filename sed [-e] '1,/^$/!d;/^$/d' <= 命令连写, 保留从第一行开始到第一个空行结束, 并删除空行
$ sed '/^$/d' file <= 删除空行
$ sed '/^  *$/d' file <= 删除空格行 (两个空格)
$ sed '/^ *$/d' file <= 删除空行与空格行 (一个空格)


2. 替换行内的字符串
2-1. s/: 开头, /: 中间, /g: 结尾 (g: 匹配一行中所有字符)
$ sed 's/AAA/BBB/g'
$ sed 's/  */ /g' file (两个空格) <= 替换所有连续空格为一个空格
$ sed 's/  *//g' file (两个空格) <= 删除所有空格
$ sed 's/ */ /g' file (一个空格) <= 每个字符用一个空格隔开
$ sed 's/^/HEAD/;s/$/TAIL/' file <= 在行首行尾添加字符
$ sed 's/^,//' file <= 去掉行首 , 号
$ sed '1 s/AAA/BBB/' filename  <= 替换第 1 行
$ sed '1,2 s/AAA/BBB/' filename  <= 替换第 1, 2 行
$ sed [-i] "s/error/ERROR/g" `grep "error" -rl logs` <= 指定某文件夹下所有文件
$ sed -n "1,2 s/key//p" <= -n p 同时使用表示只打印被替换的行
$ sed "s/key/&->/" <= 用原字符串加附加的字符串的结果替换原字符串
$ sed "s#10#100#g"  <= # 来替换 / 做分隔符

$ sed "s/\(love\)able/\1rs/" filename
love被标记为1, 所有loveable会被替换成lovers
s/是表示替换操作, \(love\)表示选中love字符串, \(love\)able/表示包含loveable的行
\(love\)able/\1表示love字符串标记为1, 来引用love字符串, 表示在替换过程中不变, rs/表示替换的目标字符串

2-2. 使用变量替换字符串
使用变量时, 要用双引号 sed "", 其他形式可以用单引号 ''
OLD="abcde"
STR="|"
NEW=$(echo $OLD | sed "s/bcd/$STR/g") # abcde -> a|e


3. 输出
3-1. 直接修改本文件
$ sed -i '/^$/d' filename

3-2. 导出到其他文件
$ sed '/^$/d' > filename

4. 插入行
$ sed '/key/i ###' filename <= 在行前插入
$ sed '/key/a ###' filename <= 在行后插入
$ sed '1,3 i###' filename <= 在第 1 3 行之间所有行前插入
$ sed '1,3 a###' filename <= 在第 1 3 行之间所有行后插入

5. 打印
$ sed -n "/AAA/,/BBB/p" filename <= 打印 AAA 到 BBB 之间所有行
$ sed -n "1,/BBB/p" filename <= 打印第 1 行到 BBB 之间所有行
$ sed -n "2,5p" filename <= 打印第 2 行到第 5 行之间所有行
$ sed "2q" filename <= 打印开头 2 行

================================================================================
X. sed 替换文本内容

X-1. shell 脚本
------------------------------------------------------
#!/bin/bash

REPLACE_TXT=${REPLACE_TXT:-replace_database.txt}
TMP_FILE=${TMP_FILE:-/tmp/replace_database.sh.tmp}

for x in $* ; do
  cat $x | sed -e '/########## DATABASE/,/##########/d
/^oracle_conn/d
/^pg_conn_/d' > $TMP_FILE
  cat $REPLACE_TXT $TMP_FILE > $x
done

rm -f $TMP_FILE
------------------------------------------------------

X-2. 被替换的原文件
$ cat file_1.txt
########## DATABASE
oracle_conn=jdbc:oracle:thin:username/psw@localhost:1521/XE
pg_conn_0=jdbc:postgresql://localhost:1234/db1?user=username&password=psw
pg_conn_1=jdbc:postgresql://localhost:5678/db2?user=username&password=psw
##########

X-3. 替换的内容
$ cat replace_database.txt
########## DATABASE
oracle_conn=jdbc:oracle:thin:username/psw@localhost:1521/XE
pg_conn_0=jdbc:postgresql://localhost:1111/db3?user=username&password=psw
pg_conn_1=jdbc:postgresql://localhost:2222/db4?user=username&password=psw
##########

X-4. 执行方法:
$ ./replace_database.sh file_*.txt
================================================================================