极限手指

灵异的shell

ahei — Thu, 01 Dec 2011 04:36:35 +0000

1 引子
2 语法介绍
3 小技巧
4 工具
5 shell快捷键
6 shell炸弹
7 shell加密
- 7.1 shc
- 7.2 wzsh
8 宝典

1 引子

我06年开始接触shell编程, 一开始照着别人的例子写些简单的脚本, 后来在网上找些shell语法的教程来看看(我想大多数同学学习shell也是这么个过程), 觉得shell挺简单的, 比其他语言简单多了. 但是随着写shell脚本次数的增多, 发现根本不是那么回事, 觉得shell太灵异了, 经常出现一些奇怪的错误, 比如:

变量赋值
```
#!/usr/bin/env bash

action = "$1"

echo "You want $action"
```
把上面的代码保存为test.sh并加上可执行权限, 执行./test.sh exit, 得到这样的错误提示:
```
./test.sh: line 3: action: command not found
```
再改下:
```
#!/usr/bin/env bash

action= "$1"

echo "You want $action"
```
不错, 好像没错误了, 不过怎么啥都不打印啦?

有过其他语言编程经验的同学可能也会像我犯那样的错误, 同时会产生这样的疑问: 怎么shell中赋个值还这么多麻烦啊?
判断2个字符串是否相等
```
if [ $user = "admin" ]; then
    echo "You are admin!"
fi
```
上述代码判断一个用户是否为管理员, 但是有时候上面的代码运行时会出现这样的错误:
```
-bash: [: =: unary operator expected
```
这意思好像是说"期待一元运算符"? 啥意思?

有的教程里指出这样就可以了:
```
if [ x$user = "xadmin" ]; then
    echo "You are admin!"
fi
```
我试了下, 好像还真行, 为啥这样就可以呢? 这个”x”这么神奇? 其他的字母也可以这么神奇吗?

我看有的人这样写:
```
if [ "x$user" = "xadmin" ]; then
```
还有人这样写:
```
if [ x$user = xadmin ]; then
```
甚至有人这样:
```
if [ x$user = x"admin" ]; then
```
后来我无意中发现这样就可以了:
```
if [ "$user" = "admin" ]; then
```
这加不加双引号和加在哪到底有什么不同?
read好使不
1. echo str | read a, 怎么$a就不是我想要的str呢?
2. 假如文件a的第一行是”str1 TAB str2″, 执行:
```
read str < a
echo $str
```
  怎么输出是”str1 str2″, 而不是”str1 TAB str2″呢, 我的TAB哪去了?

神奇的注释

有人说下面这些符号可以用来注释shell:

: << COMMENT
COMMENT

比如:

echo xxx

: << COMMENT
echo "mm said, you could not touch me!"
COMMENT

echo yyy

好像还真行, 但是下面这个怎么不行呢?

echo xxx

: << COMMENT
file=a
result=$(grep str $file)
COMMENT

echo "mm said, you can touch me!"

还有其他的神奇注释吗?

其实类似上面这些灵异的例子还有很多, 但是纵观那些shell教程, 很少有能把shell的这些灵异的地方给读者讲明白的. 下面, 我结合我自己的一些经验, 力图把shell的一些本质语法给大家讲明白, 让大家在遇到一些灵异的问题时, 能迅速的定位和解决问题.

2 语法介绍

2.1 定义

单词 (word)

一串字符构成一个单词, 也叫token

name (identifier)

仅有字母、数字、下划线构成，而且由字母或者下划线开头的word叫name, 也叫标识符(identifier)

元字符 (metacharacter)
```
| & ; ( ) < > space tab
```
这些字符没有被引号引起来时, 可以用来分割单词

2.2 管道

command | command2
command |& command2

把command的输出通过管道连接到command2的输入, |&连标准错误也一起做为command2的输入.

这里要注意的时, command2是在子shell里面执行的, command2对环境所做的改变不会影响到command所在的shell环境. 这就解释了本文开头的问题3.1

2.3 引用 (QUOTING)

引用用来去掉某些字符的特殊意义. 比如想使用元字符的字面意义必须对其进行引用.

引用有3类: 反斜线引用(\)、单引号引用、双引号引用.

单引号引用屏蔽单引号内的任何字符所具有的特殊意义, 包括反斜线(\), 所以单引号引用不能再包含单引号(比较杯具…)

双引号引用中除了 $ 、 ` 、 \ 、 ! , 其他特殊字符的意义都被屏蔽.

小技巧:

$’string’
这个语法的意思是: string中含有的反斜线及其后的字符会被特殊解释, 比如: \t会被解释成TAB. 这个非常有用, 比如sort的字段分隔符只能是单个字符, 如果想用TAB做字段分隔符的话, 好多人都这样: sort -t ” “, 由于好多编辑器会把TAB变成4个空格, 所以这样做经常会出问题, 那现在你可以这样了: sort -t $’\t’

2.4 参数 (PARAMETERS)

参数是用来存储值的实体, 它可以是数字(0, 1, 2 …)、name、某些特殊字符(@, *, …). 当参数是一个name时, 也叫变量(variable), 变量赋值:

name=[value]

等号2边不能有空格, 如果有空格的话, shell解释程序怎么知道你到底是想要运行name命令还是给name赋值呢? 所以的shell的变量赋值才不得不这样”讲究”

小技巧:

shell变量也可以 +=
在命令之前的变量赋值语句只影响该命令, 比如:
```
LANG= sort file
```
上面的命令表示在运行sort file的时候LANG为空, 不会影响其他的后续命令. 你是否还记得这样的代码:
```
tmp_LANG=$LANG
LANG=zh_CN
codes ...
LANG=$tmp_LANG
```

位置参数 (Positional Parameters)

$0, $1, …

小技巧:
- 怎么重设位置参数? 用set
- $10可以吗? 用${10}

特殊参数 (Special Parameters)

$* == $1 $2 $3 ...
"$*" == "$1c$2c$3...", c为IFS的第一个字符

IFS 参见这里

$@
```
$2 == $*
"$@" == "$1" "$2" "$3" ...
```
$* 和 $@ 啥区别? 见后文

shell内置变量 (Shell Variables)
- IFS
  
  Internal Field Separator, 用来扩展后分割单词, read命令也是用它来分割单词. 默认值为:
- LANG
  
  这个变量控制你的环境所使用的语言(locale), 还有LC_开头的好几个shell变量也控制locale相关的一些方面. 当你sort一个含有中文的文件时, 是不是结果不如你所愿? 试试LANG=C sort
- PATH
  
  可执行文件的搜索路径

2.5 扩展 (EXPANSION)

命令行被分割成单词后, 开始执行扩展. 扩展有大括号扩展(brace expansion), 波浪号扩展(tilde expansion), 参数和变量扩展(parameter and variable expansion), 算术扩展(arithmetic expansion), 命令替换(command substitution), 单词分割(word splitting), 路径扩展(pathname expansion). 扩展的优先级也如上所示. 有的系统还支持进程替换(process substitution)

大括号扩展

echo a{b,c}
ab ac

echo {1..10}
1 2 3 4 5 6 7 8 9 10

echo {10..1}
10 9 8 7 6 5 4 3 2 1

echo {1..10..3}
1 4 7 10

echo {a..f}
a b c d e f

echo {a..f..2}
a c e

波浪号扩展

echo ~/sdfa
/home/taoshanwen/sdfa

~+ => PWD
~- => OLDPWD

参数扩展

${parameter}, 就是取出parameter的值, 有很多形式:
- ${parameter:offset}
- ${parameter:offset:length}
  
  对parameter进行substr
- ${parameter#word}
- ${parameter##word}
  
  删掉匹配的前缀
- ${parameter%word}
- ${parameter%%word}
  
  删掉匹配的后缀
还有很多, 详见bash man

命令替换

$(command) 或者`command`, 把command的输出做为结果

算术扩展

$((expression)), 对expression进行算术表达式操作, 例如:
```
echo $((9 + 8 * 9))
81

echo $((9 + 8 ** 9))
134217737
```

进程替换

假如我现在想比较两个目录dir1和dir2中的文件有啥不同, 我想很多人会这样做:
```
ls dir1 > 1
ls dir2 > 2
diff 1 2
```
但你试试这样:
```
diff <(ls dir1) <(ls dir2)
```
是不是也可以? 很神奇吧. 上面的这个语法<(command)就是进程替换. <(command)表示把command的输出生成一个临时文件, 并把这个文件名作为另外一个命令的参数. 对于上面的命令, 就是把”ls dir1″命令的输出生成一个临时文件, 并把临时文件名做为diff命令的第一个参数. 再举一个例子:
```
wget -q -O >(cat) http://baidu.com
```
wget命令会把下载后的文件保存到文件中去, 但是我们可以用上面的命令不让它保存到文件中去, 而是显示出来. wget的”-O”选项后本来应该是一个文件名的参数, 但是我们现在用>(cat)代替, 表示wget下载下来的内容放到一个临时文件中, 然后把这个临时文件名再传给>()里面的cat命令.
灵活运用进程替换, 将会非常的方便, 严重推荐

单词分割

shell解释器最为重要的一步! shell灵异的来源

上述扩展如果没有双引号扩起来, 扩展完后, shell将会对结果用IFS进行单词分割. 例如:
```
str="a         b          c"

echo $str
a b c

echo "$str"
a         b          c
```
为什么加不加双引号结果会迥然不同? 因为没加双引号时, shell会对扩展结果进行单词分割, $str的扩展结果为”a b c”, 分割后变成3个单词a、b、c, 这3个单词做为echo命令的三个参数, 最终输出结果自然是”a b c”了.

想起来本文开头的3.2问题了吗? 知道怎么回事了吧?

另外, 扩展结果为空的话, 如果没有被双引号或者单引号扩起来的话, 会被删掉. 例如:
```
#!/usr/bin/env bash

user="$1"

mysql -u $user db -e "$sql"
```
上面这个脚本如果第一个参数为空的话, $user将会被删掉, 从而mysql的用户名会变成db, 正确的代码应该是:
```
mysql -u "$user" db -e "$sql"
```
那你知道下面这些代码的错误之处了吗?
```
str=$(cat file)

for line in "$str"; do
    echo "$line"
done
```
说到这里, 我们来说说$*和$@的差别. 它们在不加双引号时完全一样, 但是不加双引号时, 他们都有一个问题, 就是扩展会进行单词分割, 如果输入的参数中含有空格, 可能有时候结果就不是我们想要的了, 比如:
```
#!/usr/bin/env bash

for i in $*; do
    echo $i
done
```
保存上述的程序为test.sh, 该程序想打印每个输入参数,
```
taoshanwen@taoshanwen-laptop ~$ ./test.sh ab cd ef
ab
cd
ef

taoshanwen@taoshanwen-laptop ~$ ./test.sh "ab xx" "cd yy" "ef zz"
ab
xx
cd
yy
ef
zz
```
上述结果并不是我们想要的, 那怎么取得准确的输入参数呢? “$@”可以解决, 你可以试试,

路径扩展

如果当前路径下有文件ab、ac、ad, 那么:
```
echo a*
ab ac ad
```

删除引用(Quote Removal)

经过上述扩展之后, 对于不是由于上述扩展产生的并且没有被引用的双引号、单引号、反斜线都会被删掉，例如:
```
echo "xx" => xx
echo a"xx" => axx
```
经过上面这么多的了解, 我们大致知道了shell解释器的解释过程:

2.6 重定向

Here Documents
```
<<[-]word
here-document
delimiter
```
把here-document作为某个命令的标准输入. 例子:
```
grep a << EOF
asdf
qweszd
asdf
EOF
```
如果word用双引号括住, delimiter就是word删除引用后的结果, here-document里面不进行任何扩展. 如果word没有用双引号括住, 那么here-document里面会进行参数替换、命令替换、算术扩展.

我们再来看看本文开头说的那个神奇的注释,
```
: << COMMENT
COMMENT
```
*”:”* 是一个shell内置命令, 它不干任何事情, 它的返回值为0. 这样就好理解了, 被注释的内容实际上是作为 : 的标准输入, 而这个命令啥事情都没干, 起到注释的作用了. 但是你现在知道为啥下面这个没起到注释作用了吗? 咋解决呢?
```
echo xxx

: << COMMENT
file=a
result=$(grep str $file)
COMMENT

echo "mm said, you can touch me!"
```

Here Strings
```
<<< here-strings
```
把word作为命令的标准输入, 例子:
grep a <<< abc

3 小技巧

type

这个内置命令比which强大多了, 可以查找别名、函数、内置命令

taoshanwen@taoshanwen-laptop ~$ type ls
ls 是 `ls --color -N --show-control-chars' 的别名
ls 是 /bin/ls

taoshanwen@taoshanwen-laptop ~$ type [
[ 是 shell 内嵌
[ 是 /usr/bin/[

丰富多彩

grep有个–color选项, 可以高亮匹配的地方, 非常不错

在你的.bashrc里面加入下面的代码:

# less color configure
# blue
export LESS_TERMCAP_mb=$'\E[01;34m'
# red
export LESS_TERMCAP_md=$'\E[01;31m'
# magenta
export LESS_TERMCAP_me=$'\E[01;35m'
# write
export LESS_TERMCAP_se=$'\E[0m'
# yellow
export LESS_TERMCAP_so=$'\E[01;44;33m'
# cyan
export LESS_TERMCAP_ue=$'\E[01;36m'
# green
export LESS_TERMCAP_us=$'\E[01;32m'

保证你的man会色彩缤纷, 重点突出, 非常方便

[[]]和[]的区别
1. [[]]内不进行单词分割和路径扩展, 所以 $a = ab 是可以的. []内则进行所有的扩展, [ $a = ab ]是不保险的.
2. [[]]内的<>是用当前locale做字符串比较的, []内的<>是根据ASCII顺序做比较的, 2者都不是对数字进行比较的, 这个需要注意, 比如可以试试 3 > 11 ; echo $?, 是不是返回0? 另外, [只是内置的命令, 所以不能直接[ 3 < 2 ], 这样的话, <是元字符, 当作重定向符号了, 需要对<进行转义, 需要这样 [ 3 "<" 2 ]
3. [[]]的==、!=、=~确实是正则匹配的, 具体用法可以见bash man

4 工具

4.1 log4sh

http://sourceforge.net/projects/log4sh/, shell里的日志工具, 和log4系列的其他日志库配置基本差不多

6 shell炸弹

  ) {  :&};:

上面的命令能迅速的灭了你的系统, 慎用! ulimit -u进行限制

7 shell加密

7.1 shc

http://www.datsi.fi.upm.es/~frosal/, 简单的加密工具, 会把shell转换成一个二进制文件

7.2 wzsh

http://wzce.tripod.com/wzsh.html, 更加强大的加密工具

8 宝典

高级Bash脚本编程指南
bash man, 中文bash man

高效操作Bash

ahei — Sat, 18 Dec 2010 14:37:12 +0000

我们在平常工作中大量使用linux, 而使用linux的过程中操作Bash更是非常之频繁, 所以怎样高效的操作Bash是一个非常重要的问题. 下面我结合自己的经验总结一下高效操作Bash的一些技巧.

1 快捷键
2 历史扩展
3 shell技巧
4 广告

1 快捷键

1.1 注意

本文的快捷键表示中, C 表示Ctrl键, M表示Alt健. 这些快捷键中, 有一个小规律, 对字符操作一般是C开头, 对单词操作一般是M开头. 如果你用SecureCRT, 默认的话, 会输入不了Alt开头的快捷键, 因为Alt被当作菜单快捷键了, 可以点选项 -> 回话选项, 选择tab 终端->仿真->Emacs, 把”使用Alt键作为元键”打勾. 如果你用gnome-terminal, 默认状态下也输入不了Alt开头的快捷键，也被当作菜单快捷键了，可以点编辑 -> 键盘快捷键, 把＂启用菜单快捷键＂前面的勾去掉.
下面的快捷键中很多以Ctrl键开头, 很多键盘的Ctrl键并不是很好按, 可以尝试把Ctrl键和Capslock键交换.

1.2 重度推荐

C-r

有时候，如果你想重新输入以前输入过的某条命令怎么办? 我见过两种做法：
1. 不停的按向上方向键，试图找出那条命令
2. 输入history命令，然后找到那条命令，或者grep一把history命令的输出
其实, 你有更好的选择, 那就是按 C-r, 然后输入你想要的命令中含有的单词, 就会出现含有这个单词的命令, 如果它不是你想要的命令, 就继续按C-r, 知道出现你想要的命令为止. C-r效果:
```
(reverse-i-search)`ls': ls a b c
```

M-.

我经常见别人用mkdir long-long-long-name-dir后, 再输入cd, 后面跟那个长的不能再长的目录名, 这时候我就会告诉他, 其实你输入完cd后, 可以按M-., 就可以自动输入那个长的不能再长的目录名了. 其实, M-.的真正作用就是把上一条命令的最后一个参数输入到当前命令行. 非常非常之方便, 强烈推荐. 如果继续按M-., 会把上上条命令的最后一个参数拿过来. 同样, 如果你想把上一条命令第一个参数拿过来咋办呢? 用M-0 M-., 就是先输入M-0, 再输入M-.. 如果是上上条命令的第一个参数呢? 当然是M-0 M-. M-.了.

1.3 常用快捷键

程序控制


意义	快捷键
终止当前在前台运行的程序	C-c
挂起当前在前台运行的程序	C-z
如果光标在行首且当前行没有输入任何字符, C-d会退出当前会话	C-d

光标移动


意义	快捷键
向前(Forward)移动一个字符	C-f
向后(Backward)移动一个字符	C-b
向前移动一个单词	M-f
向后移动一个单词	M-b
移动光标到行首	C-a
移动光标到行尾	C-e

编辑


意义	快捷键
向前删一个字符	C-d
向后删一个字符	C-h
向前删一个单词	M-d
向后删一个单词, 单词之间以符号分割	C-M-h
向后删一个单词, 单词之间以空格分割	C-w
清屏, 相当于命令clear, 有了这个快捷键, 就不用每次努力的敲clear了	C-l
删除当前光标到行尾的字符	C-k
删除当前光标到行首的字符	C-u
粘贴删除环里面的第一项	C-y
粘贴删除环里面的后面的项	M-y
undo	C-/
取出上一条命令的最后一个参数	M-.

对于C-M-h和C-w的区别, 看下面这个例子:

如果当前光标前面的字符串为”abc def-ghi”, C-M-h会删掉ghi, 但是C-w会删掉”def-ghi”, 也就是说, C-M-h向后删的时候碰到非字母和数字就会停止, 但是C-w碰到空格才会停止.

Bash下有一个删除环(kill-ring), 所有被删除的东西(用C-d删除的字符不算)都会进入这个环, C-y会粘贴环里面最近进去的项, 想要粘贴后面的项, 必须在按C-y后, 不停的按M-y, 直到出来你想要的项为止.

有时候, 你想搜索某个文件中是否有TAB键, 你这时候会怎么做呢? 你或许会用grep, 在你输入完grep后, 你再按TAB, 这时候会出来什么? 什么都没出现! 再按? 出来:

Display all N possibilities? (y or n)

这是为何呢? 因为TAB是补全键. 那么是否是输入不了TAB吗? 不是! 按C-v后, 再按TAB即可. 同样, 想输入C-a, C-b也是同样的道理.

历史命令操作


意义	快捷键
从历史命令列表中取下一条命令, 相当于向下方向键	C-n
从历史命令列表中取上一条命令, 相当于向上方向键	C-p
向后增量搜索历史命令, 非常方便, 严重推荐, 有了它, 以前输入过的很长的命令, 可以不用重复输入	C-r
循环执行历史命令	C-o

用C-p取出历史命令列表中某一个命令后, 按C-o可以在这条命令到历史命令列表后面的命令之间循环执行命令, 比如历史命令列表中有50条命令, 后面三项分别是命令A, 命令B, 命令C, 用C-p取出命令A后, 再按C-o就可以不停的在命令A, 命令B, 命令C中循环执行这三个命令. C-o有一个非常好用的地方, 比如用cp命令在拷贝一个大目录的时候, 你肯定很想知道当前的拷贝进度, 那么你现在该怎样做呢? 估计很多人会想到不停的输入du -sh dir去执行, 但用C-o可以非常完美的解决这个问题, 方法就是:

输入du -sh dir, 按回车执行命令
C-p, C-o, 然后就可以不停的按C-o了, 会不停的执行du -sh dir这条命令

其实上面这个问题也可以用watch命令解决:

watch -n 1 -d du -sh dir

1.4 高级快捷键


意义	快捷键
从当前光标处向前搜索字符	C-]
从当前光标处向后搜索字符	C-M-]
交换当前光标下的字符和光标前面的一个字符, 交换后, 光标向后移东一个字符	C-t
交换当前光标所在单词和光标前面一个单词, 交换后, 光标向后移动一个单词	M-t
把单词首字符变成大写, 其他变成小写	M-c
把单词变成小写	M-l
把单词变成大写	M-u
删除当前光标前面所有的空白字符	M-\
向后非增量搜索历史命令	M-p
相当于TAB健	C-i
相当于回车键	C-m/C-j
在当前光标处和上一次光标处不停的移动	C-x C-x

1.5 总结

其实, 上面所说的快捷键并不是由Bash来控制的, 而是有一个叫readline的库来控制的, readline库用在很多地方, 比如gdb, mysql, 你使用gdb的时候, 是不是很奇怪, 为啥它也能用上下方向键取出前面后面的命令? 因为它用的也是readline库. 所以只要掌握了readline, 就掌握了Bash, gdb, mysql等程序里面的快捷键操作技巧. readline是一个非常非常强悍的库, 它有两种模式, 一个是Emacs模式, 另外一个是vi模式, Emacs模式非常适合在命令行下使用, 我上面说的快捷键都是针对Emacs模式来说的. readline的Emacs模式下的光标移动, 编辑等快捷键和Emacs下的快捷键也非常相近. 所以你学会了这些快捷键, 也快入门Emacs了, . readline也可以自定义快捷键, 它还有一套配置语法. 关于它的详细介绍, 可以man readline或者info readline, 也可以看看大牛王垠写的readline介绍.

2 历史扩展

2.1 概念

首先举个例子:
首先输入一条命令:

ls abc def ghi

再输入:

!!*:s/b/d

那么实际上执行的命令是:

adc def ghi

我来解释一下, !!表示从命令历史列表中取上一条历史命令”ls abc def ghi”, *表示选择取刚才选择的命令的所有参数, 即: “abc def ghi”, :s/b/d表示对刚才取出来的参数”abc def ghi”进行替换, 把第一个出现的b替换成d

从上面可以看出, 操作历史命令分为三步:

首先从历史命令列表中选择某条命令, 被选择到的命令被称作 事件(event) (对应上面的!!)
再从选择好的事件中选择一部分单词(words), 事件中的每个单词以空格分割(对应上面的*)
最后对选择好的一部分单词进行修改(Modifiers)

2.2 事件指示器(Event Designators)

事件指示器用来从历史命令列表中选择一条命令, 也就是选择事件

!n

选择历史命令列表中第n条命令
!-n

选择倒数第n条命令
!!

选择上一条命令, 相当于!-1, 和 C-p 的作用也一样
!string

选择最近的以string开头的命令
!?string[?]

选择最近的包含string的命令, 如果该指示器后面是换行符, 则可以不用输入结尾的”?”
^string1^string2

取上一条命令, 并把第一个出现的string1替换成string2
!#

引用目前输入的所有命令, 比如输入:
```
more a !#
```
那么最终执行的命令就是:
```
more a more a
```

2.3 单词指示器(Word Designators)

单词指示器用来从被选择好的事件中选择一部分单词, 单词指示器必须以冒号(:)和事件指示器分割开来, 除非单词指示器以^, $, *, -, %开头

0

选择第0个word, 也就是命令. 假如事件为”ls abc”, 那么单词指示器0选择的word即为”ls”
n

选择第n个word
^

选择命令的第一个参数, 也就是第一个word, 相当于单词指示器1
$

选择命令的最后一个参数
%

选择最近的与 “?string?” 搜索相匹配的单词
x-y

选择第x到第y个word, -y表示0-y
*

选择命令的所有参数, 相当于1-$
x*

x-$的缩写
x-

类似x*, 不过不包含最后一个word. -选择除最后一个word外所有的words

2.4 修饰符(Modifiers)

对选择的单词进行修改, 修饰符可以出现多次, 每个修饰符要以冒号开头

p

打印新命令, 但不执行
s/old/new/
把 第一次出现的 old替换成new, 如果分隔符”/”是最后一个字符的话, 可以省略. 就像sed中一样, 分隔符”/”可以用其他字符代替, 比如s:old:new:. new中出现的&将被old代替. 如果old省略, 那么就用上一次替换用的old代替.
&

重复上一次替换
g

使修饰符所做的修改应用于整个选择的单词. 类似于sed中的s命令最后的g, 可配合:s和:&修饰符使用, 比如:gs/old/new则对整个事件进行替换.
a

和g作用一样
G

使后面的:s修饰符对每个word只替换一次

2.5 例子

例一

从别的机器的一个目录拷贝一个a.log文件, 执行:
```
scp user@machine:/home/user/a/a.log .
```
后来执行:
```
ls a.log
rm -rf a.log
```
这时候再想拷贝一下b/b.log, 这时候就可以这样做:
```
!scp:gs/a/b
```
如果只想看看用历史扩展出来的命令, 那可以这样:
```
!scp:gs/a/b/:p
```

例二

从别的机器同时拷贝a/a.log和b/b.log:
```
scp user@mbchine:/home/user/a/a.log . && !#-:gs/a/b
```
上面的!#为事件指示器, 选择前面已经输入的命令”scp user@mbchine:/home/user/a/a.log . &&”, “-”为单词指示器, 选择除最后一个word, 即”&&”外的所有words, 也就是”scp user@mbchine:/home/user/a/a.log . “, 最后的”:gs/a/b”为修饰符, 对刚才选择的words进行全局替换, 把a替换成b, 最后就成了”scp user@mbchine:/home/user/b/b.log .”, 那么最终命令也就成了”scp user@mbchine:/home/user/a/a.log . && scp user@mbchine:/home/user/b/b.log .”

2.6 总结

上面的例子都可以用前面所说的快捷键完成, 不过灵活利用历史扩展有时候还是能更高效的完成同样的事情

3 shell技巧

3.1 Here Documents

<<[-]word
here-documents
delimiter

把here-documents作为某个命令的标准输入, 例子:

grep a << EOF
asdf
qweszd
asdf
EOF

3.2 Here Strings

<<< here-strings

把word作为命令的标准输入, 例子:
grep a <<< abc

3.3 进程替换(Process Substitution)

假如我现在想比较两个目录dir1和dir2中的文件有啥不同, 我想很多人会这样做:

ls dir1 > 1
ls dir2 > 2
diff 1 2

但你试试这样:

diff <(ls dir1) <(ls dir2)

是不是也可以? 很神奇吧. 上面的这个语法<(command)就是进程替换. <(command)表示把command的输出生成一个临时文件, 并把这个文件名作为另外一个命令的参数. 对于上面的命令, 就是把”ls dir1″命令的输出生成一个临时文件, 并把临时文件名做为diff命令的第一个参数. 再举一个例子:

wget -q -O >(cat) http://baidu.com

wget命令会把下载后的文件保存到文件中去, 但是我们可以用上面的命令不让它保存到文件中去, 而是显示出来. wget的”-O”选项后本来应该是一个文件名的参数, 但是我们现在用>(cat)代替, 表示wget下载下来的内容放到一个临时文件中, 然后把这个临时文件名再传给>()里面的cat命令.
灵活运用进程替换, 将会非常的方便, 严重推荐

4 广告

呵呵, 最后做一点小广告, 这篇文章是在Emacs Org Mode下写的(本文最后一句话, HTML generated by org-mode 7.3 in emacs 23, 你看到了吗), Org Mode是Emacs内置的一个非常强悍非常强悍的Mode, 是实践GTD最好的工具, 它的功能包括但不限于: 时间管理, 做笔记, 用原始的文本格式html/pdf/latex, 画流程图等. 可以看看这几篇文章以引起你的兴趣: Emacs org mode学习笔记, Emacs中绘图－ ditaa篇, Emacs －普通人的编辑利器.

HTML generated by org-mode 7.3 in emacs 23

nutch的分布式抓取

ahei — Fri, 12 Feb 2010 15:26:30 +0000

前段时间我写了一篇文章讲nutch的简单使用，是单台机器抓取，今天我讲一下nutch的分布式抓取。

由于nutch的分布式是采用hadoop，所以nutch的分布式抓取主要涉及到hadoop和nutch本身两方面的配置。

hadoop的配置

hadoop的配置主要涉及到以下几个文件:

hadoop-env.sh
hadoop-env.sh里面是一些hadoop脚本文件需要用到的环境变量。

JAVA_HOME
hadoop-env.sh中最重要的选项是JAVA_HOME, 如果这个选项没有设置的话，而且你的系统也没有设置这个环境变量的话，运行hadoop脚本的时候会出现下面的错误提示：

^?View Code TEXT
Error: JAVA_HOME is not set.
我改了一下hadoop脚本，当你没有设置JAVA_HOME的时候，可以通过”which java”命令来自动设置JAVA_HOME，代码如下：

^?View Code BASH
1 2 3
if [[ -z "$JAVA_HOME" ]]; then JAVA_HOME=`cd $(dirname $(readlink -m $(which java)))/../../ && pwd` fi
原理很简单，首先用which命令找到java命令的路径，然后用readlink命令得到软链接指向的真正目录，而java命令一般都在$JAVA_HOME/jre/bin/下，所以得到java命令的目录就知道了JAVA_HOME了。这个方法在ubuntu下一般都有效，但是在gentoo下无效，gentoo下java命令是/usr/bin/run-java-tool。

HADOOP_SSH_OPTS
这个选项是传给ssh的。由于hadoop在启动集群内别的机器上的hadoop程序的时候，是通过ssh来操作的，所以你可以通过设置这个选项来控制ssh的选项。ssh登录到别的机器的时候，如果目标机器没有经过你的认证，即它的key不在你的~/.ssh/known_hosts里面，你就会得到如下的提示：

^?View Code TEXT

1
2
3

The authenticity of host 'aheiu (172.0.1.208)' can't be established.
RSA key fingerprint is fa:e0:57:4e:6a:1d:e3:3e:49:86:8f:13:e5:45:47:f0.
Are you sure you want to continue connecting (yes/no)?

这时候你必须输入yes才能继续。这样就需要人工的干预了。那么怎样才能做到自动化呢？
ssh有个选项StrictHostKeyChecking, 这个选项控制当目标主机没有进行过认证的时候，是否显示上面的信息，所以我们登录别的机器的时候，只需要ssh -O StrictHostKeyChecking=no就可以直接登录了，就不会有上面烦人的提示了, 而且还会讲目标主机key加到~/.ssh/known_hosts里面。