• 1971, troff, Bell Labs
• 1978, TeX, Donald Knuth
• 1980初期, LaTeX, Leslie Lamport
• 1982, PostScript, John Warnock和Charles Geschke（Adobe Systems）
• 1986, SGML, ISO 8879:19861
• 1991, HTML, Tim Berners-Lee
• 1991, DocBook, HAL Computer Systems和O’Reilly & Associates
• 1998, XML 1.0, W3C

• 1998, BBCode, Ultimate Bulletin Board
• 2001, txt2tags, txt2tags team
• 2002, reStructuredText, David Goodger
• 2002, AsciiDoc, Stuart Rackham
• 2004, Markdown, John Gruber

• 维基百科: 轻量标记语言
• 附录：轻量级标记语言
• 轻量标记语言的比较
• 轻量级文档写作

几大流行语言比较:

• Markdown
  
  • 优点
    
    非常流行, 有一些大型用户, 比如Stack Overflow、Reddit、GitHub、Posterous、Tumblr（这两个已被GFW认证）. github有其自己的markdown实现GitHub Flavored Markdown. 虽然这个语言很简单，但也有人用这个语言写了一本书：《Pro Git》.
  • 缺点
    
    标准的Markdown语法缺乏如表格等关键特性的支持，虽然不同的解析器都对其语法进行了扩展，但实现各有不同，造成一定的混乱。
• reStructuredText
  
  是python的docutils的组成部分, python的官方文档工具. pythoner的最爱. 插上sphinx的翅膀之后, 建站非常方便. 功能比较强大.
• Emacs Org Mode
  
  背靠着Emacs这颗大树, 它成为所有轻量标记语言中功能最为强大的语言, 它的功能主要包括文档发布和GTD管理. Org相对其他轻量标记语言语法更简单. Emacser最爱用Org来写文档. vi现在也有Org的插件了.

mkdir note
cd note
sphinx-quickstart
make html

Emacs插件

*
**
***

大纲图是别的轻量标记语言所欠缺的.

• 引用
  

  : xxxx
  

• 粗体/斜体/下划线

  *bold*, /italic/, _underlined_, +delete+
  

• 图片
  

  [[xxx.jpg]]
  

• 代码
  

  #+BEGIN_SRC lua
  LINK_ACTIONS = {["/artist/.*"] = processSongList}
  
  function processSongList()
     enter("songlist")
  
     leave()
  
     extract([[<div class="listen_singerintro_infroB">(?<singerInfo>.*?)</div>]])
  end
  #+END_SRC
  

  效果:

  LINK_ACTIONS = {["/artist/.*"] = processSongList}
  
  function processSongList()
     enter("songlist")
  
     leave()
  
     extract([[<div class="listen_singerintro_infroB">(?<singerInfo>.*?)</div>]])
  end
  

• 内嵌html
  

  #+BEGIN_HTML
  xxx
  #+END_HTML
  

命令	含义
M-x org-table-create-or-convert-from-region	创建表格
M-<left>/M-<right>	左右移动列
M-<up>/M-<down>	上下移动行
C-c +	累加列值
C-c C-c	调整表格
<digit>	设置列最大长度
C-c `	编辑列
C-c ^	对列排序

自动计算:

N	N^2	N^3	N^4	sqrt(n)
1	1	1	1	1
2	4	8	16	1.4142
3	9	27	81	1.7320508
5	25	125	625	2.2360680

公式计算:

Func	n	x	Result
exp(x)	1	x	1 + x
exp(x)	2	x	1 + x + x^2 / 2
exp(x)	3	x	1 + x + x^2 / 2 + x^3 / 6
x^2+sqrt(x)	2	x=0	x*(0.5 / 0) + x^2 (2 – 0.25 / 0) / 2
x^2+sqrt(x)	2	x=1	2 + 2.5 x – 2.5 + 0.875 (x – 1)^2
tan(x)	3	x	0.0175 x + 1.77e-6 x^3

• 复杂的表格
  
  

  命令	含义
  M-x table-insert	创建复杂的表格
  M-x table-split-cell-vertically	垂直切分
  C- -	水平切分

  1		2	3
  4		5	6	7
  9	10	11	12

命令	含义
M-S-<RET>	增加TODO
C-c ,	设置优先级
[%] or [/]	设置子任务
C-c !	插入时间戳
S-<left>/S-<right>	增加/减少一天
S-<up>/S-<down>	在光标所在日期的单位上增加/减少
C-c C-d	设置deadline
C-c C-s	设置任务开始执行的时间
C-c C-x C-i	对任务开始计时
C-c C-x C-o	对任务停止计时
C-c C-x C-d	显示任务的总用时

Org中的时间选择器恐怕是世界上用户体验最好的时间选择器!

命令	含义
M-x org-export-as-html	导出成html
M-x org-export-as-ascii	导出成纯文本

nb的以info形式导出: 在文件最开始增加:

#+INFOJS_OPT: view:info toc:nil

当今时代, 各路诸侯争先抢占无线市场, 人家Org 2009年就已经抢占市场了.

见下次分享,

• echo
  

  输入为命令行参数
  

  非常常用的命令, 主要用作输出字符串. 如果只是为了向管道线的下一个命令传输入的话, 可以使用Here String:

  echo xxx | md5sum
  md5sum <<< xxx
  

  后者速度上应该会快一点, 不需要经过管道.

  • -n
    
    不输出换行符(默认输出换行符)
  • -e
    
    解释转义符, 常用的转义符 \t, \n; 这个命令还有个最常用的用途就是输出ANSI颜色:

    echo -e '\033[1;31mHello, \033[0m\033[1;33mworld!\033[0m'
    

    Hello, world!

    这个工具可以更方便的输出ANSI颜色.

  • -E
    
    不解释转义符

• printf
  

  输入为命令行参数
  

  更强大的输出你想要的文本的命令, 类似C里面的printf

  printf '\033[1;31m%s, \033[0m\033[1;33m%d\033[0m and \u4e2d\u6587!\n' "Hello" 34
  

  Hello, 34 and 中文!

  不过此命令较echo来说, 使用率会低很多, 大多数情况下echo就能搞定了.

• yes [STRING]
  

  输入为命令行参数
  

  不停的输出字符串STRING, 默认是y. 这个命令用处比较少, 但会有用, 比如测试tail命令.

• cat (concatenate)
  
  此命令最大的用途应该就是显示特殊字符了, 如果你告诉我你经常用它给管道线的下一个命令传输入的话, 那么就太浪费了:

  cat file | grep xxx
  grep xxx file
  

  前者相比后者多启动了一个进程, 还经过了管道. file很大的话, 性能差距很容易就看出来了.

  • -E
    
    在行尾显示$, 有时候行尾是空格或者TAB, 看不清行尾是哪里, 加了这个选项就知道了
  • -T
    
    输出的时候用^I代替TAB符号, 这样很容易知道那一坨空白到底谁是TAB了
  • -v
    
    用^和M-表示法输出不可打印字符

    taoshanwen@taoshanwen-laptop ~$ echo -e '\r' | cat -v
    ^M
    

  • -e
    
    相当于-vE
  • -t
    
    相当于-vT
  • -A
    
    相当于-vET, 一般这个选项用的最多

  • -n
    
    显示行号, 应该有同学感兴趣
  • -b
    
    只对非空行显示行号, 有人感兴趣吗?

  • -s
    
    对连续的空行只输出一个空行, 见过好多同学有这样的需求

• tac
  
  看名字知道了, 它和cat是反的, 倒着输出, 先输出最后一行, 接着是倒数第二行, 最后输出的是第一行
  • -s, –separator=STRING
    
    设定分隔符, 代替\n分割文本

• rev (reverse)
  
  这个命令和cat也是反的, 不过它不像tac那样, 它输出行的顺序和cat也是一样的, 不过输出每行的时候, 先输出最后一个字符, 接着是倒数第二个字符, 最后才是第一个字符, 下面这个命令可以把输入全部倒过来:

  tac | rev
  

• nl (number lines)
  
  更强大的行号显示工具, 可以控制行号的格式, 宽度. 没有特殊的需求, 用cat -n就够了.

• head
  
  只显示文本的开头几行, 比如head -2只显示前面2行

• tail
  
  这个命令相对head来说, 最常用的用途就是不停的打印文件的最新内容了(tail -f)
  • -n, -K, –lines=K
    
    显示尾部K行, -n +K显示第K行到文本尾部的所有内容
  • -f, –follow[={name|descriptor}]
    
    这个选项表示如果文件尾部有新数据追加进来, 也会显示出来. 这个选项可以根据文件名(name)和文件描述符(descriptor)来监视文件是否有更新. 默认是descriptor.
  • –retry
    
    当文件不可访问时, 进行重试, 这个选项和–follow=name组合起来比较有用
  • -F
    
    相当于–follow=name –retry

非常常用的命令, 打印文本中匹配模式的行, 下面的选项最好都能掌握.

grep [OPTIONS] PATTERN [FILE...]
grep [OPTIONS] [-e PATTERN | -f FILE] [FILE...]

• -E, –extended-regexp
  
  使用扩展正则表达式(ERE), 默认的是基础正则表达式(BRE), BRE中元字符?, +, {, |, (, )失去特殊意义(你是否遇到grep "a|b"是否不能打印出含有a或者b的行?), 想要表达特殊意义的话, 需要用转义字符进行转义(\), \?, \+等

• -F, –fixed-strings
  
  把pattern当作一个固定的字符串, 不进行正则解析. 当你要搜索非正则的固定字符串时(还可能含有正则元字符), 这个选项会非常有用, 而且由于不需要解析正则, 速度会快些.

• -P, –perl-regexp
  
  把pattern解析为perl的正则(PCRE), 由于perl的正则强大而简洁, 所以可以多尝试着使用这个选项.

• -i, –ignore-case
  
  搜索pattern的时候, 忽略大小写. 如果没有这个选项, 可以使用PCRE, 比如:

  grep -P "(?i)AB"
  

• -v, –invert-match
  
  显示不能匹配pattern的行

• -e pattern
  
  如果你想要指定多个搜索pattern, 或者你想要搜索的pattern由减号(-)开头(如果直接grep pattern的话, 会被解析为grep的选项), 就可以用这个选项了.

• -f FILE, –file=FILE
  
  从文件中获取pattern, 每行一个pattern

• -x, –line-regexp
  
  pattern必须要匹配整行, 这个选项等价于 "^pattern$"

• -w, –word-regexp
  
  pattern必须要匹配整个单词, 这个选项等价于 "\bpattern\b"

• -c, –count
  
  不打印匹配的行, 只打印匹配的行数, 等价于grep pattern | wc -l

• –color[=WHEN], –colour[=WHEN]
  
  用颜色高亮出匹配的:

  (require 'coding-settings)
     ("C-x U"   revert-buffer-with-coding-system-no-confirm-sb)))
     ("C-x M-C" set-buffer-file-coding-system)))
    (set-buffer-file-coding-system 'unix))
    (set-buffer-file-coding-system 'dos))
  

• -m NUM, –max-count=NUM
  
  当发现NUM个匹配行后, 停止扫描剩下的文本.

• -q, –quiet, –silent
  
  不打印任何信息, 发现匹配即退出, 并返回0, 否则返回1. 我们经常只是想查看整个文本里面是否有匹配, 这时候这个选项就非常有用了, 速度会快很多.

• -o, –only-matching
  
  只显示匹配pattern的字符串, 匹配行的其余部分不显示

• -n, –line-number
  
  在匹配行前面打印行号

  有时候想看看匹配行周围都是啥, 下面这几个选项就非常有用了:

• -A NUM, –after-context=NUM
  
  打印匹配行的后面NUM行

• -B NUM, –before-context=NUM
  
  打印匹配行的前面NUM行

• -C NUM, -NUM, –context=NUM
  
  打印匹配行的周围NUM行

• -a, –text
  
  有时候文件中含有一些非可打印字符, grep可能会把它识别成二进制文件, 这时候grep只会打印出是否匹配pattern的信息, 并不会打印匹配的每行, 这个选项会强制grep把该文件当文本文件处理

• -R, -r, –recursive
  
  递归处理文件夹下的所有文件

• -l, –files-with-matches
  
  不打印匹配的行, 只打印匹配的文件

• -L, –files-without-match
  
  和-l相反, 不打印匹配的行, 只打印不匹配的文件

• -h, –no-filename
  
  搜索多个文件时, 会在每行前面输出文件名, 如果你不喜欢, 使用此选项吧.

grep -F

grep -E

grep -r

grep的模糊匹配版本

对压缩文件进行grep, 接受的选项和grep完全一样

对结构化的文本, 如SGML、XML、HTML进行搜索、抽取, 功能非常强大

类似agrep

最主要的用途就是统计行数

• -l, –lines
  
  最常用的选项, 统计行数

• -L, –max-line-length
  
  输出文本最长行的长度

• -w, –words
  
  输出单词数

• -m, –chars
  
  输出字符数

• -c, –bytes
  
  输出字节数

打印文本的md5, 主要用作文件校验, 防止文件传输时发生错误或者被篡改. -c选项检查md5是否正确

非常常用的命令, 啥序都能排

• -r, –reverse
  
  逆序排序, 默认是按从小到大排, -r后就从大到小了

• -c, –check, –check=diagnose-first
  
  检查输入文件是否是有序的, 不是的话, 会打印哪行开始不是有序的

• -C, –check=quiet, –check=silent
  
  类似-c, 但是不打印错误信息, 只返回错误码1

• -k, –key=POS1[,POS2]
  
  这个应该是sort最nb的地方了, 可以精确控制要排序的对象. POS具备这样的形式:

  F[.C][OPTS]
  

  其中, F是字段号, C是字符号, OPTS是排序选项, 可以每个字段排序的规则不一样. F, C都是从1开始

  sort -t ' ' -k1,1d -k2.2,2n <<-EOF
  bb 113
  aa 224
  cc 323
  dd 444
  cc 513
  EOF
  
  aa 224
  bb 113
  cc 513
  cc 323
  dd 444
  

• -u, –unique
  
  对输出结果进行去重, 只输出重复的记录中的第一条记录

• -m, –merge
  
  对有序的输入文件进行归并, 这个选项使得你能够在多核机器上优化大数据集的排序

• -s, –stable
  
  使得sort成为稳定排序

• -T, –temporary-directory=DIR
  
  设定指定的临时文件夹, 存放中间数据. 当你排序非常大的文件时, 而且/tmp所在的分区空间不够时, 就会用到该选项了

• -n, –numeric-sort
  
  把输入当整数来排序, 可以有负数, 但是不能含有加号(+)的正数, 这种输入用-g搞定吧

• -g, –general-numeric-sort
  
  把输入当作数值来排序, 可以有浮点数. 如果输入是整数的话, 就用-n搞定吧, 人家性能高些.

• -h, –human-numeric-sort
  
  可以排序2K, 1G等带单位的数字, 很爽啊, 想排序某文件夹下所有文件和文件的大小吗:

  du -sh * | sort -h
  

• -M, –month-sort
  
  按月份进行排序, `JAN' < `FEB' < … < `DEC'

• -d, –dictionary-order
  
  按字典序排序, 忽略字母、数字、空白字符外的所有字符

• -V, –version-sort
  
  你开发的软件有很多版了没? 排下吧, 根据版本号

• -t, –field-separator=SEP
  
  设置字段分隔符, 默认为空白字符. 可惜的是, 这个字段分隔符只能为单个字符

• -b, –ignore-leading-blanks
  
  忽略前导空白字符

• -f, –ignore-case
  
  忽略大小写

• -i, –ignore-nonprinting
  
  忽略不可打印字符

• -R, –random-sort
  
  随机排序, 我想你会用到它的, 反正我用过几次. 不过排序结果不完全随机, 因为sort会先对每行进行hash, 然后对hash值进行排序, 所以相同的行一定会排到一块. 不过也许, 这正是你想要的. 如果你想更乱或者更加强大的功能的话, 看这里

• 陷阱
  
  你是否经常sort一个中文文件却得不到正确结果? 那就对了, 你肯定没设置好语言环境(locale), 试试LC_ALL=C sort吧. sort会根据本地语言环境对输入文本进行排序. LC_ALL=C表示会根据字节值来排序. 或许你说我怎么见到的都是LANG=C sort啊, 来, 我们看看bash info上关于LANG和LC_ALL的解释:

  LANG   Used to determine the locale category for any category not specifically selected with a variable starting with LC_.
  LC_ALL This variable overrides the value of LANG and any other LC_ variable specifying a locale category.
  LC_COLLATE
         This variable determines the collation order used when sorting the results of pathname expansion, and  determines  the
         behavior  of  range  expressions,  equivalence  classes, and collating sequences within pathname expansion and pattern
         matching.
  

  • LANG
    
    如果你没有用LC_来设定某个分类的locale, 将会使用LANG来决定这个分类的locale
  • LC_ALL
    
    该变量会覆盖LANG和LC_
  • LC_COLLATE
    该变量设置排序时的locale

  所以, sort时, 设置LC_ALL是最保险的做法.

拓朴排序, 该命令可能会用的比较少

tsort <<EOF
a b c
d
e f
b c d e
EOF

输出:

a
b
c
d
e
f

也是非常常用的一个命令. 这个命令主要用来对有序序列进行去重, 所以它常和sort联合起来使用, 但是sort -u本身就有去重的功能, 所以当你仅仅只是为了去重时, sort -u就可以帮你搞定了(当输入文本巨大时, 可以用hash来去重提高性能, 比如awk的关联数组), 所以呢, 当年需要对重复的数据进行统计时, 会用到uniq. 当然其实uniq相比sort -u而言, 对重复数据有更加强大的处理

• -c, –count
  
  在每行文本前面输出重复次数

• -d, –repeated
  
  只显示重复的行, 重复的行只显示一行

• -D, –all-repeated[=delimit-method]
  
  显示所有重复的行, 注意该选项与选项-d的区别

• -u, –unique
  
  只打印不重复的行

• -i, –ignore-case
  
  比较的时候不区分大小写

• -f, –skip-fields=N
  
  不比较前面N个字段, 字段分隔符为空白字符

• -s, –skip-chars=N
  
  不比较前面N个字符

• -w, –check-chars=N
  
  每行最多比较前面N个字符

• 实例演示
  
  大家看了uniq上面几个选项后, 是不是有uniq没有太大用处的感觉? 这都是错觉, 下面我给大家演示下uniq在集合运算(统计中有大量的应用)方面巧妙的应用.
  • 并集
    

    sort A B | uniq
    

  • 交集
    
    sort A B | uniq -d
  • 差集(A-B)
    
    sort A B B | uniq -u

• 缺陷
  
  • 不能控制字段分隔符
  • 不能像sort -k那样精确的控制要比较的对象

逐行比较两个有序文件, 分三列输出文件1独有的行、文件2独有的行、文件12共有的行,

$ cat ab
ax
by
cz

$ cat ac
ax
bd
cz

$ comm ab ac
        ax
    bd
by
        cz

• -1
  
  不输出第一列(文件1独有的行)

• -2
  
  不输出第二列(文件2独有的行)

• -3
  
  不输出第三列文件3独有的行

• –check-order
  
  检查输入文件是否有序

• –nocheck-order
  
  不检查输入文件是否有序

• –output-delimiter=STR
  
  设定输出分隔符, 默认为TAB

• 实例演示
  
  • 交集
    
    comm -12 <(sort A) <(sort B)
  • 差集(A-B)
    
    comm -23 <(sort A) <(sort B)

如果sort -R产生的结果还不够乱的话, 我想这个命令应该就是你需要的了. 该命令产生完全乱序的结果, 而且速度应该比sort -R快(shuf不用排序), 还有功能更强大

• -e, –echo
  
  对命令行参数乱序

• -i, –input-range=LO-HI
  
  对LO到HI之间的数字进行乱序, 比如shuf -i 12-100

挺常用的一个命令, 能非常方便的取某个字段

• -f, –fields=LIST
  
  选择要输出的字段

• -c, –characters=LIST
  
  选择要输出的字符

• -b, –bytes=LIST
  
  选择要输出的字节

• -d, –delimiter=DELIM
  
  设定字段分隔符, 默认是TAB. 可惜的是, 该分隔符也只能是单个字符.

• –complement
  
  取设定的选择LIST的补集

• -s, –only-delimited
  
  忽略不包含分隔符的行, 默认操作是输出整行

• –output-delimiter=STRING
  
  设定输出分隔符

• LIST
  
  -f, -c, -b选项使用的列表, 可以有下面几种形式:
  • N
    
    第N个字段/字节/字符
  • N-
    
    从第N个到最后一个
  • M-N
    
    从第M个到第N个
  • -M
    
    从第一个到第N个

  列表可以有多个, 之间以逗号分割, 比如:

  cut -f1-3,4-7
  

这个命令很有意思, 把两个文件按行粘贴到一块, 曾经我想自己写个程序搞定这个需求, 后来发现linux下竟然已经有这玩意了(linux总能给你带来惊喜)

$ cat num2
1
2
$ cat let3
a
b
c
$ paste num2 let3
1       a
2       b
        c

• -d, –delimiters=LIST
  
  paste两个文件的时候, 默认是用TAB分割, 这个选项设定分隔符, 同为可惜的是, 只能为单个字符(主要是paste可以粘贴多个文件, 这个选项的第二个字符用来分割第二个和第三个文件)

• -s, –serial
  
  默认paste是竖着粘贴的, 加了这个选项后, 就横着粘贴了:

  $ paste -s num2 let3
  1       2
  a       b       c
  

这是一个稍微高级点的命令, 它把输入文件当成一个key/value对, 然后会把同一个key的所有value粘贴到一块, 来个例子:

$ cat file1
a 1
b 2
c 3
$ cat file2
a 4
c 6
$ join file1 file2
a 1 4
c 3 6

join默认把第一额字段当作key, 字段之间以空格分割, 作为key的字段必须有序.

• -i, –ignore-case
  
  比较字段时, 忽略大小写

• -t CHAR
  
  使用CHAR作为字段分隔符, 又是只能为单个字符(杯具…)

• -1 FIELD
  
  设定第一个文件的key为第FIELD个字段

• -2 FIELD
  
  设定第二个文件的key为第FIELD个字段

• -j FIELD
  
  -1 FIELD -2 FIELD

• -a FILENUM
  
  join默认只打印拥有相同key的行, 该选项会打印第FILENUM个文件中没有匹配上的行

• -v FILENUM
  
  和-a选项有点类似, 该选项只打印第FILENUM个文件中没有匹配上的行, 不会打印匹配上的行

• –check-order
  
  检查输入文件作为key的字段是否有序

• –nocheck-order
  
  不检查输入文件作为key的字段是否有序

• -o FIELD-LIST
  
  高级的控制输出对象的选项, FIELD-LIST中的每个元素具有下面这样的形式:
  • 0
    
    表示做为key的字段
  • M.N
    
    M为文件号, 取值为0或者1, N为字段号, M.N就是取第M个文件第N个字段

  每个元素之间以逗号或者空格分割

• -e EMPTY
  
  -o选项中, 可能文件M中没有字段号N, 这时候输出的时候用EMPTY代替.

主要对文本中的字符进行替换、删除.

• 该命令只支持标准输入, 不支持从文件输入.
• tr仅支持单字节字符.

tr [OPTION]... SET1 [SET2]

字符集合可以由一系列的字符构成, 也可以具有以下形式:

• CHAR1-CHAR2
  
  从CHAR1到CHAR2的所有字符
• [CHAR*]
  
  这种形式只能出现在SET2中, 表示拷贝CHAR直到SET2和SET1的长度相等
• [CHAR*REPEAT]
  
  REPEAT个CHAR
• [:alnum:]
  
  所有的字母和数字
• [:alpha:]
  
  所有的字母
• [=CHAR=]
  
  和CHAR属于同一个字符类中的所有字符

当提供2个字符集合时, 表示把SET1中的字符替换成SET2中的对应的字符, 比如:

tr a A < file # 把文件file中的小写a都变成大写A
tr '[:lower:]' '[:upper:]' < file # 把文件file全部大写

• -d, –delete
  
  删除出现在集合1中的所有字符. 下面的命令把文件file中所有的行连成一行:

  tr -d "\r\n" < file
  

• -s, –squeeze-repeats
  
  把SET1中连续的字符都替换成1个字符, 当SET2也提供时, 首先执行删除连续字符操作, 然后才执行替换操作

• -c, -C, –complement
  
  使用SET1的补集

• -t, –truncate-set1
  
  首先把SET1中的字符截断到和SET2长度相等

• 陷阱
  
  经常见到有同学对会含有中文的文件用上面的方法进行大小写转换:

  # 终端编码为GB18030编码
  $ tr '[:upper:]' '[:lower:]' <<< 琄
  琸
  

  为什么琄会变成琸呢?
  
  上面我们说到, tr是按字节来处理的, 而GB18030编码第二个字节编码范围为0×40-0×7E和0×80-0×FE, 这样, 第二个字节就可能出现ASCII码, 我们来看下上面2个汉字的GB18030编码值:

  $ od -c  <<< 琄
  0000000 254   K  \n
  0000003
  $ od -t x1  <<< 琄
  0000000 ac 4b 0a
  0000003
  
  $ od -c  <<< 琸
  0000000 254   k  \n
  0000003
  $ od -t x1  <<< 琸
  0000000 ac 6b 0a
  0000003
  

  看来确实如此, 琄的第二个字节是字符大K, 琸的第二个字节是字符小k.

  看来, 如果文本里含有多字节字符, 使用tr的时候得小心咯.

每个编辑器对TAB的显示设置不一样, 有的显示为8个字符, 有的显示为4个字符, 这样就造成了在A编辑器下排版很漂亮, 到了B编辑器下变得一团糟, 所以编码的时候最好使用空白字符代替TAB(Emacs中这样设置: (setq-default indent-tabs-mode nil), ), expand命令也可以帮你把TAB转换成空格

• -i, –initial
  
  不转换非空白字符后的TAB

• -t, –tabs=NUMBER
  
  设置一个TAB转换成几个空格, 默认是8

Makefile缩进的时候, 必须是TAB, 所以有时候又需要把空格变成TAB, 就靠unexpand了

• -a, –all
  
  转换所有的空格, 默认情况下只转换开头的空格

• –first-only
  
  只转换开头的空格

• -t, –tabs=N
  
  几个空格转换成一个TAB, 默认是8

colrm [start [stop]]

该命令只支持标准输入, 不支持从文件输入.

删除每行从start到stop之间的字符, 如果stop没有指定的话, 则删除到末尾. 需要注意的是, TAB被认为占8列(不知道为啥这样搞)

切割文本INPUT成文件PREFIXaa, PREFIXab … 默认每个文件1000行, PREFIX为x

split [OPTION]... [INPUT [PREFIX]]

• -l, –lines=NUMBER
  
  按行切割, 每个输出文件NUMBER行, 比较常用的切割方式

• -b, –bytes=SIZE
  
  按字节切分

• -C, –line-bytes=SIZE
  
  每个文件最多SIZE个自己, 但是每行都完整的保存到一个输出文件中, 即不像-b那样, 可能一个整行被拆分到多个文件中去

• -d, –numeric-suffixes
  
  使用数字做为后缀名

根据模式切割文件, 简单了解即可

csplit [OPTION]... FILE PATTERN...

经常会用到, 主要用来转换编码

• –list, -l
  
  列出可以识别的编码

• -c
  
  转换的时候, 忽视无效的字符, 如果没有加这个选项, iconv碰到这个无效字符会直接报错退出, 所以最好加上这个选项

我们经常需要知道文件的编码, 这个命令帮你搞定

按列漂亮的输出:

$ (printf "PERM LINKS OWNER GROUP SIZE DAY HH:MM NAME\n"; ls -l | sed 1d) | column -t

PERM        LINKS  OWNER       GROUP       SIZE   DAY         HH:MM  NAME
drwxr-xr-x  3      taoshanwen  taoshanwen  4096   2012-04-03  22:54  ai
drwxr-xr-x  26     taoshanwen  taoshanwen  4096   2012-04-15  11:59  algorithm
drwxr-xr-x  2      taoshanwen  taoshanwen  4096   2012-04-09  13:35  arch
drwxr-xr-x  5      taoshanwen  taoshanwen  4096   2012-04-03  22:47  c-c++
drwxr-xr-x  6      taoshanwen  taoshanwen  4096   2012-04-14  20:33  CIP
drwxr-xr-x  5      taoshanwen  taoshanwen  4096   2012-04-03  22:47  computer-chess
drwxr-xr-x  2      taoshanwen  taoshanwen  4096   2012-04-15  00:23  computer-go
drwxr-xr-x  3      taoshanwen  taoshanwen  4096   2012-04-10  16:25  database
drwxr-xr-x  3      taoshanwen  taoshanwen  4096   2012-04-15  00:57  distributed
drwxr-xr-x  5      taoshanwen  taoshanwen  4096   2012-04-03  22:47  genetic-prog
drwxr-xr-x  3      taoshanwen  taoshanwen  4096   2012-04-03  22:47  infosec
drwxr-xr-x  2      taoshanwen  taoshanwen  4096   2011-03-19  20:40  iphone
drwxr-xr-x  20     taoshanwen  taoshanwen  4096   2012-04-15  00:38  java
drwxr-xr-x  94     taoshanwen  taoshanwen  16384  2012-04-17  20:01  linux
drwxr-xr-x  7      taoshanwen  taoshanwen  4096   2012-04-10  19:29  math
drwxr-xr-x  2      taoshanwen  taoshanwen  4096   2012-04-17  15:37  mysql
drwxr-xr-x  2      taoshanwen  taoshanwen  4096   2011-10-19  17:04  nosql
drwxr-xr-x  11     taoshanwen  taoshanwen  4096   2012-04-16  12:54  other
drwxr-xr-x  2      taoshanwen  taoshanwen  4096   2012-04-07  14:03  perl
drwxr-xr-x  3      taoshanwen  taoshanwen  4096   2012-04-15  00:18  python
drwxr-xr-x  6      taoshanwen  taoshanwen  4096   2012-04-03  22:50  ruby
drwxr-xr-x  52     taoshanwen  taoshanwen  4096   2012-04-15  00:59  search-engine
drwxr-xr-x  9      taoshanwen  taoshanwen  4096   2012-04-15  00:23  software-engineering
drwxr-xr-x  5      taoshanwen  taoshanwen  4096   2010-10-11  22:56  svnroot
drwxr-xr-x  7      taoshanwen  taoshanwen  4096   2012-04-14  20:33  web
drwxr-xr-x  66     taoshanwen  taoshanwen  12288  2012-04-17  23:47  work

将一个比较长的文本行输出进行"折行".

将输入按照指定宽度进行折行, 功能较fold强大些

sed是一个流编辑器, 类似ed(行编辑器, 通过各种命令编辑文件), 它提供了各种替换、删除的命令, 使得这些编辑操作能自动化起来.

• 工作流程
  
  sed维护2快内存(也可以理解为2个变量, 或者说是2个寄存器), 分别叫做 pattern space 和 hold space, sed对每行输入执行下面的循环:
  1. 读入输入行, 去掉尾部的换行符, 存入pattern space
  2. 执行sed命令, 每条sed命令都可以有个地址与它关联, 这个地址就类似于条件语句, 只有这个条件语句通过验证时, 其对应的命令才会执行
  3. 执行完所有的sed命令后, 如果没有指定sed的-n选项, 将会打印pattern space的内容, 然后再输出换行符. 最后继续读入下一行, 进行下一次的循环

  每次循环开始时, pattern space的内容会被清空, hold space则不会

• 地址格式
  
  sed地址可以具有以下的形式:
  • NUMBER
    
    指定执行命令的行号, 只有在这行, 对应的命令才会被执行, 行号从1开始, 另外, 如果没有指定-i或者-s选项的话, 所有的输入文件会被当成一个输入流, 行号就会一直累加的
  • FIRST~STEP
    
    在FIRST、FIRST+STEP、FIRST+2*STEP、、FIRST+3*STEP行执行对应的命令
  • $
    
    最后一行
  • REGEXP
    
    在匹配上正则REGEXP的行执行对应的命令, 如果REGEXP中含有/, 需要用\转义
  • \%REGEXP%
    在匹配上正则REGEXP的行执行对应的命令, %也可以是其他字符, 如果REGEXP中含有%, 需要用\转义
  • /REGEXP/I, \%REGEXP%I
    忽略大小写
  • /REGEXP/M, \%REGEXP%M
    可以匹配多行, M表示multi-line

  如果没有指定地址的话, 表示所有行对执行命令. 还可以提供2个地址, 指定一个地址范围, 这2个地址之间以逗号分割, 比如:

  ADDRESS1,ADDRESS2
  

  这样, 第一次匹配上ADDRESS1的行与第一次匹配上ADDRESS2的行之间的所有行都会执行对应的命令.
  
  GNU sed还支持下面几种地址范围:

  • ADDR1,+N
    
    匹配ADDR1, 以及接下来的N行
  • ADDR1,~N
    
    匹配ADDR1, 直到行号为N倍数的行

  在地址或者地址范围后加感叹号(!), 表示取反.

• 常用命令
  
  由于sed默认会打印pattern space, 所以不加任何命令的话, 就和cat一样, 打印所有的输出:

  $ cat ab
  ab
  ab
  ac
  ad
  ae
  ac
  ab
  
  $ sed "" ab
  ab
  ab
  ac
  ad
  ae
  ac
  ab
  

  • d
    
    删除pattern space, 立即进入下一轮循环.
    
    ls输出的时候, 第一行有个摘要, 如果不想显示的话, 这样:

    ls -l | sed 1d
    

  • p
    
    打印pattern space.
    
    输出文件ab第5到第10行:

    sed -n 5,10p ab
    

  • q [EXIT-CODE]
    
    立即以返回码EXIT-CODE(默认为0)退出sed, 如果没有加-n选项的话, 当前的模式空间也会打印出来.
    
    如果文件很大的话, 下面的方法输出文件ab第5到第10行会快很多:

    sed -n "5,10p; 10q" ab
    

  • n
    
    如果没有加-n的话, 打印模式空间, 然后直接进入下一轮循环.
    
    不打印第18行:

    sed -n "p; 18n"
    

  • { COMMANDS }
    
    一组命令, 这组命令共用同一个地址.
    
    打印第8行:

    sed -n "8 {p; q}"
    

  • s/REGEXP/REPLACEMENT/FLAGS
    
    这个命令估计是大家用的最多的命令了. 前面几个命令大家不知道的情况下, 可能通过其他命令解决了, 但是这个命令的功能除了awk, 其他的做不了, 而sed比awk更简洁.
    这个命令主要是对pattern space进行替换, 对匹配REGEXP的部分用REPLACEMENT进行替换, 用来分割的/可以由其他字符组成, 比如s:REGEXP:REPLACEMENT:FLAGS. REPLACEMENT可以由原始的字符组成, 也可以由下面带有特殊意义的串组成:
    • &
      
      匹配REGEXP的部分
    • \d
      
      d为1-9的数字, \d表示REGEXP中第d个括号匹配的部分, 比如REGEXP为:

      a(..(..))
      

      pattern space为abcde, 那么\1为bcde, \2为de

    • \L
      
      把REPLACEMENT中的字符变成小写, 直到遇到\U和\E. 比如:

      $ cat ab
      AB
      AB
      ac
      ad
      ae
      ac
      AB
      
      $ sed -r 's/(AB)/\L\1YYY/' ab
      abyyy
      abyyy
      ac
      ad
      ae
      ac
      abyyy
      

      上例中, 本来\1应该是AB, 但是\L把它全变成小写了. 而且后面的YYY也变成小写了.

    • \l
      
      把下一个字符变成小写
    • \U
      
      把REPLACEMENT中的字符变成大写, 直到遇到\L和\E.
    • \u
      
      把下一个字符变成大写
    • \E
      
      结束\L和\U的作用

    s命令后的FLAGS可以由下面几种:

    • g
      
      s命令默认只替换第一个匹配, g可以让它全部替换
    • NUMBER
      
      替换第NUMBER个匹配
    • p
      
      如果发生了替换, 打印模式空间.
      
      搜索文件ab中xxx并替换成yyy打印出来:

      sed s/xxx/yyy/p ab
      

    • i, I
      
      正则匹配忽略大小写
  • y/SOURCE-CHARS/DEST-CHARS/
    
    类似tr命令, 用DEST-CHARS对应的字符替换出现在SOURCE-CHARS中的字符. 和s命令一样, 分隔符/也可以是其他字符.

  • =
    
    打印行号. 下面的命令类似grep -n:

    sed  -n '/xxx/ {=; p}'
    

• 高级命令
  
  • h
    
    用pattern space替换hold space
  • H
    
    先在hold space追加换行符, 再往hold space追加pattern space
  • g
    
    用hold space替换pattern space
  • G
    
    先在pattern space追加换行符, 再往pattern space追加hold space
  • x
    
    交换pattern space和hold space的内容
  • D
    
    删除模式空间的第一行. 如果模式空间中还有内容的话, 开始进入下一轮循环, 但不读入输入. 如果没有内容的话, 读入输入并进行下一轮循环.
  • N
    
    追加换行符到pattern space, 并读入下一行输入追加到pattern space, 如果已经没有任何输入, 直接退出sed, 不再处理任何命令.
  • P
    
    大写p, 打印pattern space第一行
  • z
    
    清空pattern space

• 专家命令
  
  • : LABEL
    
    设定标签, 类似C语言中设定一个标签, 然后可以goto之
  • b [LABEL]
    
    跳转到标签, 如果没有提供标签的话, 直接进入下一轮循环
  • t [LABEL]
    
    这轮循环中, 如果s命令替换成功过, 则跳转到标签. 如果没有提供标签的话, 直接进入下一轮循环
  • T LABEL
    
    和t LABEL相反, s命令替换失败, 才跳转到标签

• 命令选项
  
  • -n, –quiet, –silent
    
    禁止自动打印pattern space
  • -i[SUFFIX], –in-place[=SUFFIX]
    
    原地编辑文件, 文本修改后会直接影响到输入文件
  • -r, –regexp-extended
    
    启用扩展正则, 默认是基础正则
  • -s, –separate
    
    把每个文件当作单独的输入流, 而不是一个输入流

• 给我一个寄存器, 我可以干好多事
  
  各位看完上面所说的sed命令后, 是不是觉得sed只能做一些替换、删除等操作， 为什么称为微语言呢, 我之所以把它归到微语言这一类是有原因的, 它具有下面几个语言的特征:
  1. 有条件判断能力, sed的地址就是一种条件判断, 还有标签命令也是条件判断
  2. 有流程控制能力, 标签命令就可以做到
  3. 有变量, 虽然很少, 只有2个, 但是仍然可以干好多事了, 看下面的例子

  更多的例子参加sed info

  • tac
    
    模拟tac

    sed -n '1!G; $p; h'
    

  • 为数字字串增加逗号分隔符号， 将1234567变为1,234,567
    

    sed -r ':a; s/(.*[0-9])([0-9]{3})/\1,\2/; ta' <<< 124523536543652
    

awk是文本处理的利器, 前面那些命令能干的事它都能搞定.

• 工作流程
  
  awk的工作方式有点类似sed, sed是地址+命令, awk则是pattern+action, pattern是要匹配的模式, action是要执行的命令, pattern可以由下面几种形式:
  • BEGIN
    
    awk程序开始处理输入时
  • END
    
    awk程序结束处理输入时
  • BEGINFILE
    
    awk程序开始处理每个文件时
  • ENDFILE
    
    awk程序结束处理每个文件时
  • regular expression
  • relational expression
    
    关系表达式
  • pattern && pattern
  • pattern || pattern
  • pattern ? pattern : pattern
  • (pattern)
  • ! pattern
  • pattern1, pattern2

  action要以大括号括起来, 比如:

  awk '0{print} 1{print}' .emacs
  

• 内置变量
  
  • ARGC
    
    awk输入参数的个数, 不包括awk自己
  • ARGV
    
    命令行参数
  • ARGIND
    
    当前处理的文件在ARGV中的位置, ARGV[ARGIND]表示当前正在处理的文件, 可以通过这个变量来对不同的输入文件做不同的处理
  • FNR (File Number Record)
    
    当前文件的记录总数
  • NR (Number Record)
    
    目前处理的记录总数
  • NF (Number of Field)
    
    当前记录的字段数

• 网络编程
  
  awk能开发网络程序, 你相信吗?

  $ cat test.awk
  #!/usr/bin/awk -f
  
  BEGIN {
      str = "GET /index.html HTTP/1.1\r\nHost: www.baidu.com\r\n\r\n"
      print str |& "/inet/tcp/0/www.baidu.com/80"
      "/inet/tcp/0/www.baidu.com/80" |& getline
      print
  }
  
  $ awk -f test.awk
  HTTP/1.1 200 OK
  

• 陷阱
  
  • tolower/toupper
    
    和tr一样, 这2个函数也是对字节进行处理

  • 判断元素是否存在
    
    你是否这样判断某元素是否存在于某数组:

    if (a[e] != 2) { ... }
    

    如果输入很大的话, 过会你就会发现你的awk占了很多内存, 原因就是a[e]的时候, 如果awk发现a中没有e, 就会把e插入到a中, 这样一来内存自然越来越大, 正确的判断方法是:

    if (!(e in a)) { ... }
    

    用过python的朋友可能会这样写:

    if (e not in a) { ... }
    

    很不幸, 没有这样的语法, 而且还不报错, 我猜awk把e not连接成一个字符串了…

• multi-sort

• 单词 (word)
  
  一串字符构成一个单词, 也叫token

• name (identifier)
  
  仅有字母、数字、下划线构成， 而且由字母或者下划线开头的word叫name, 也叫标识符(identifier)

• 元字符 (metacharacter)
  

  | & ; ( ) < > space tab
  

  这些字符没有被引号引起来时, 可以用来分割单词

command | command2
command |& command2

把command的输出通过管道连接到command2的输入, |&连标准错误也一起做为command2的输入.

这里要注意的时, command2是在子shell里面执行的, command2对环境所做的改变不会影响到command所在的shell环境. 这就解释了本文开头的问题3.1

引用用来去掉某些字符的特殊意义. 比如想使用元字符的字面意义必须对其进行引用.

引用有3类: 反斜线引用(\)、单引号引用、双引号引用.

单引号引用屏蔽单引号内的任何字符所具有的特殊意义, 包括反斜线(\), 所以单引号引用不能再包含单引号(比较杯具…)

双引号引用中除了 $ 、 ` 、 \ 、 ! , 其他特殊字符的意义都被屏蔽.

小技巧:

• $’string’
  这个语法的意思是: string中含有的反斜线及其后的字符会被特殊解释, 比如: \t会被解释成TAB. 这个非常有用, 比如sort的字段分隔符只能是单个字符, 如果想用TAB做字段分隔符的话, 好多人都这样: sort -t ” “, 由于好多编辑器会把TAB变成4个空格, 所以这样做经常会出问题, 那现在你可以这样了: sort -t $’\t’

参数是用来存储值的实体, 它可以是数字(0, 1, 2 …)、name、某些特殊字符(@, *, …). 当参数是一个name时, 也叫变量(variable), 变量赋值:

name=[value]

等号2边不能有空格, 如果有空格的话, shell解释程序怎么知道你到底是想要运行name命令还是给name赋值呢? 所以的shell的变量赋值才不得不这样”讲究”

小技巧:

• shell变量也可以 +=
• 在命令之前的变量赋值语句只影响该命令, 比如:

  LANG= sort file
  

  上面的命令表示在运行sort file的时候LANG为空, 不会影响其他的后续命令. 你是否还记得这样的代码:

  tmp_LANG=$LANG
  LANG=zh_CN
  codes ...
  LANG=$tmp_LANG
  

• 位置参数 (Positional Parameters)
  
  $0, $1, …

  小技巧:

  • 怎么重设位置参数? 用set
  • $10可以吗? 用${10}

• 特殊参数 (Special Parameters)
  
  • $*
    

    $* == $1 $2 $3 ...
    "$*" == "$1c$2c$3...", c为IFS的第一个字符
    

    IFS 参见这里

  • $@
    

    $2 == $*
    "$@" == "$1" "$2" "$3" ...
    

    $* 和 $@ 啥区别? 见后文

• shell内置变量 (Shell Variables)
  
  • IFS
    
    Internal Field Separator, 用来扩展后分割单词, read命令也是用它来分割单词. 默认值为: <space><tab><newline>

  • LANG
    
    这个变量控制你的环境所使用的语言(locale), 还有LC_开头的好几个shell变量也控制locale相关的一些方面. 当你sort一个含有中文的文件时, 是不是结果不如你所愿? 试试LANG=C sort

  • PATH
    
    可执行文件的搜索路径

命令行被分割成单词后, 开始执行扩展. 扩展有大括号扩展(brace expansion), 波浪号扩展(tilde expansion), 参数和变量扩展(parameter and variable expansion), 算术扩展(arithmetic expansion), 命令替换(command substitution), 单词分割(word splitting), 路径扩展(pathname expansion). 扩展的优先级也如上所示. 有的系统还支持进程替换(process substitution)

• 大括号扩展
  

  echo a{b,c}
  ab ac
  
  echo {1..10}
  1 2 3 4 5 6 7 8 9 10
  
  echo {10..1}
  10 9 8 7 6 5 4 3 2 1
  
  echo {1..10..3}
  1 4 7 10
  
  echo {a..f}
  a b c d e f
  
  echo {a..f..2}
  a c e
  

• 波浪号扩展
  

  echo ~/sdfa
  /home/taoshanwen/sdfa
  
  ~+ => PWD
  ~- => OLDPWD
  

• 参数扩展
  
  ${parameter}, 就是取出parameter的值, 有很多形式:
  • ${parameter:offset}
  • ${parameter:offset:length}
    
    对parameter进行substr

  • ${parameter#word}
  • ${parameter##word}
    
    删掉匹配的前缀

  • ${parameter%word}
  • ${parameter%%word}
    
    删掉匹配的后缀

  还有很多, 详见bash man

• 命令替换
  
  $(command) 或者`command`, 把command的输出做为结果

• 算术扩展
  
  $((expression)), 对expression进行算术表达式操作, 例如:

  echo $((9 + 8 * 9))
  81
  
  echo $((9 + 8 ** 9))
  134217737
  

• 进程替换
  
  假如我现在想比较两个目录dir1和dir2中的文件有啥不同, 我想很多人会这样做:

  ls dir1 > 1
  ls dir2 > 2
  diff 1 2
  

  但你试试这样:

  diff <(ls dir1) <(ls dir2)
  

  是不是也可以? 很神奇吧. 上面的这个语法<(command)就是进程替换. <(command)表示把command的输出生成一个临时文件, 并把这个文件名作为另外一个命令的参数. 对于上面的命令, 就是把”ls dir1″命令的输出生成一个临时文件, 并把临时文件名做为diff命令的第一个参数. 再举一个例子:

  wget -q -O >(cat) http://baidu.com
  

  wget命令会把下载后的文件保存到文件中去, 但是我们可以用上面的命令不让它保存到文件中去, 而是显示出来. wget的”-O”选项后本来应该是一个文件名的参数, 但是我们现在用>(cat)代替, 表示wget下载下来的内容放到一个临时文件中, 然后把这个临时文件名再传给>()里面的cat命令.
  灵活运用进程替换, 将会非常的方便, 严重推荐

• 单词分割
  
  shell解释器最为重要的一步! shell灵异的来源

  上述扩展如果没有双引号扩起来, 扩展完后, shell将会对结果用IFS进行单词分割. 例如:

  str="a         b          c"
  
  echo $str
  a b c
  
  echo "$str"
  a         b          c
  

  为什么加不加双引号结果会迥然不同? 因为没加双引号时, shell会对扩展结果进行单词分割, $str的扩展结果为”a b c”, 分割后变成3个单词a、b、c, 这3个单词做为echo命令的三个参数, 最终输出结果自然是”a b c”了.

  想起来本文开头的3.2问题了吗? 知道怎么回事了吧?

  另外, 扩展结果为空的话, 如果没有被双引号或者单引号扩起来的话, 会被删掉. 例如:

  #!/usr/bin/env bash
  
  user="$1"
  
  mysql -u $user db -e "$sql"
  

  上面这个脚本如果第一个参数为空的话, $user将会被删掉, 从而mysql的用户名会变成db, 正确的代码应该是:

  mysql -u "$user" db -e "$sql"
  

  那你知道下面这些代码的错误之处了吗?

  str=$(cat file)
  
  for line in "$str"; do
      echo "$line"
  done
  

  说到这里, 我们来说说$*和$@的差别. 它们在不加双引号时完全一样, 但是不加双引号时, 他们都有一个问题, 就是扩展会进行单词分割, 如果输入的参数中含有空格, 可能有时候结果就不是我们想要的了, 比如:

  #!/usr/bin/env bash
  
  for i in $*; do
      echo $i
  done
  

  保存上述的程序为test.sh, 该程序想打印每个输入参数,

  taoshanwen@taoshanwen-laptop ~$ ./test.sh ab cd ef
  ab
  cd
  ef
  
  taoshanwen@taoshanwen-laptop ~$ ./test.sh "ab xx" "cd yy" "ef zz"
  ab
  xx
  cd
  yy
  ef
  zz
  

  上述结果并不是我们想要的, 那怎么取得准确的输入参数呢? “$@”可以解决, 你可以试试,

• 路径扩展
  
  如果当前路径下有文件ab、ac、ad, 那么:

  echo a*
  ab ac ad
  

• 删除引用(Quote Removal)
  
  经过上述扩展之后, 对于不是由于上述扩展产生的并且没有被引用的双引号、单引号、反斜线都会被删掉， 例如:

  echo "xx" => xx
  echo a"xx" => axx
  

  经过上面这么多的了解, 我们大致知道了shell解释器的解释过程:

  

• Here Documents
  

  <<[-]word
  here-document
  delimiter
  

  把here-document作为某个命令的标准输入. 例子:

  grep a << EOF
  asdf
  qweszd
  asdf
  EOF
  

  如果word用双引号括住, delimiter就是word删除引用后的结果, here-document里面不进行任何扩展. 如果word没有用双引号括住, 那么here-document里面会进行参数替换、命令替换、算术扩展.

  我们再来看看本文开头说的那个神奇的注释,

  : << COMMENT
  COMMENT
  

  *”:”* 是一个shell内置命令, 它不干任何事情, 它的返回值为0. 这样就好理解了, 被注释的内容实际上是作为 : 的标准输入, 而这个命令啥事情都没干, 起到注释的作用了. 但是你现在知道为啥下面这个没起到注释作用了吗? 咋解决呢?

  echo xxx
  
  : << COMMENT
  file=a
  result=$(grep str $file)
  COMMENT
  
  echo "mm said, you can touch me!"
  

• Here Strings
  

  <<< here-strings
  

  把word作为命令的标准输入, 例子:
  grep a <<< abc

http://sourceforge.net/projects/log4sh/, shell里的日志工具, 和log4系列的其他日志库配置基本差不多

http://shunit.sourceforge.net/, shell的单元测试工具

http://bashdb.sourceforge.net/, shell的调试工具

http://www.datsi.fi.upm.es/~frosal/, 简单的加密工具, 会把shell转换成一个二进制文件

http://wzce.tripod.com/wzsh.html, 更加强大的加密工具

本文的快捷键表示中, C 表示Ctrl键, M表示Alt健. 这些快捷键中, 有一个小规律, 对字符操作一般是C开头, 对单词操作一般是M开头. 如果你用SecureCRT, 默认的话, 会输入不了Alt开头的快捷键, 因为Alt被当作菜单快捷键了, 可以点 选项 -> 回话选项, 选择tab 终端->仿真->Emacs, 把”使用Alt键作为元键”打勾. 如果你用gnome-terminal, 默认状态下也输入不了Alt开头的快捷键，也被当作菜单快捷键了，可以点 编辑 -> 键盘快捷键, 把＂启用菜单快捷键＂前面的勾去掉.
下面的快捷键中很多以Ctrl键开头, 很多键盘的Ctrl键并不是很好按, 可以尝试把Ctrl键和Capslock键交换.

• C-r
  
  有时候，如果你想重新输入以前输入过的某条命令怎么办? 我见过两种做法：
  1. 不停的按向上方向键，试图找出那条命令
  2. 输入history命令，然后找到那条命令，或者grep一把history命令的输出

  其实, 你有更好的选择, 那就是按 C-r, 然后输入你想要的命令中含有的单词, 就会出现含有这个单词的命令, 如果它不是你想要的命令, 就继续按C-r, 知道出现你想要的命令为止. C-r效果:
  

  (reverse-i-search)`ls': ls a b c
  

• M-.
  
  我经常见别人用mkdir long-long-long-name-dir后, 再输入cd, 后面跟那个长的不能再长的目录名, 这时候我就会告诉他, 其实你输入完cd后, 可以按M-., 就可以自动输入那个长的不能再长的目录名了. 其实, M-.的真正作用就是把上一条命令的最后一个参数输入到当前命令行. 非常非常之方便, 强烈推荐. 如果继续按M-., 会把上上条命令的最后一个参数拿过来. 同样, 如果你想把上一条命令第一个参数拿过来咋办呢? 用M-0 M-., 就是先输入M-0, 再输入M-.. 如果是上上条命令的第一个参数呢? 当然是M-0 M-. M-.了.

• 程序控制
  
  

  意义	快捷键
  终止当前在前台运行的程序	C-c
  挂起当前在前台运行的程序	C-z
  如果光标在行首且当前行没有输入任何字符, C-d会退出当前会话	C-d

• 光标移动
  
  

  意义	快捷键
  向前(Forward)移动一个字符	C-f
  向后(Backward)移动一个字符	C-b
  向前移动一个单词	M-f
  向后移动一个单词	M-b
  移动光标到行首	C-a
  移动光标到行尾	C-e

• 编辑
  
  

  意义	快捷键
  向前删一个字符	C-d
  向后删一个字符	C-h
  向前删一个单词	M-d
  向后删一个单词, 单词之间以符号分割	C-M-h
  向后删一个单词, 单词之间以空格分割	C-w
  清屏, 相当于命令clear, 有了这个快捷键, 就不用每次努力的敲clear了	C-l
  删除当前光标到行尾的字符	C-k
  删除当前光标到行首的字符	C-u
  粘贴删除环里面的第一项	C-y
  粘贴删除环里面的后面的项	M-y
  undo	C-/
  取出上一条命令的最后一个参数	M-.

  对于C-M-h和C-w的区别, 看下面这个例子:
  
  如果当前光标前面的字符串为”abc def-ghi”, C-M-h会删掉ghi, 但是C-w会删掉”def-ghi”, 也就是说, C-M-h向后删的时候碰到非字母和数字就会停止, 但是C-w碰到空格才会停止.
  

  Bash下有一个删除环(kill-ring), 所有被删除的东西(用C-d删除的字符不算)都会进入这个环, C-y会粘贴环里面最近进去的项, 想要粘贴后面的项, 必须在按C-y后, 不停的按M-y, 直到出来你想要的项为止.
  

  有时候, 你想搜索某个文件中是否有TAB键, 你这时候会怎么做呢? 你或许会用grep, 在你输入完grep后, 你再按TAB, 这时候会出来什么? 什么都没出现! 再按? 出来:

  Display all N possibilities? (y or n)
  

  这是为何呢? 因为TAB是补全键. 那么是否是输入不了TAB吗? 不是! 按C-v后, 再按TAB即可. 同样, 想输入C-a, C-b也是同样的道理.
  

• 历史命令操作
  
  

  意义	快捷键
  从历史命令列表中取下一条命令, 相当于向下方向键	C-n
  从历史命令列表中取上一条命令, 相当于向上方向键	C-p
  向后增量搜索历史命令, 非常方便, 严重推荐, 有了它, 以前输入过的很长的命令, 可以不用重复输入	C-r
  循环执行历史命令	C-o

  用C-p取出历史命令列表中某一个命令后, 按C-o可以在这条命令到历史命令列表后面的命令之间循环执行命令, 比如历史命令列表中有50条命令, 后面三项分别是命令A, 命令B, 命令C, 用C-p取出命令A后, 再按C-o就可以不停的在命令A, 命令B, 命令C中循环执行这三个命令. C-o有一个非常好用的地方, 比如用cp命令在拷贝一个大目录的时候, 你肯定很想知道当前的拷贝进度, 那么你现在该怎样做呢? 估计很多人会想到不停的输入du -sh dir去执行, 但用C-o可以非常完美的解决这个问题, 方法就是:

  1. 输入du -sh dir, 按回车执行命令
  2. C-p, C-o, 然后就可以不停的按C-o了, 会不停的执行du -sh dir这条命令

  其实上面这个问题也可以用watch命令解决:

  watch -n 1 -d du -sh dir
  

意义	快捷键
从当前光标处向前搜索字符	C-]
从当前光标处向后搜索字符	C-M-]
交换当前光标下的字符和光标前面的一个字符, 交换后, 光标向后移东一个字符	C-t
交换当前光标所在单词和光标前面一个单词, 交换后, 光标向后移动一个单词	M-t
把单词首字符变成大写, 其他变成小写	M-c
把单词变成小写	M-l
把单词变成大写	M-u
删除当前光标前面所有的空白字符	M-\
向后非增量搜索历史命令	M-p
相当于TAB健	C-i
相当于回车键	C-m/C-j
在当前光标处和上一次光标处不停的移动	C-x C-x

其实, 上面所说的快捷键并不是由Bash来控制的, 而是有一个叫readline的库来控制的, readline库用在很多地方, 比如gdb, mysql, 你使用gdb的时候, 是不是很奇怪, 为啥它也能用上下方向键取出前面后面的命令? 因为它用的也是readline库. 所以只要掌握了readline, 就掌握了Bash, gdb, mysql等程序里面的快捷键操作技巧. readline是一个非常非常强悍的库, 它有两种模式, 一个是Emacs模式, 另外一个是vi模式, Emacs模式非常适合在命令行下使用, 我上面说的快捷键都是针对Emacs模式来说的. readline的Emacs模式下的光标移动, 编辑等快捷键和Emacs下的快捷键也非常相近. 所以你学会了这些快捷键, 也快入门Emacs了, . readline也可以自定义快捷键, 它还有一套配置语法. 关于它的详细介绍, 可以man readline或者info readline, 也可以看看大牛王垠写的readline介绍.

首先举个例子:
首先输入一条命令:

ls abc def ghi

再输入:

!!*:s/b/d

那么实际上执行的命令是:

adc def ghi

我来解释一下, !!表示从命令历史列表中取上一条历史命令”ls abc def ghi”, *表示选择取刚才选择的命令的所有参数, 即: “abc def ghi”, :s/b/d表示对刚才取出来的参数”abc def ghi”进行替换, 把第一个出现的b替换成d

从上面可以看出, 操作历史命令分为三步:

• 首先从历史命令列表中选择某条命令, 被选择到的命令被称作 事件(event) (对应上面的!!)
• 再从选择好的事件中选择一部分单词(words), 事件中的每个单词以空格分割(对应上面的*)
• 最后对选择好的一部分单词进行修改(Modifiers)

事件指示器用来从历史命令列表中选择一条命令, 也就是选择事件

• !n
  
  选择历史命令列表中第n条命令
• !-n
  
  选择倒数第n条命令
• !!
  
  选择上一条命令, 相当于!-1, 和 C-p 的作用也一样
• !string
  
  选择最近的以string开头的命令
• !?string[?]
  
  选择最近的包含string的命令, 如果该指示器后面是换行符, 则可以不用输入结尾的”?”
• ^string1^string2
  
  取上一条命令, 并把第一个出现的string1替换成string2
• !#
  
  引用目前输入的所有命令, 比如输入:

  more a !#
  

  那么最终执行的命令就是:

  more a more a
  

单词指示器用来从被选择好的事件中选择一部分单词, 单词指示器必须以冒号(:)和事件指示器分割开来, 除非单词指示器以^, $, *, -, %开头

• 0
  
  选择第0个word, 也就是命令. 假如事件为”ls abc”, 那么单词指示器0选择的word即为”ls”
• n
  
  选择第n个word
• ^
  
  选择命令的第一个参数, 也就是第一个word, 相当于单词指示器1
• $
  
  选择命令的最后一个参数
• %
  
  选择最近的与 “?string?” 搜索相匹配的单词
• x-y
  
  选择第x到第y个word, -y表示0-y
• *
  
  选择命令的所有参数, 相当于1-$
• x*
  
  x-$的缩写
• x-
  
  类似x*, 不过不包含最后一个word. -选择除最后一个word外所有的words

对选择的单词进行修改, 修饰符可以出现多次, 每个修饰符要以冒号开头

• p
  
  打印新命令, 但不执行
• s/old/new/
  把 第一次出现的 old替换成new, 如果分隔符”/”是最后一个字符的话, 可以省略. 就像sed中一样, 分隔符”/”可以用其他字符代替, 比如s:old:new:. new中出现的&将被old代替. 如果old省略, 那么就用上一次替换用的old代替.
• &
  
  重复上一次替换
• g
  
  使修饰符所做的修改应用于整个选择的单词. 类似于sed中的s命令最后的g, 可配合:s和:&修饰符使用, 比如:gs/old/new则对整个事件进行替换.
• a
  
  和g作用一样
• G
  
  使后面的:s修饰符对每个word只替换一次

• 例一
  
  从别的机器的一个目录拷贝一个a.log文件, 执行:

  scp user@machine:/home/user/a/a.log .
  

  后来执行:

  ls a.log
  rm -rf a.log
  

  这时候再想拷贝一下b/b.log, 这时候就可以这样做:

  !scp:gs/a/b
  

  如果只想看看用历史扩展出来的命令, 那可以这样:

  !scp:gs/a/b/:p
  

• 例二
  
  从别的机器同时拷贝a/a.log和b/b.log:

  scp user@mbchine:/home/user/a/a.log . && !#-:gs/a/b
  

  上面的!#为事件指示器, 选择前面已经输入的命令”scp user@mbchine:/home/user/a/a.log . &&”, “-”为单词指示器, 选择除最后一个word, 即”&&”外的所有words, 也就是”scp user@mbchine:/home/user/a/a.log . “, 最后的”:gs/a/b”为修饰符, 对刚才选择的words进行全局替换, 把a替换成b, 最后就成了”scp user@mbchine:/home/user/b/b.log .”, 那么最终命令也就成了”scp user@mbchine:/home/user/a/a.log . && scp user@mbchine:/home/user/b/b.log .”

上面的例子都可以用前面所说的快捷键完成, 不过灵活利用历史扩展有时候还是能更高效的完成同样的事情

<<[-]word
here-documents
delimiter

把here-documents作为某个命令的标准输入, 例子:

grep a << EOF
asdf
qweszd
asdf
EOF

<<< here-strings

把word作为命令的标准输入, 例子:
grep a <<< abc

假如我现在想比较两个目录dir1和dir2中的文件有啥不同, 我想很多人会这样做:

ls dir1 > 1
ls dir2 > 2
diff 1 2

但你试试这样:

diff <(ls dir1) <(ls dir2)

是不是也可以? 很神奇吧. 上面的这个语法<(command)就是进程替换. <(command)表示把command的输出生成一个临时文件, 并把这个文件名作为另外一个命令的参数. 对于上面的命令, 就是把”ls dir1″命令的输出生成一个临时文件, 并把临时文件名做为diff命令的第一个参数. 再举一个例子:

wget -q -O >(cat) http://baidu.com

wget命令会把下载后的文件保存到文件中去, 但是我们可以用上面的命令不让它保存到文件中去, 而是显示出来. wget的”-O”选项后本来应该是一个文件名的参数, 但是我们现在用>(cat)代替, 表示wget下载下来的内容放到一个临时文件中, 然后把这个临时文件名再传给>()里面的cat命令.
灵活运用进程替换, 将会非常的方便, 严重推荐