awk脚本对两个文件按列进行字符串去重

 

awk 'BEGIN { #按行读取文件         while((getline < "file.txt" ) > 0)        { #将行数据存放在terms词典里                terms[$1]=1        }}{ #若标准输入数据不在terms中，则输出        if( $1 not in terms) print $1}'

---

注意： 每接受一行标准输入，BEGIN便会执行一遍，这样效率不是很高，如果要提升效果可以指定一个全局状态变量。