前言
大家都知道shell在文本處理上確有極大優(yōu)勢(shì)，比如多文本合并、去重等，但是最近遇到了一個(gè)難搞的問(wèn)題，即兩個(gè)大數(shù)據(jù)量文件去重。下面來(lái)看看詳細(xì)的介紹吧。
要求
有txt文件A.txt和B.txt。
其中A為關(guān)鍵詞和搜索量，以逗號(hào)分隔，約90萬(wàn)行。
B為關(guān)鍵詞，約400萬(wàn)行。
需要從A中找出與B重復(fù)的關(guān)鍵詞。
我試了N種姿勢(shì)，但結(jié)果都不盡人意，最奇怪的是有些方法對(duì)小數(shù)據(jù)量的測(cè)試文件有用，一旦用在A與B上就會(huì)失敗，真叫人百思不得其解。
姿勢(shì)一：
awk -F, '{print $1}' A >keywords.txt
cat keywords.txt B.txt | sort | uniq -d
#先從A.txt種取出關(guān)鍵詞，然后與B.txt一起打開(kāi)，用sort排序，uniq -d 取出重復(fù)的行
姿勢(shì)二：
awk -F, '{print $1}' A >keywords.txt
#照例先取出關(guān)鍵詞
comm -1 -2 keywords.txt B.txt
#利用comm命令，顯示兩個(gè)文件都存在的行
姿勢(shì)三：
awk -F, '{print $1}' A >keywords.txt
for i in `cat keywords.txt`
do
A=`egrep -c "^$i$" B.txt`
if [ $A != 0 ]
then
echo $i >>重復(fù)關(guān)鍵詞.txt
fi
done
#這種姿勢(shì)就稍微復(fù)雜點(diǎn)
#首先取出關(guān)鍵詞，然后利用for循環(huán)逐個(gè)去B.txt里面匹配（注意正則寫法^$i$），如果匹配到的結(jié)果數(shù)不為0，說(shuō)明這個(gè)關(guān)鍵詞是重復(fù)的，然后輸出
#這種方法的優(yōu)點(diǎn)是穩(wěn)妥，缺點(diǎn)是效率太TM低了，90萬(wàn)個(gè)詞逐一與400萬(wàn)詞匹配，shell默認(rèn)又沒(méi)有多線程，耗時(shí)太長(zhǎng)。
姿勢(shì)四：
awk -F, '{print $1}' A >keywords.txt
cat keywords.txt B.txt | awk '!a[$1]++'
#這個(gè)方法的原理其實(shí)我不太懂，awk命令實(shí)在太強(qiáng)大太高深了，但是這種方法又簡(jiǎn)潔又快速
其實(shí)還有一種grep -v 、grep -f 的方法，但是我沒(méi)有試過(guò)，所以不在這里列出了。
總結(jié)
以上就是這篇文章的全部?jī)?nèi)容了，希望本文的內(nèi)容對(duì)大家的學(xué)習(xí)或者工作能帶來(lái)一定的幫助，如果有疑問(wèn)大家可以留言交流。
您可能感興趣的文章:- 判斷文件是否存在的shell腳本代碼
- Shell逐行讀取文件的4種方法
- shell去掉文件中空行(空白行)的方法詳解
- shell腳本中執(zhí)行時(shí)提示“沒(méi)有那個(gè)文件或目錄”的解決辦法
- shell按行讀取文件的3種方法
- Shell腳本統(tǒng)計(jì)文件行數(shù)的8種方法
- Shell獲取文件的文件名和擴(kuò)展名的例子
- Shell中調(diào)用、引用、包含另一個(gè)腳本文件的三種方法
- shell判斷文件,目錄是否存在或者具有權(quán)限的代碼
- shell中刪除文件中重復(fù)行的方法
