婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > shell中刪除文件中重復行的方法

shell中刪除文件中重復行的方法

熱門標簽:百度地圖標注錯了有責任嗎 如果做線上地圖標注 打電話機器人接我是他的秘書 客服外呼系統怎么樣 華鋒e路航港口地圖標注 地圖標注員都是年輕人 揭陽智能電話機器人推薦 河南信譽好的不封卡電話外呼系統 江蘇云電銷機器人公司

Linux下文本處理工具很豐富很強大,例如這樣一個文件:

復制代碼 代碼如下:
cat log
www.jb51.net 192.168.1.1
www.jb51.net 192.168.1.1
www.jb51.net 192.168.1.2
ffffffffffffffffff
ffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
fffffffffffffffffff
eeeeeeeeeeeeeeeeeeee
eeeeeeeeeeeeeeeeeeee
gggggggggggggggggggg

可用以下方法去除重復行:

1.使用uniq/sort刪除重復行
注意:單純uniq是不行的。

復制代碼 代碼如下:
shell> sort -k2n file | uniq > a.out

這里我做了個簡單的測試,當file中的重復行不再一起的時候,uniq沒法刪除所有的重復行。經過排序后,所有相同的行都在相鄰,因此unqi可以正常刪除重復行。

2.使用用sort+awk命令
注意:單純awk同樣不行,原因同上。

復制代碼 代碼如下:
shell> sort -k2n file | awk '{if ($0!=line) print;line=$0}'

也可以使用 awk '!i[$1]++' log;

3.用sort+sed命令,同樣需要sort命令先排序。

復制代碼 代碼如下:
shell> sort -k2n file | sed '$!N; /^\(.*\)\n\1$/!P; D'

您可能感興趣的文章:
  • 判斷文件是否存在的shell腳本代碼
  • Shell逐行讀取文件的4種方法
  • shell去掉文件中空行(空白行)的方法詳解
  • shell腳本中執行時提示“沒有那個文件或目錄”的解決辦法
  • shell按行讀取文件的3種方法
  • Shell腳本統計文件行數的8種方法
  • Shell獲取文件的文件名和擴展名的例子
  • Shell中調用、引用、包含另一個腳本文件的三種方法
  • shell判斷文件,目錄是否存在或者具有權限的代碼
  • shell兩個文件去重的多種姿勢

標簽:赤峰 金昌 邵陽 淘寶邀評 婁底 馬鞍山 巴彥淖爾 許昌

巨人網絡通訊聲明:本文標題《shell中刪除文件中重復行的方法》,本文關鍵詞  shell,中,刪除,文件,重復,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《shell中刪除文件中重復行的方法》相關的同類信息!
  • 本頁收集關于shell中刪除文件中重復行的方法的相關信息資訊供網民參考!
  • 推薦文章
    主站蜘蛛池模板: 合川市| 霞浦县| 缙云县| 唐河县| 甘德县| 平遥县| 寿宁县| 宣汉县| 绵阳市| 峨眉山市| 莎车县| 富源县| 岚皋县| 阆中市| 南靖县| 泽普县| 多伦县| 鄄城县| 鄂尔多斯市| 满城县| 慈溪市| 广宗县| 银川市| 娄底市| 灵武市| 闽清县| 汝城县| 青神县| 当雄县| 宿州市| 四平市| 迁西县| 青冈县| 庆安县| 长武县| 青岛市| 宁武县| 铜山县| 三台县| 互助| 德兴市|