婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > Linux下刪除大數據文件中部分字段重復行的方法

Linux下刪除大數據文件中部分字段重復行的方法

熱門標簽:河南語音電銷機器人加盟公司 濟南智能語音電銷機器人加盟 如何找電銷機器人 無錫ai智能語音電銷機器人廠家 江西意向度高的羿智云外呼系統 無錫真人電銷機器人供應商 電銷機器人怎么打卡 易聯系統外呼營銷來回呼 抖音商家地圖標注入駐店
最近寫的一個數據采集程序生成了一個含有1千多萬行數據的文件,數據由4個字段組成,按照要求需要刪除第二個字段重復的行,找來找去linux下也沒找到合適的工具,sed/gawk等流處理工具只能針對一行一行處理,并無法找到字段重復的行??磥碇缓米约簆ython一個程序了,突然想起來利用mysql,于是進行乾坤大挪移:

1. 利用mysqlimport --local dbname data.txt導入數據到表中,表名要與文件名一致
2. 執行下列sql語句(要求唯一的字段為uniqfield)


復制代碼
代碼如下:

use dbname;
alter table tablename add rowid int auto_increment not null;
create table t select min(rowid) as rowid from tablename group by uniqfield;
create table t2 select tablename .* from tablename,t where tablename.rowid= t.rowid;
drop table tablename;
rename table t2 to tablename;

標簽:宿州 濱州 江蘇 亳州 常德 保山 河源 綏化

巨人網絡通訊聲明:本文標題《Linux下刪除大數據文件中部分字段重復行的方法》,本文關鍵詞  Linux,下,刪除,大,數據,文件,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Linux下刪除大數據文件中部分字段重復行的方法》相關的同類信息!
  • 本頁收集關于Linux下刪除大數據文件中部分字段重復行的方法的相關信息資訊供網民參考!
  • 推薦文章
    主站蜘蛛池模板: 余江县| 新乐市| 慈利县| 依安县| 宁波市| 崇文区| 平山县| 昆山市| 湖州市| 出国| 天柱县| 漠河县| 始兴县| 楚雄市| 吐鲁番市| 浮山县| 洮南市| 柳河县| 舟曲县| 饶河县| 呼和浩特市| 鞍山市| 阜宁县| 罗源县| 高青县| 东乡县| 思茅市| 平果县| 陈巴尔虎旗| 襄垣县| 珲春市| 麟游县| 旺苍县| 凉山| 太白县| 深水埗区| 甘孜县| 昌都县| 仙游县| 安溪县| 石狮市|