MySQL去重的方法整理
【初級(jí)】有極少的重復(fù)行
使用distinct查出來，然后手動(dòng)一行一行刪除。
【中級(jí)】按照單個(gè)字段的重復(fù)去重
例如：對(duì)id字段去重
使用方法：獲取id的重復(fù)字段的值，利用相同id字段所在的行中，比較出數(shù)據(jù)不同的字段，刪除 除了最?。ɑ蜃畲螅┑淖侄嗡诘脑撔兄獾乃兄貜?fù)的行。一般使用主鍵來比較，因?yàn)橹麈I的值一定是唯一值，絕對(duì)不相同。
id name
1 a
1 b
2 c
2 a
3 c
結(jié)果：
操作：
delete from a_tmp
where id in (select * from (select b.id from a_tmp b group by b.id having count(b.id) >1) bb)
and name not in (select * from (select min(a.name) from a_tmp a GROUP BY a.id having count(a.id) >1) aa);
注意：
上述加粗并綠色的字，必須加別名，必須使用select * from (……)這樣的格式，否則會(huì)報(bào)錯(cuò)：
[Err] 1093 - You can't specify target table 'a_tmp' for update in FROM clause
【高級(jí)】按多個(gè)字段的重復(fù)來去重
例如：對(duì)id，name相同的去重，即：對(duì)id，name都相同的算作重復(fù)行，對(duì)id相同而name不同的算作不重復(fù)行
使用方法：和單個(gè)字段相似，一般使用主鍵來比較，因?yàn)橹麈I的值一定是唯一值。
id name rowid
1 a 1
1 a 2
1 b 3
2 b 4
2 b 5
3 c 6
3 d 7
結(jié)果：
id name rowid
1 a 1
1 b 3
2 b 4
3 c 6
3 d 7
操作：
第一種：
delete from a_tmp
where (id,name) in (select * from (select b.id,b.name from a_tmp b group by b.id,b.name having count(b.id) >1) bb)
and rowid not in (select * from (select min(a.rowid) from a_tmp a group by a.id,a.name having count(a.id) >1) aa);
第二種：
將id和name字段的值連接起來插入到臨時(shí)表中b_tmp，這樣便可以使用【中級(jí)】的單字段的判斷刪除方法。
#將兩字段連接的值，a_tmp表中唯一值的字段插入b_tmp表
insert into b_tmp
select concat(id,name),rowid from a_tmp;
#查出需要留下來的行
select id_name,max(rowid)
from b_tmp
group by id_name
having count(id_name)>1;
#使用【中級(jí)】的方法，或存儲(chǔ)過程完成去重的工作
【終極】每行都有兩份一樣的數(shù)據(jù)
例如：
使用方法：對(duì)于整行的數(shù)據(jù)都一樣，是沒辦法使用SQL語句刪除的，因?yàn)闆]有可以使用的條件限制來留下一行刪除所有與其相同的行。沒有不同的字段可以自己創(chuàng)造不同的字段，即：添加一個(gè)字段，設(shè)為自增長(zhǎng)，并設(shè)為主鍵，它會(huì)自動(dòng)添加上值。
id name
1 a
1 a
1 b
1 b
2 c
2 c
3 c
3 c
結(jié)果：
id name rowid
1 a 1
1 b 3
2 c 5
3 c 7
操作：
添加一個(gè)自增長(zhǎng)的字段，并暫時(shí)設(shè)為主鍵。
使用上面【中級(jí)】和【高級(jí)】的方法操作。
感謝閱讀，希望能幫助到大家，謝謝大家對(duì)本站的支持！
您可能感興趣的文章:- 解析mysql中:單表distinct、多表group by查詢?nèi)コ貜?fù)記錄
- mysql SELECT語句去除某個(gè)字段的重復(fù)信息
- MySQL 去除重復(fù)數(shù)據(jù)實(shí)例詳解
- 一條sql語句完成MySQL去重留一
- mysql 開發(fā)技巧之JOIN 更新和數(shù)據(jù)查重/去重
- Mysql刪除重復(fù)的數(shù)據(jù) Mysql數(shù)據(jù)去重復(fù)
- mysql去重的兩種方法詳解及實(shí)例代碼
- MySQL數(shù)據(jù)表合并去重的簡(jiǎn)單實(shí)現(xiàn)方法
- 將MySQL去重操作優(yōu)化到極致的操作方法
- mysql自聯(lián)去重的一些筆記記錄
- mysql優(yōu)化小技巧之去除重復(fù)項(xiàng)實(shí)現(xiàn)方法分析【百萬級(jí)數(shù)據(jù)】
