問題背景：
之前運行測試好好的程序，忽然出現了報錯，還是merge時候的類型錯誤，這個bug有點蹊蹺。
問題分析：
代碼：進行聚類之后計算平均值與方差
tmp_df = df[['object1', 'float']].groupby(['object1']).head(20).groupby(['object1'])['float'].agg(['mean', 'sum']).reset_index()
這個輸出的就是原本的數據類型：一個object，一個float64
tmp_df = http_df[['object1', 'object2', 'float']].groupby(['object1', 'object2']).head(20).groupby(['object1', 'object2'])['float'].agg(['mean']).reset_index()
這個輸出就會修改object為float，
差別只在于一個是使用一個特征進行聚類，一個是使用兩個特征進行聚類
問題原因（個人猜測，僅供參考）：
pandas進行聚類的時候，就算之前已經定好各個列的類型，如果里邊沒有數據的時候，使用一列進行聚類不會修改列的類型，但是如果同時使用兩列進行聚類就會修改列的類型。
所以才會出現后面進行merge時候，類型不同報錯
有數據輸入的時候這個報錯不會發生，沒有數據的時候就會發生。
補充：python數據處理--按照數據差值大小進行聚類（歸類）
近來在做數據處理的工作中，遇到了數據分類的問題，利用python的各種方便庫，寫了這么個以數據差值大小進行歸類的方法。
應用場景：
有一批數據集，如list=[1,2,3,4,9,10,11,20,20,1,1.1,2.1,100]，將其按照數值大小進行歸類，即數值比較接近的歸為一類，故需要先設置一個閾值，以進行劃分。
具體實現如下：
其中輸入參數Data_set為輸入的數據集，可以為列表、數組、Series、DataFrame。threshold為數據大小分類的門限值。
輸出class_k為數據歸類列表集合，index_list為數據歸類對應的索引集合。
def threshold_cluster(Data_set,threshold):
#統一格式化數據為一維數組
stand_array=np.asarray(Data_set).ravel('C')
stand_Data=Series(stand_array)
index_list,class_k=[],[]
while stand_Data.any():
if len(stand_Data)==1:
index_list.append(list(stand_Data.index))
class_k.append(list(stand_Data))
stand_Data=stand_Data.drop(stand_Data.index)
else:
class_data_index=stand_Data.index[0]
class_data=stand_Data[class_data_index]
stand_Data=stand_Data.drop(class_data_index)
if (abs(stand_Data-class_data)=threshold).any():
args_data=stand_Data[abs(stand_Data-class_data)=threshold]
stand_Data=stand_Data.drop(args_data.index)
index_list.append([class_data_index]+list(args_data.index))
class_k.append([class_data]+list(args_data))
else:
index_list.append([class_data_index])
class_k.append([class_data])
return index_list,class_k
測試如下：
import numpy as np
from pandas import Series,DataFrame
Data_set=[1,1.1,0.9,-5,2,100,99,-4.2,10000,0]
index_list,class_k=threshold_cluster(Data_set,5)
index_list
Out[10]: [[0, 1, 2, 4, 9], [3, 7], [5, 6], [8]]
class_k
Out[11]: [[1.0, 1.1, 0.9, 2.0, 0.0], [-5.0, -4.2], [100.0, 99.0], [10000.0]]
以上為個人經驗，希望能給大家一個參考，也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方，望不吝賜教。
您可能感興趣的文章:- Python基礎之pandas數據合并
- python-pandas創建Series數據類型的操作
- Python數據分析之pandas函數詳解
- python基于Pandas讀寫MySQL數據庫
- pandas讀取excel時獲取讀取進度的實現
- pandas中.loc和.iloc以及.at和.iat的區別說明
- 淺談Pandas dataframe數據處理方法的速度比較
- pandas 使用merge實現百倍加速的操作
- 詳細介紹在pandas中創建category類型數據的幾種方法
- python中pandas.read_csv()函數的深入講解
- pandas 顛倒列順序的兩種解決方案
- pandas調整列的順序以及添加列的實現
- pandas快速處理Excel,替換Nan,轉字典的操作
- Python基礎之教你怎么在M1系統上使用pandas
