婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > python保存大型 .mat 數據文件報錯超出 IO 限制的操作

python保存大型 .mat 數據文件報錯超出 IO 限制的操作

熱門標簽:陜西金融外呼系統 激戰2地圖標注 唐山智能外呼系統一般多少錢 白銀外呼系統 海南400電話如何申請 公司電話機器人 哈爾濱ai外呼系統定制 廣告地圖標注app 騰訊外呼線路

python 保存 .mat 文件的大小是有限制的,似乎是 5G 以內,如果需要保存幾十個 G 的數據的話,可以選用其他方式,

比如 h5 文件

import h5py
def h5_data_write(train_data, train_label, test_data, test_label, shuffled_flag):
    print("h5py文件正在寫入磁盤...")
    
    save_path = "../save_test/" + "train_test_split_data_label_" + shuffled_flag + ".h5"
    with h5py.File(save_path, 'w') as f:
        f.create_dataset('train_data', data=train_data)
        f.create_dataset('train_label', data=train_label)
        f.create_dataset('test_data', data=test_data)
        f.create_dataset('test_label', data=test_label)
    print("h5py文件保存成功!")
def h5_data_read(filename):
    """
        keys() : 獲取本文件夾下所有的文件及文件夾的名字
        f['key_name'] : 獲取對應的對象
    """
    file = h5py.File(filename,'r')
    train_data = file['train_data'][:]
    train_label = file['train_label'][:]
    test_data = file['test_data'][:]
    test_label = file['test_label'][:]
    return train_data, train_label, test_data, test_label

補充:通過python 讀MATLAB數據文件 *.mat

背景

在做deeplearning過程中,使用caffe的框架,一般使用matlab來處理圖片(matlab處理圖片相對簡單,高效),用python來生成需要的lmdb文件以及做test產生結果。

所以某些matlab從圖片處理得到的label信息都會以.mat文件供python讀取,同時也python產生的結果信息也需要matlab來做進一步的處理(當然也可以使用txt,不嫌麻煩自己處理結構信息)。

介紹

matlab和python間的數據傳輸一般是基于matlab的文件格式.mat,python中numpy和scipy提供了一些函數,可以很好的對.mat文件的數據進行讀寫和處理。

在這里numpy作用是提供Array功能映射matlab里面的Matrix,而scipy提供了兩個函數loadmat和savemat來讀寫.mat文件。

下面是一個簡單的測試程序

具體的函數用法可以看幫助文檔:

import scipy.io as sio 
import matplotlib.pyplot as plt 
import numpy as np 
 
#matlab文件名 
matfn=u'E:/python/測試程序/162250671_162251656_1244.mat' 
data=sio.loadmat(matfn) 
 
plt.close('all') 
xi=data['xi'] 
yi=data['yi'] 
ui=data['ui'] 
vi=data['vi'] 
plt.figure(1) 
plt.quiver( xi[::5,::5],yi[::5,::5],ui[::5,::5],vi[::5,::5]) 
plt.figure(2) 
plt.contourf(xi,yi,ui) 
plt.show()  
sio.savemat('saveddata.mat', {'xi': xi,'yi': yi,'ui': ui,'vi': vi}) 

示例2

import scipy.io as sio
import numpy as np
 
###下面是講解python怎么讀取.mat文件以及怎么處理得到的結果###
load_fn = 'xxx.mat'
load_data = sio.loadmat(load_fn)
load_matrix = load_data['matrix'] #假設文件中存有字符變量是matrix,例如matlab中save(load_fn, 'matrix');當然可以保存多個save(load_fn, 'matrix_x', 'matrix_y', ...);
load_matrix_row = load_matrix[0] #取了當時matlab中matrix的第一行,python中數組行排列
 
###下面是講解python怎么保存.mat文件供matlab程序使用###
save_fn = 'xxx.mat'
save_array = np.array([1,2,3,4])
sio.savemat(save_fn, {'array': save_array}) #和上面的一樣,存在了array變量的第一行
 
save_array_x = np.array([1,2,3,4])
save_array_y = np.array([5,6,7,8])
sio.savemat(save_fn, {'array_x': save_array_x, 'array_x': save_array_x}) #同理,

鑒于以后的目標主要是利用現有的Matlab數據(.mat或者.txt),主要考慮python導入Matlab數據的問題。以下代碼可以解決python讀取.mat文件的問題。

主要使用sicpy.io即可。

sicpy.io提供了兩個函數loadmat和savemat,非常方便。

# adapted from http://blog.csdn.net/rumswell/article/details/8545087
import scipy.io as sio  
#import matplotlib.pyplot as plt
from pylab import *
import numpy as np   
 
matfn='E:\\Pythonrun\\myuse\\matdata.mat'   # the path of .mat data
data=sio.loadmat(matfn)  
xx=data['matdata']
figure(1)
plot(xx)
show()

以下代碼是讀入txt數據并轉換成數組,方法比較笨,更有效的方法待研究。

from numpy import * 
def file2list(filename):  

    fr = open(filename)  
    array = fr.readlines() #以文件中的每行為一個元素,形成一個list列表  
    num = len(array)  
    returnMat = zeros((num,3))#初始化元素為0的,行號數個列表,其中每個元素仍是列表,元素數是3,在此表示矩陣  
    index = 0   
 
    for line in array:  
        line = line.strip()#去掉一行后的回車符號  
        linelist = line.split(' ')#將一行根據分割符,劃分成多個元素的列表  
        returnMat[index,:] = linelist[0:3]#向矩陣賦值,注意這種賦值方式比較笨拙  
        index +=1  
    return returnMat
 
fname = 'E:\\Pythonrun\\myuse\\num_data.txt'
data= file2list(fname)

補充:Python 讀寫 Matlab Mat 格式數據

1. 非 matlab v7.3 files 讀寫

import scipy.io as sio
import numpy
# matFile 讀取
matFile = 'matlabdata.mat'
datas = sio.loadmat(matFile)
# 加載 matFile 內的數據
# 假設 mat 內保存的變量為 matlabdata
matlabdata = datas['matlabdata']
# matFile 寫入
save_matFile = 'save_matlabdata.mat'
save_matlabdata = np.array([1,2,3,4,5])
sio.savemat(save_matFile, {'array':save_matlabdata})

2. matlab v7.3 files 讀取

如果 matlab 保存 data 時,采用的是 ‘-v7.3',scipy.io.loadmat函數加載數據會出現錯誤:

File "/usr/local/lib/python2.7/dist-packages/scipy/io/matlab/mio.py", line 64, in mat_reader_factory
    raise NotImplementedError('Please use HDF reader for matlab v7.3 files')
NotImplementedError: Please use HDF reader for matlab v7.3 files

可以采用:

import h5py
with h5py.File('matlabdata.mat', 'r') as f:
    f.keys() # matlabdata.mat 中的變量名
datas = h5py.File('matlabdata.mat')['matlabdata'].value

以上為個人經驗,希望能給大家一個參考,也希望大家多多支持腳本之家。如有錯誤或未考慮完全的地方,望不吝賜教。

您可能感興趣的文章:
  • python利用Excel讀取和存儲測試數據完成接口自動化教程
  • python pickle存儲、讀取大數據量列表、字典數據的方法
  • Python數據分析入門之教你怎么搭建環境
  • Python入門之使用pandas分析excel數據
  • python 存儲json數據的操作
  • 詳解python數據結構之棧stack
  • 詳解python數據結構之隊列Queue
  • python中必會的四大高級數據類型(字符,元組,列表,字典)
  • python學習之panda數據分析核心支持庫
  • Python基礎之操作MySQL數據庫
  • Python數據分析入門之數據讀取與存儲

標簽:常德 四川 益陽 惠州 黔西 鷹潭 上海 黑龍江

巨人網絡通訊聲明:本文標題《python保存大型 .mat 數據文件報錯超出 IO 限制的操作》,本文關鍵詞  python,保存,大型,.mat,數據,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《python保存大型 .mat 數據文件報錯超出 IO 限制的操作》相關的同類信息!
  • 本頁收集關于python保存大型 .mat 數據文件報錯超出 IO 限制的操作的相關信息資訊供網民參考!
  • 推薦文章
    婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av
    精品国产sm最大网站| 波多野结衣中文字幕一区二区三区 | 国产精品久久久久久亚洲伦| 欧日韩精品视频| 欧美色综合天天久久综合精品| 国产精选一区二区三区| 精品亚洲国内自在自线福利| 日韩成人精品在线观看| 日韩在线a电影| 蜜桃视频在线一区| 国产精品 日产精品 欧美精品| 国产一区二区免费在线| 国产专区欧美精品| a美女胸又www黄视频久久| 成人高清免费在线播放| 在线播放欧美女士性生活| 欧美人xxxx| 日韩欧美一级二级三级| 久久伊人蜜桃av一区二区| 亚洲国产精品成人综合| 国产精品久久久久久久浪潮网站 | 成人激情小说网站| 91福利视频在线| 欧美一区二区三区精品| 日韩视频在线永久播放| 国产精品久久久久aaaa樱花| 亚洲精品视频在线| 九色porny丨国产精品| 成人深夜视频在线观看| 欧美日韩国产系列| 久久久久国产一区二区三区四区 | 日韩一区二区精品葵司在线| 久久综合久久99| 一区二区三区精品在线观看| 男人操女人的视频在线观看欧美 | 日本欧美久久久久免费播放网| 国产精华液一区二区三区| 欧洲一区在线观看| 久久综合久久综合亚洲| 亚洲一区二区三区影院| 福利一区二区在线| 日韩一二三四区| 日韩伦理免费电影| 精品无人码麻豆乱码1区2区| 91网站在线播放| 久久综合九色综合97婷婷女人| 亚洲激情成人在线| 成人综合婷婷国产精品久久蜜臀 | 日本亚洲电影天堂| 91麻豆蜜桃一区二区三区| 欧美mv日韩mv国产网站| 香蕉影视欧美成人| 色综合天天综合网天天看片 | 91丨九色丨尤物| 欧美国产精品一区二区三区| 日本91福利区| 欧美人动与zoxxxx乱| 亚洲综合在线视频| 色综合天天在线| 亚洲欧美中日韩| 成人深夜福利app| 欧美激情一二三区| 懂色av一区二区三区免费观看| 欧美一级免费大片| 日韩在线卡一卡二| 欧美一区二区在线观看| 日韩综合一区二区| 国产精品水嫩水嫩| 国产精品一区在线| 国产三级精品视频| 国产精品一区二区三区四区| 26uuu精品一区二区| 极品美女销魂一区二区三区免费| 67194成人在线观看| 首页亚洲欧美制服丝腿| 欧美一卡二卡三卡四卡| 免费欧美高清视频| 精品99一区二区三区| 国产一区91精品张津瑜| 欧美激情一区二区三区不卡 | 欧美日韩另类一区| 日韩1区2区日韩1区2区| 欧美成人精精品一区二区频| 男人操女人的视频在线观看欧美| 欧美mv和日韩mv国产网站| 国内成人免费视频| 中文字幕不卡在线| 色综合天天视频在线观看| 亚洲国产欧美一区二区三区丁香婷| 欧美无人高清视频在线观看| 天天综合色天天综合色h| 日韩精品在线看片z| 成人午夜在线免费| 亚洲成av人片在线| 欧美xxxx老人做受| fc2成人免费人成在线观看播放| 亚洲人精品午夜| 51午夜精品国产| 北条麻妃一区二区三区| 亚洲综合激情网| 精品欧美乱码久久久久久 | 亚洲人成网站精品片在线观看| 在线观看亚洲精品| 九色综合国产一区二区三区| 国产欧美精品国产国产专区| 在线免费观看一区| 精品一区二区三区不卡| 一区二区三区成人| 国产性色一区二区| 欧美久久高跟鞋激| 99免费精品视频| 久久国产人妖系列| 亚洲亚洲人成综合网络| 精品国产99国产精品| 欧洲一区二区三区在线| 激情小说欧美图片| 亚洲已满18点击进入久久| 精品国精品国产尤物美女| 91福利视频久久久久| 国产精品91一区二区| 天天综合天天做天天综合| 亚洲欧洲一区二区三区| 精品久久久久久久一区二区蜜臀| 欧美性xxxxx极品少妇| 成人国产免费视频| 国产精一区二区三区| 日韩在线一区二区| 亚洲国产综合91精品麻豆| 欧美—级在线免费片| 精品国产成人在线影院| 51精品久久久久久久蜜臀| 色噜噜久久综合| 国产91丝袜在线观看| 久久疯狂做爰流白浆xx| 日本aⅴ亚洲精品中文乱码| 亚洲成国产人片在线观看| 亚洲欧洲综合另类在线| 久久亚洲免费视频| 欧美一区二区免费视频| 在线观看日韩一区| 欧洲精品一区二区| 91色.com| 在线亚洲欧美专区二区| 一本久久综合亚洲鲁鲁五月天| www.日本不卡| 99久久免费精品高清特色大片| 福利电影一区二区| 不卡电影免费在线播放一区| 成人黄色电影在线| 91丝袜美腿高跟国产极品老师 | 激情综合五月天| 久久国产麻豆精品| 狠狠色丁香久久婷婷综| 黑人巨大精品欧美一区| 国产成人啪免费观看软件| 国产精品资源在线看| 不卡的电视剧免费网站有什么| 成人免费观看av| 97精品久久久久中文字幕| 99精品国产视频| 欧美色图免费看| 91精品欧美福利在线观看| 日韩免费视频一区| 久久精品一区二区三区av| 国产亚洲欧美激情| 亚洲特黄一级片| 亚洲成人黄色影院| 久久精品国产成人一区二区三区| 国产在线日韩欧美| 国产一区999| 91麻豆国产福利精品| 色婷婷激情一区二区三区| 欧美视频一区二区在线观看| 7777精品伊人久久久大香线蕉的| 精品少妇一区二区三区在线播放| 国产亚洲精品超碰| 亚洲免费毛片网站| 美国毛片一区二区三区| 国产suv精品一区二区三区| 欧美伊人精品成人久久综合97| 欧美精品黑人性xxxx| 国产网红主播福利一区二区| 一区二区高清视频在线观看| 麻豆精品一区二区综合av| 国产成人av电影| 在线不卡免费av| 亚洲视频一区二区在线观看| 亚洲一二三区视频在线观看| 国产一区二区三区免费观看| 99久久久久久| 国产日韩精品一区二区三区在线| 一区二区三区91| 福利一区在线观看| 91精品免费在线观看| 亚洲欧洲另类国产综合| 久久精品99国产精品日本| 91福利在线观看| 中文字幕一区视频| 国内精品久久久久影院一蜜桃| 欧美综合一区二区|