婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > Linux如何提高大文件的拷貝效率以節約時間

Linux如何提高大文件的拷貝效率以節約時間

熱門標簽:河南智能電話機器人公司 地球地圖標注方法 新鄭電銷外呼系統線路 怎樣給景區加百度地圖標注 河北語音電銷機器人 商戶地圖標注 壽光百度地圖標注中心網站 樺甸電銷機器人 電話機器人哪里有賣的

  Linux系統操作中,當你在進行機器直接的拷貝時,遇到大文件的時候非常浪費時間,特別是將文件同時拷貝到多臺機器上的時候,那么有什么好的方法能夠提高大文件的拷貝效率呢?一起來學習下吧。

  你可以從源機器逐個拷貝到逐臺目標機器,但是往往時間也是成倍的。或者你也可以同時從源機器同時拷貝到多個目標機器,但是受制于源機器的帶寬等因素,速度并不見得真的很快。

  還好,借助一些UNIX工具可以做的更好。把tee和FIFO組合起來,可以形成一個文件快速分發鏈:處于分發鏈中的每臺機器會保存文件,同時還分發給它的下一環。

  首先,選定一臺目標機器做為分發鏈的最后一環,在這臺機器上只需要用nc監聽(假定端口是1234),再通過管道由pigz解壓縮,繼續通過管道把數據交由tar來分解。

  nc -l 1234| pigz -d | tar xvf -

  然后,再從分發鏈的末端往上走,設置其它目標機器,同樣要經過監聽、解壓、分解,不過在解壓之前我們通過tee命令將數據輸出到命名管道(FIFO),另外的一條shell管道會將這些未解壓的數據同時分發到分發鏈的下一環:

  mkfifo myfifo

  nc hostname_of_next_box 1234 nc -l 1234| tee myfifo | pigz -d | tar xvf -

  最后,在源機器上啟動分發鏈,讓數據傳輸到分發鏈的第一環:

  tar cv some_files | pigz | nc hostname_of_first_box 1234

  在我的測試中,分發鏈中的每臺機器大概損失了3%-10%的性能(相對于1對1的拷貝而言),但是相對逐個逐個的拷貝或者單臺機器向多臺機器同時分發,效率提升是很明顯的。

  上面就是Linux提高大文件拷貝效率的方法介紹了,主要通過UNIX工具形成一個文件快速分發鏈來實現大文件的快速拷貝,效率提高了不少。

標簽:懷化 廣州 遵義 六安 喀什 咸陽 湖北 阿壩

巨人網絡通訊聲明:本文標題《Linux如何提高大文件的拷貝效率以節約時間》,本文關鍵詞  Linux,如何,提,高大,文件,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《Linux如何提高大文件的拷貝效率以節約時間》相關的同類信息!
  • 本頁收集關于Linux如何提高大文件的拷貝效率以節約時間的相關信息資訊供網民參考!
  • 推薦文章
    主站蜘蛛池模板: 前郭尔| 大名县| 汕头市| 稻城县| 札达县| 额尔古纳市| 高陵县| 辰溪县| 仙桃市| 鄱阳县| 鄂州市| 新安县| 清丰县| 兰溪市| 宜昌市| 民勤县| 汤原县| 合阳县| 莱州市| 卢湾区| 遵义市| 武义县| 沿河| 定兴县| 阿荣旗| 松原市| 太仆寺旗| 巴塘县| 新和县| 沧州市| 尤溪县| 沅江市| 湘潭市| 临邑县| 宝兴县| 长顺县| 当涂县| 聂拉木县| 顺义区| 玉林市| 封丘县|