婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > PHP快速導出百萬級數據到CSV或者EXCEL文件

PHP快速導出百萬級數據到CSV或者EXCEL文件

熱門標簽:黔江400電話如何辦理 電銷機器人便宜的有嗎 ai電話機器人加盟代理 400電話鄭州申請 中原區電話機器人價格 招標自動語音外呼系統 gps 地圖標注軟件 地圖標注視頻廣告入駐 OMG地圖標注app

前言: 很多時候,因為數據統計,我們需要將數據庫的數據導出到Excel等文件中,以供數據人員進行查看,如果數據集不大,其實很容易;但是如果對于大數集的導出,將要考慮各種性能的問題,這里以導出數據庫一百萬條數據為例,導出時間不過20秒,值的學習的一種大數據導出方式。

一、導出思路

  • 需要考慮服務器內存
  • 需要考慮程序運行的最大時間
  • 缺少BOM頭導致亂碼的處理
  • 如果導出數量過大,推薦使用循環導出,每次循環這里以導出一萬條為例,循環100次即可全部導出

二、導出源碼

  • 下面源碼將數據庫信息修改成自己的即可使用
  • 親測導出一百萬條數據,3個字段,不過20秒
  • 如果服務器硬件不支持一次讀取一萬條數據,可將循環次數提高,導出數量降低
?php
  //讓程序一直運行
  set_time_limit(0);
  //設置程序運行內存
  ini_set('memory_limit', '128M');
 
  $fileName = '測試導出數據';
  header('Content-Encoding: UTF-8');
  header("Content-type:application/vnd.ms-excel;charset=UTF-8");
  header('Content-Disposition: attachment;filename="' . $fileName . '.csv"');
  
  //打開php標準輸出流
  $fp = fopen('php://output', 'a');
 
  //添加BOM頭,以UTF8編碼導出CSV文件,如果文件頭未添加BOM頭,打開會出現亂碼。
  fwrite($fp, chr(0xEF).chr(0xBB).chr(0xBF));
  //添加導出標題
  fputcsv($fp, ['姓名', '年齡', '地區']);
  
  //鏈接數據庫
  $dsn = "mysql:host=127.0.0.1;port=3306;dbname=db_www;charset=utf8";
  $pdo = new PDO($dsn, 'root', '');
 
  $step = 100; //循環次數
  $nums = 10000; //每次導出數量
 
  for($i = 0; $i  $step; $i++) {
    $start = $i * 10000;
    $sql = "SELECT uname,age,city FROM `hd_test` ORDER BY `id` LIMIT {$start},{$nums}";
    $pdostatement = $pdo->query($sql);
    $result = $pdostatement->fetchAll(PDO::FETCH_ASSOC);
    foreach ($result as $item) {
      fputcsv($fp, $item);
    }
    //每1萬條數據就刷新緩沖區
    ob_flush();
    flush();
  } 

三、快速生成百萬條測試數據

這里推薦數據庫的蠕蟲復制命令
先建好表后,插2條測試數據后,執行幾次下列命令,即可指數增長

INSERT INTO hd_test (uname,age,city) SELECT uname,age,city FROM hd_test;

到此這篇關于PHP快速導出百萬級數據到CSV或者EXCEL文件的文章就介紹到這了,更多相關PHP 導出百萬級數據內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家!

您可能感興趣的文章:
  • 利用phpExcel實現Excel數據的導入導出(全步驟詳細解析)
  • ThinkPHP使用PHPExcel實現Excel數據導入導出完整實例
  • php中導出數據到excel時數字變為科學計數的解決方法
  • 使用PHPExcel實現數據批量導出為excel表格的方法(必看)
  • php+ajax實現帶進度條的大數據排隊導出思路以及源碼
  • PHP導出MySQL數據到Excel文件(fputcsv)
  • php把數據表導出為Excel表的最簡單、最快的方法(不用插件)
  • php導出excel格式數據問題
  • PHP使用mysqldump命令導出數據庫

標簽:北京 池州 哈密 阿里 孝感 那曲 日照 濟源

巨人網絡通訊聲明:本文標題《PHP快速導出百萬級數據到CSV或者EXCEL文件》,本文關鍵詞  PHP,快速,導出,百萬,級,數據,;如發現本文內容存在版權問題,煩請提供相關信息告之我們,我們將及時溝通與處理。本站內容系統采集于網絡,涉及言論、版權與本站無關。
  • 相關文章
  • 下面列出與本文章《PHP快速導出百萬級數據到CSV或者EXCEL文件》相關的同類信息!
  • 本頁收集關于PHP快速導出百萬級數據到CSV或者EXCEL文件的相關信息資訊供網民參考!
  • 推薦文章
    主站蜘蛛池模板: 沙洋县| 祁门县| 利津县| 兰州市| 兴山县| 云龙县| 眉山市| 来凤县| 莱州市| 北川| 海安县| 贡嘎县| 克什克腾旗| 邢台县| 遂川县| 南昌县| 亚东县| 壶关县| 滨州市| 紫云| 墨江| 阿巴嘎旗| 留坝县| 沙田区| 个旧市| 宣汉县| SHOW| 彝良县| 雅江县| 滕州市| 马公市| 昭平县| 麦盖提县| 贵阳市| 平定县| 房山区| 台南县| 琼中| 芦山县| 库伦旗| 大余县|