在Laravel中使用cursor來查詢并處理數據 (輕松處理千萬級的數據)

事發現場

最近在項目中遇到內存不足的問題, 測試環境中的PHP內存只有64M,在導出的時候, 數據量比較大,這個時候會出現內存溢出的錯誤;

如何解決

目前想到兩種方法:

1. 調整php.ini文件中memory_limit配置項; 或者在調用方法中調整內存大小ini_set('memory_limit', "").
2. 使用Laravel的Lazy Collection.
   

考慮到修改配置文件的影響范圍過大, 以及對導出的實時性要求不是很高, 所以我們選擇了第二種方法.

Lazy Collection

如何使用Lazy Collection? 很簡單, 將查詢構建器鏈末尾的get()更改為cursor()就好了 !

cursor ( )

cursor的原理

cursor的實現使用了 yield 關鍵字, yield關鍵字是生成器函數的核心, 它的調用形式跟return很像, 不同之處在于return會返回值并且終止函數執行, 而yield會返回值給循環調用生成器的代碼并且只是暫停生成器函數.

cursor()的代碼如下

 /** 
  * 
  Get a generator for the given query. 
  * 
  * @return Generator
  */
 public function cursor() {
  foreach ($this->applyScopes()->query->cursor() as $record) { 
    yield $this->newModelInstance()->newFromBuilder($record);
  } 
 }

由于使用了yield關鍵字, 在循環cursor生成器的時候,可以漸進式的處理數據,即使在內存很小的情況下,也可以輕松處理千萬級的數據! 真的是非常方便哦!

到此這篇關于用Laravel輕松處理千萬級數據的方法實現的文章就介紹到這了,更多相關Laravel 處理千萬級數據內容請搜索腳本之家以前的文章或繼續瀏覽下面的相關文章希望大家以后多多支持腳本之家！