婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av

主頁 > 知識庫 > PHP超低內(nèi)存遍歷目錄文件和讀取超大文件的方法

PHP超低內(nèi)存遍歷目錄文件和讀取超大文件的方法

熱門標(biāo)簽:余姚電話機(jī)器人 400電話蘭州申請請 百度地圖標(biāo)注偏差 咸寧銷售電銷機(jī)器人系統(tǒng) 廣東廣州在怎么申請400電話 百度地圖怎樣標(biāo)注圖標(biāo) 開發(fā)地圖標(biāo)注類網(wǎng)站 外呼系統(tǒng)能給企業(yè)帶來哪些好處 電銷機(jī)器人問門薩維品牌my

這不是一篇教程,這是一篇筆記,所以我不會很系統(tǒng)地論述原理和實(shí)現(xiàn),只簡單說明和舉例。

前言

我寫這篇筆記的原因是現(xiàn)在網(wǎng)絡(luò)上關(guān)于 PHP 遍歷目錄文件和 PHP 讀取文本文件的教程和示例代碼都是極其低效的,低效就算了,有的甚至好意思說是高效,實(shí)在辣眼睛。

這篇筆記主要解決這么幾個問題:

PHP 如何使用超低內(nèi)存快速遍歷數(shù)以萬計的目錄文件?

PHP 如何使用超低內(nèi)存快速讀取幾百M(fèi)B甚至是GB級文件?

順便解決哪天我忘了可以通過搜索引擎搜到我自己寫的筆記來看看。(因?yàn)樾枰?PHP 寫這兩個功能的情況真的很少,我記性不好,免得忘了又重走一遍彎路)

遍歷目錄文件

網(wǎng)上關(guān)于這個方法的實(shí)現(xiàn)大多示例代碼是 glob 或者 opendir + readdir 組合,在目錄文件不多的情況下是沒問題的,但文件一多就有問題了(這里是指封裝成函數(shù)統(tǒng)一返回一個數(shù)組的時候),過大的數(shù)組會要求使用超大內(nèi)存,不僅導(dǎo)致速度慢,而且內(nèi)存不足的時候直接就崩潰了。

這時候正確的實(shí)現(xiàn)方法是使用 yield 關(guān)鍵字返回,下面是我最近使用的代碼:

?php

function glob2foreach($path, $include_dirs=false) {
  $path = rtrim($path, '/*');
  if (is_readable($path)) {
    $dh = opendir($path);
    while (($file = readdir($dh)) !== false) {
      if (substr($file, 0, 1) == '.')
        continue;
      $rfile = "{$path}/{$file}";
      if (is_dir($rfile)) {
        $sub = glob2foreach($rfile, $include_dirs);
        while ($sub->valid()) {
          yield $sub->current();
          $sub->next();
        }
        if ($include_dirs)
          yield $rfile;
      } else {
        yield $rfile;
      }
    }
    closedir($dh);
  }
}

// 使用
$glob = glob2foreach('/var/www');
while ($glob->valid()) {
  
  // 當(dāng)前文件
  $filename = $glob->current();
  
  // 這個就是包括路徑在內(nèi)的完整文件名了
  // echo $filename;

  // 指向下一個,不能少
  $glob->next();
}

yield 返回的是生成器對象(不了解的可以先去了解一下 PHP 生成器),并沒有立即生成數(shù)組,所以目錄下文件再多也不會出現(xiàn)巨無霸數(shù)組的情況,內(nèi)存消耗是低到可以忽略不計的幾十 kb 級別,時間消耗也幾乎只有循環(huán)消耗。

讀取文本文件

讀取文本文件的情況跟遍歷目錄文件其實(shí)類似,網(wǎng)上教程基本上都是使用 file_get_contents 讀到內(nèi)存里或者 fopen + feof + fgetc 組合即讀即用,處理小文件的時候沒問題,但是處理大文件就有內(nèi)存不足等問題了,用 file_get_contents 去讀幾百M(fèi)B的文件幾乎就是自殺。

這個問題的正確處理方法同樣和 yield 關(guān)鍵字有關(guān),通過 yield 逐行處理,或者 SplFileObject 從指定位置讀取。

逐行讀取整個文件:

?php
function read_file($path) {
  if ($handle = fopen($path, 'r')) {
    while (! feof($handle)) {
      yield trim(fgets($handle));
    }
    fclose($handle);
  }
}
// 使用
$glob = read_file('/var/www/hello.txt');
while ($glob->valid()) {
  
  // 當(dāng)前行文本
  $line = $glob->current();
  
  // 逐行處理數(shù)據(jù)
  // $line

  // 指向下一個,不能少
  $glob->next();
}

通過 yield 逐行讀取文件,具體使用多少內(nèi)存取決于每一行的數(shù)據(jù)量有多大,如果是每行只有幾百字節(jié)的日志文件,即使這個文件超過100M,占用內(nèi)存也只是KB級別。

但很多時候我們并不需要一次性讀完整個文件,比如當(dāng)我們想分頁讀取一個1G大小的日志文件的時候,可能想第一頁讀取前面1000行,第二頁讀取第1000行到2000行,這時候就不能用上面的方法了,因?yàn)槟欠椒m然占用內(nèi)存低,但是數(shù)以萬計的循環(huán)是需要消耗時間的。

這時候,就改用 SplFileObject 處理,SplFileObject 可以從指定行數(shù)開始讀取。下面例子是寫入數(shù)組返回,可以根據(jù)自己業(yè)務(wù)決定要不要寫入數(shù)組,我懶得改了。

?php

function read_file2arr($path, $count, $offset=0) {

  $arr = array();
  if (! is_readable($path))
    return $arr;

  $fp = new SplFileObject($path, 'r');
  
  // 定位到指定的行數(shù)開始讀
  if ($offset)
    $fp->seek($offset); 

  $i = 0;
  
  while (! $fp->eof()) {
    
    // 必須放在開頭
    $i++;
    
    // 只讀 $count 這么多行
    if ($i > $count)
      break;
    
    $line = $fp->current();
    $line = trim($line);

    $arr[] = $line;

    // 指向下一個,不能少
    $fp->next();
  }
  
  return $arr;
}

以上所說的都是文件巨大但是每一行數(shù)據(jù)量都很小的情況,有時候情況不是這樣,有時候是一行數(shù)據(jù)也有上百M(fèi)B,那這該怎么處理呢?

如果是這種情況,那就要看具體業(yè)務(wù)了,SplFileObject 是可以通過 fseek 定位到字符位置(注意,跟 seek 定位到行數(shù)不一樣),然后通過 fread 讀取指定長度的字符。

也就是說通過 fseek 和 fread 是可以實(shí)現(xiàn)分段讀取一個超長字符串的,也就是可以實(shí)現(xiàn)超低內(nèi)存處理,但是具體要怎么做還是得看具體業(yè)務(wù)要求允許你怎么做。

復(fù)制大文件

順便說下 PHP 復(fù)制文件,復(fù)制小文件用 copy 函數(shù)是沒問題的,復(fù)制大文件的話還是用數(shù)據(jù)流好,例子如下:

?php

function copy_file($path, $to_file) {

  if (! is_readable($path))
    return false;

  if(! is_dir(dirname($to_file)))
    @mkdir(dirname($to_file).'/', 0747, TRUE);
  
  if (
    ($handle1 = fopen($path, 'r')) 
     ($handle2 = fopen($to_file, 'w'))
  ) {

    stream_copy_to_stream($handle1, $handle2);

    fclose($handle1);
    fclose($handle2);
  }
}

最后

我這只說結(jié)論,沒有展示測試數(shù)據(jù),可能難以服眾,如果你持懷疑態(tài)度想求證,可以用 memory_get_peak_usage 和 microtime 去測一下代碼的占用內(nèi)存和運(yùn)行時間。

以上就是本文的全部內(nèi)容,希望對大家的學(xué)習(xí)有所幫助,也希望大家多多支持腳本之家。

您可能感興趣的文章:
  • PHP大文件分割分片上傳實(shí)現(xiàn)代碼
  • PHP大文件及斷點(diǎn)續(xù)傳下載實(shí)現(xiàn)代碼
  • php實(shí)現(xiàn)斷點(diǎn)續(xù)傳大文件示例代碼
  • PHP下載大文件失敗并限制下載速度的實(shí)例代碼
  • 詳解PHP多個進(jìn)程配合redis的有序集合實(shí)現(xiàn)大文件去重
  • PHP如何通過表單直接提交大文件詳解
  • PHP大文件分片上傳的實(shí)現(xiàn)方法
  • php下載遠(yuǎn)程大文件(獲取遠(yuǎn)程文件大小)的實(shí)例
  • 詳解PHP如何讀取大文件

標(biāo)簽:銅陵 重慶 十堰 臨沂 衡陽 鷹潭 麗江 巴彥淖爾

巨人網(wǎng)絡(luò)通訊聲明:本文標(biāo)題《PHP超低內(nèi)存遍歷目錄文件和讀取超大文件的方法》,本文關(guān)鍵詞  PHP,超低,內(nèi)存,遍歷,目錄,;如發(fā)現(xiàn)本文內(nèi)容存在版權(quán)問題,煩請?zhí)峁┫嚓P(guān)信息告之我們,我們將及時溝通與處理。本站內(nèi)容系統(tǒng)采集于網(wǎng)絡(luò),涉及言論、版權(quán)與本站無關(guān)。
  • 相關(guān)文章
  • 下面列出與本文章《PHP超低內(nèi)存遍歷目錄文件和讀取超大文件的方法》相關(guān)的同類信息!
  • 本頁收集關(guān)于PHP超低內(nèi)存遍歷目錄文件和讀取超大文件的方法的相關(guān)信息資訊供網(wǎng)民參考!
  • 推薦文章
    婷婷综合国产,91蜜桃婷婷狠狠久久综合9色 ,九九九九九精品,国产综合av
    av在线播放成人| 日本成人在线看| 精品国产免费视频| 91精品一区二区三区在线观看| 欧美性受xxxx| 91成人国产精品| 欧美午夜电影一区| 欧美日韩免费电影| 91精品国产色综合久久不卡电影 | 成人免费黄色在线| 成人理论电影网| 91年精品国产| 欧美性生交片4| 日韩精品一区二区三区四区视频| 日韩免费视频一区| 国产午夜精品美女毛片视频| 国产精品女人毛片| 亚洲美女精品一区| 日韩高清不卡一区| 国产在线一区观看| av亚洲产国偷v产偷v自拍| 91黄色免费看| 欧美videofree性高清杂交| 国产欧美日韩卡一| 亚洲精品videosex极品| 午夜精品国产更新| 处破女av一区二区| 欧美日韩国产综合一区二区| 日韩视频免费观看高清在线视频| 欧美—级在线免费片| 亚洲精品视频在线观看免费| 日日摸夜夜添夜夜添亚洲女人| 狠狠色丁香婷综合久久| 一本色道久久综合亚洲aⅴ蜜桃| 91精品国产综合久久精品麻豆| 精品国产凹凸成av人网站| 中文字幕一区二区三区在线观看 | 91在线porny国产在线看| 欧美日韩你懂得| 欧美激情综合网| 日韩国产成人精品| 一本色道久久综合狠狠躁的推荐| 日韩欧美成人一区| 亚洲美女屁股眼交3| 国产一区二区三区四| 欧美系列亚洲系列| 中文字幕巨乱亚洲| 美女网站视频久久| 在线亚洲免费视频| 国产精品免费观看视频| 久久电影网电视剧免费观看| 欧美视频完全免费看| 中文字幕一区免费在线观看| 久久不见久久见中文字幕免费| 在线观看精品一区| 欧美国产精品久久| 国产一区欧美日韩| 91精品午夜视频| 亚洲综合在线第一页| 91丨九色丨尤物| 国产女同性恋一区二区| 经典三级一区二区| 日韩精品在线一区| 蜜臀久久99精品久久久画质超高清| 97精品久久久久中文字幕 | 亚洲网友自拍偷拍| 97se亚洲国产综合自在线观| 亚洲国产精品黑人久久久| 狠狠色狠狠色合久久伊人| 日韩欧美卡一卡二| 美美哒免费高清在线观看视频一区二区| 欧美亚洲综合另类| 亚洲一区二区三区三| 在线日韩一区二区| 亚洲成人免费观看| 欧美日产国产精品| 奇米一区二区三区| 日韩精品一区二区三区视频| 六月丁香婷婷久久| 欧美精品一区二区久久婷婷 | 欧美国产日产图区| 成人精品小蝌蚪| 国产精品色婷婷| 色婷婷综合久色| 亚洲成人免费在线观看| 7777精品伊人久久久大香线蕉| 图片区小说区区亚洲影院| 欧美电影影音先锋| 精油按摩中文字幕久久| 国产欧美一区二区精品秋霞影院| 国产成人精品一区二| 国产精品久久久久久一区二区三区| 波多野结衣视频一区| 亚洲自拍偷拍麻豆| 日韩一级精品视频在线观看| 国产乱码一区二区三区| 成人免费在线播放视频| 欧美日韩1234| 懂色av一区二区三区免费看| 亚洲色图清纯唯美| 555www色欧美视频| 国产成人精品1024| 亚洲国产日日夜夜| 久久久噜噜噜久噜久久综合| 色综合久久久久综合体桃花网| 日韩国产欧美在线观看| 欧美国产在线观看| 日韩一级二级三级精品视频| 国产69精品久久99不卡| 亚洲成av人影院| 国产日韩欧美精品综合| 欧美色偷偷大香| 豆国产96在线|亚洲| 日韩av电影天堂| 中文字幕日韩精品一区| 欧美电视剧免费全集观看| 色偷偷一区二区三区| 国产一区视频网站| 五月天欧美精品| 国产精品国产三级国产aⅴ入口| 欧美一区午夜视频在线观看| 91在线视频播放| 韩国午夜理伦三级不卡影院| 亚洲精品国久久99热| 国产欧美精品一区二区色综合朱莉| 在线不卡欧美精品一区二区三区| 成人在线视频一区二区| 九九精品一区二区| 亚洲一二三区在线观看| 国产精品免费观看视频| 国产亚洲综合性久久久影院| 在线电影一区二区三区| 日本韩国欧美在线| 成人黄色国产精品网站大全在线免费观看| 偷拍与自拍一区| 天堂精品中文字幕在线| 亚洲国产成人高清精品| 亚洲精品成人精品456| 亚洲欧美自拍偷拍色图| 久久在线免费观看| 欧美成人精精品一区二区频| 欧美日韩日日摸| 在线播放中文一区| 欧美日韩视频在线一区二区| 色综合中文字幕| 色狠狠av一区二区三区| 在线视频中文字幕一区二区| 99久久婷婷国产综合精品| 波多野结衣视频一区| voyeur盗摄精品| 91丨porny丨国产| 91久久精品一区二区| 欧美系列一区二区| 91精品国产品国语在线不卡| 3d动漫精品啪啪| 欧美v国产在线一区二区三区| 99久久er热在这里只有精品15 | 一区二区三区电影在线播| 综合分类小说区另类春色亚洲小说欧美| 国产欧美精品日韩区二区麻豆天美| 国产色产综合色产在线视频 | 欧美一区欧美二区| 538prom精品视频线放| 欧美不卡123| 中国av一区二区三区| 成人欧美一区二区三区黑人麻豆 | 国产精品视频九色porn| 中文字幕一区二区三区蜜月| 亚洲最快最全在线视频| 舔着乳尖日韩一区| 国产精品自拍在线| 91影院在线免费观看| 欧美日韩免费一区二区三区视频| 日韩视频免费观看高清完整版在线观看 | 狠狠色2019综合网| 懂色av中文一区二区三区| 91福利精品第一导航| 欧美成人午夜电影| 中文字幕亚洲视频| 美女一区二区久久| 一本久久a久久免费精品不卡| 在线成人免费视频| 久久久蜜桃精品| 一区二区三区四区在线播放 | 五月天国产精品| 国产一本一道久久香蕉| 欧美色图片你懂的| www亚洲一区| 午夜欧美在线一二页| 成人国产亚洲欧美成人综合网| 色哟哟一区二区三区| 欧美成人video| 亚洲综合999| 99久久国产综合精品色伊| 欧美xingq一区二区| 一区二区三区美女| 成人免费毛片片v| 亚洲精品一区二区三区福利| 亚洲第一精品在线| av亚洲精华国产精华精华|