使用FGETS（）或FREAD（）來(lái)處理大文件，或在塊中進(jìn)行塊，而不是使用文件（）或file_get_contents（）將整個(gè)文件加載到內(nèi)存中。 2。通過(guò)避免鍊式的字符串功能，分解操作以及完成大字符串上的unset（），從而最大程度地減少不必要的字符串副本。 3.使用具有屈服的發(fā)電機(jī)來(lái)迭代數(shù)據(jù)，而無(wú)需在內(nèi)存中存儲(chǔ)大型數(shù)組。 4。除非需要多鍵型支持，否則優(yōu)先使用UTF-8編碼，在存在時(shí)脫帶BOM，並使用二進(jìn)制安全功能。 5。使用php：//輸入，管道或splfileObject作為流以從一開(kāi)始的有效處理，將輸入視為流。 6。使用MOMERY_GET_USAGE（）監(jiān)視內(nèi)存使用量，在php.ini中設(shè)置適當(dāng)?shù)膬?nèi)存限制，並考慮批處理處理或子進(jìn)程以隔離內(nèi)存。通過(guò)逐步處理數(shù)據(jù)並避免完整的內(nèi)存存儲(chǔ)，PHP可以有效地處理具有可預(yù)測(cè)的內(nèi)存消耗的大型文本工作負(fù)載。

在處理PHP中的大型數(shù)據(jù)集時(shí)，例如解析多Gigabyte日誌文件，CSV或處理文本流 - 如果您不小心，記憶使用情況可能會(huì)迅速失控。默認(rèn)情況下，PHP中的字符串不是內(nèi)存有效的，尤其是當(dāng)完全加載到內(nèi)存中時(shí)。這是如何有效地處理弦處理的方法，而無(wú)需用盡RAM。

1。塊中的過(guò)程數(shù)據(jù)，不是一次

最常見(jiàn)的錯(cuò)誤是使用file()或file_get_contents()之類的函數(shù)將整個(gè)文件加載到內(nèi)存中。對(duì)於2GB文件，這將在內(nèi)存中創(chuàng)建一個(gè)2GB字符串（Plus開(kāi)銷），超出了PHP的內(nèi)存限制。

相反，請(qǐng)閱讀並處理逐條線或可管理的塊中的文件：

 $ handle = fopen（'groun_file.txt'，'r'）;
如果（$ hander）{
    while（（$ line = fgets（$ hander））！== false）{
        //一次處理一行
        過(guò)程線（$ line）;
    }
    fclose（$ handle）;
}

無(wú)論文件大小如何，這都可以使內(nèi)存使用量保持恆定。

？將fgets()用於基於線路的數(shù)據(jù)（日誌，CSV）或具有固定緩衝尺寸（例如8KB）的fread() ，用於二進(jìn)製或非線內(nèi)容。

2。避免創(chuàng)建不必要的字符串副本

PHP的“寫入抄寫”機(jī)制有助於延遲重複。一旦修改了字符串，PHP可能會(huì)創(chuàng)建完整的副本。對(duì)產(chǎn)生中間字符串的操作保持謹(jǐn)慎：

 //風(fēng)險(xiǎn)：創(chuàng)建許多臨時(shí)字符串
$ CLAIN = TRIM（strtolater（str_replace（''，''，$ input）））;

//更好：在可能的情況下使用流或原地邏輯
//或至少在完成後將其分解並取消

對(duì)於重大文本轉(zhuǎn)換，請(qǐng)考慮：

• 將REGEX與preg_replace_callback()一起使用，並且處理以增量匹配。
• 完成後，重複使用變量並在大字符串上調(diào)用unset() 。
• 除非絕對(duì)必要，否則避免在大量字符串上避免使用array_map 。

3。使用發(fā)電機(jī)進(jìn)行內(nèi)存安全迭代

發(fā)電機(jī)允許您一次產(chǎn)生一個(gè)處理的字符串，而無(wú)需構(gòu)建大型陣列：

功能讀?。? file）{
    $ handle = fopen（$ file，'r'）;
    如果（！$ handle）返回；

    while（（$ line = fgets（$ hander））！== false）{
        產(chǎn)生$ line; //一次只有一行在內(nèi)存中
    }
    fclose（$ handle）;
}

foreach（readlines（'buge_file.log'）為$ line {
    if（strpos（$ line，'error'）！== false）{
        Echo $ line;
    }
}

這樣，即使您要過(guò)濾或轉(zhuǎn)換數(shù)千條線，內(nèi)存也保持平坦。

4。選擇正確的數(shù)據(jù)格式和編碼

• 如果可能的話，請(qǐng)避免使用UTF-16或重型文件- PHP處理UTF-8最好，並且額外的編碼層會(huì)增加內(nèi)存和處理成本。
• 如果需要，請(qǐng)手動(dòng)脫衣：

   if（substr（$ line，0，3）===“ \ xef \ xbb \ xbf”）{
      $ line = substr（$ line，3）;
  }

• 除非確實(shí)需要多重支持，否則使用二進(jìn)制安全函數(shù)（ substr ， strpos ），而不是mb_* ， mbstring功能較慢且內(nèi)存較大。

5。使用php://input ，管道或SplFileObject進(jìn)行流處理

為了提高效率，請(qǐng)從一開(kāi)始就將輸入視為流：

 $ input = fopen（'php：// input'，'r'）; //非常適合大型帖子數(shù)據(jù)
$ output = fopen（'php：// output'，'w'）;

while（$ chunk = fread（$ input，8192））{
    $ processed = transformChunk（$塊）;
    fwrite（$輸出，$處理）;
}

或使用SplFileObject進(jìn)行內(nèi)置迭代的面向?qū)ο蟮?，可尋求的文件訪問(wèn)。

6。監(jiān)視和限制內(nèi)存使用

即使有良好的做法，也會(huì)發(fā)生錯(cuò)誤。設(shè)置限制並監(jiān)視：

迴聲'當(dāng)前內(nèi)存使用情況：'。 memory_get_usage（） / 1024 /1024。 'MB'。 php_eol;

明智地使用php.ini中的memory_limit - 有時(shí)讓PHP快要失敗比掛起更好。

另外，考慮在批處理或產(chǎn)卵過(guò)程中處理以隔離，可重複的記憶上下文。

基本上，關(guān)鍵是永遠(yuǎn)不要假設(shè)您可以適合RAM中的所有內(nèi)容。像河流一樣對(duì)待大琴弦 - 在流動(dòng)時(shí)進(jìn)行過(guò)程，不要試圖存儲(chǔ)海洋。借助閱讀量的塊，生成器和正念的字符串處理，PHP可以處理出令人驚訝的大型文本工作負(fù)載，並有效地可預(yù)測(cè)。

以上是PHP中的大型數(shù)據(jù)集的存儲(chǔ)效率字符串處理的詳細(xì)內(nèi)容。更多資訊請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！