使用bufio緩沖、調(diào)整緩沖區(qū)大小、預(yù)分配內(nèi)存和并發(fā)處理可顯著提升Golang文件讀寫速度，核心是減少系統(tǒng)調(diào)用與內(nèi)存分配。

在Golang中提升文件讀取和寫入速度，關(guān)鍵在于合理選擇I/O方式、緩沖策略以及系統(tǒng)調(diào)用的優(yōu)化。直接使用基礎(chǔ)的os.ReadFile或os.WriteFile在處理大文件時效率較低。以下是幾個實用的優(yōu)化方法。

使用帶緩沖的讀寫（bufio）

默認(rèn)的文件讀寫操作是無緩沖的，每次調(diào)用都可能觸發(fā)系統(tǒng)調(diào)用，開銷較大。使用bufio.Reader和bufio.Writer可以顯著減少系統(tǒng)調(diào)用次數(shù)。

建議：

• 讀取大文件時，用bufio.NewReader配合ReadBytes或ReadString逐行處理。
• 寫入時使用bufio.NewWriter，并在結(jié)束時調(diào)用Flush()確保數(shù)據(jù)落盤。

file, _ := os.Open("large.log")
defer file.Close()

reader := bufio.NewReader(file)
for {
    line, err := reader.ReadString('\n')
    if err != nil { break }
    // 處理line
}

調(diào)整緩沖區(qū)大小

默認(rèn)的bufio緩沖區(qū)是4KB，對于大文件或高吞吐場景，可手動設(shè)置更大的緩沖區(qū)（如32KB或64KB）來減少I/O次數(shù)。

立即學(xué)習(xí)“go語言免費學(xué)習(xí)筆記（深入）”；

說明：

• 緩沖區(qū)不是越大越好，需根據(jù)內(nèi)存和實際吞吐平衡。
• 常見設(shè)置為32KB~1MB之間，可通過實驗確定最優(yōu)值。

w := bufio.NewWriterSize(file, 65536) // 64KB

批量讀取或預(yù)分配內(nèi)存

若知道文件大致大小，可預(yù)分配切片，使用os.WriteFile0一次性讀取，避免多次分配和拷貝。

百度文心百中

百度大模型語義搜索體驗中心

22

查看詳情

做法：

• 通過os.WriteFile1獲取文件大小。
• 使用os.WriteFile2預(yù)分配內(nèi)存。
• 用os.WriteFile3確保完整讀取。

這種方式適合中小文件（幾十MB以內(nèi)），能極大提升讀取速度。

并發(fā)讀寫（適用于多文件或分塊處理）

單個文件通常不能并發(fā)寫入，但若處理多個文件，可用goroutine并行讀取。

注意點：

• 控制并發(fā)數(shù)，避免打開過多文件導(dǎo)致資源耗盡。
• 使用os.WriteFile4或os.WriteFile5管理任務(wù)生命周期。
• 寫入共享文件時加鎖，或每個goroutine寫?yīng)毩⑽募俸喜ⅰ?/li>

基本上就這些。核心是減少系統(tǒng)調(diào)用、合理利用緩沖、避免頻繁內(nèi)存分配。根據(jù)具體場景選擇組合策略，性能提升會很明顯。不復(fù)雜但容易忽略細(xì)節(jié)。

以上就是如何在Golang中提升文件讀取和寫入速度的詳細(xì)內(nèi)容，更多請關(guān)注php中文網(wǎng)其它相關(guān)文章！