大規(guī)模なテキスト ファイル (10 GB 以上) の最後の 10 行を取得する
テキスト処理の分野では、共通の課題は、非常に大きなテキスト ファイルの最後の數(shù)行。 10 GB を超えるファイルを扱う場合、従來のアプローチでは不十分な場合があります。この記事では、C# を使用したこの問題に対する効果的な解決策を紹介し、その実裝を示すコード スニペットを示します。
最後の 10 行を効率的に取得するための戦略には、ファイルを最後から逆方向に走査することが含まれます。行數(shù)は可変であるため、10 個(gè)の改行が見つかるまで後方への探索を繰り返します。この點(diǎn)に達(dá)したら、殘りのコンテンツを前方に読み取って、最後の 10 行をキャプチャします。
次の実裝を考えてみましょう。
public static string ReadEndTokens(string path, Int64 numberOfTokens, Encoding encoding, string tokenSeparator) {
int sizeOfChar = encoding.GetByteCount("\n");
byte[] buffer = encoding.GetBytes(tokenSeparator);
using (FileStream fs = new FileStream(path, FileMode.Open)) {
Int64 tokenCount = 0;
Int64 endPosition = fs.Length / sizeOfChar;
for (Int64 position = sizeOfChar; position < endPosition; position += sizeOfChar) {
fs.Seek(-position, SeekOrigin.End);
fs.Read(buffer, 0, buffer.Length);
if (encoding.GetString(buffer) == tokenSeparator) {
tokenCount++;
if (tokenCount == numberOfTokens) {
byte[] returnBuffer = new byte[fs.Length - fs.Position];
fs.Read(returnBuffer, 0, returnBuffer.Length);
return encoding.GetString(returnBuffer);
}
}
}
// handle case where number of tokens in file is less than numberOfTokens
fs.Seek(0, SeekOrigin.Begin);
buffer = new byte[fs.Length];
fs.Read(buffer, 0, buffer.Length);
return encoding.GetString(buffer);
}
}
このコードは、行數(shù)が異なる場合を処理します。ファイルが 10 未満であるため、読み取り操作を適切に調(diào)整します。エンコーディング パラメーターを使用すると、ファイルのエンコーディングに基づいたカスタマイズが可能になり、tokenSeparator を使用して、別のセパレーターの最後の連続要素を取得できます。
このアプローチを採用すると、大量のテキストの最後の 10 行を効果的に取得できます。ファイルを作成し、効率的な処理と正確な結(jié)果を保証します。
以上がC# で 10 GB のテキスト ファイルの最後の 10 行を効率的に読み取る方法は?の詳細(xì)內(nèi)容です。詳細(xì)については、PHP 中國語 Web サイトの他の関連記事を參照してください。
ホットAIツール
Undress AI Tool
脫衣畫像を無料で
Undresser.AI Undress
リアルなヌード寫真を作成する AI 搭載アプリ
AI Clothes Remover
寫真から衣服を削除するオンライン AI ツール。
Clothoff.io
AI衣類リムーバー
Video Face Swap
完全無料の AI 顔交換ツールを使用して、あらゆるビデオの顔を簡単に交換できます。
人気の記事
ホットツール
メモ帳++7.3.1
使いやすく無料のコードエディター
SublimeText3 中國語版
中國語版、とても使いやすい
ゼンドスタジオ 13.0.1
強(qiáng)力な PHP 統(tǒng)合開発環(huán)境
ドリームウィーバー CS6
ビジュアル Web 開発ツール
SublimeText3 Mac版
神レベルのコード編集ソフト（SublimeText3）
ホットトピック
c
Jul 15, 2025 am 01:30 AM
STD :: Chronoは、現(xiàn)在の時(shí)間の取得、実行時(shí)間の測定、操作時(shí)點(diǎn)と期間の測定、分析時(shí)間のフォーマットなど、時(shí)間の処理にCで使用されます。 1。STD:: Chrono :: System_Clock :: now（）を使用して、現(xiàn)在の時(shí)間を取得します。 2。STD:: CHRONO :: STEADY_CLOCKを使用して実行時(shí)間を測定して単調(diào)さを確保し、DurateR_CASTを通じてミリ秒、秒、その他のユニットに変換します。 3。時(shí)點(diǎn)（Time_Point）と期間（期間）は相互運(yùn)用可能ですが、ユニットの互換性と時(shí)計(jì)エポック（エポック）に注意を払う必要があります
Cの揮発性キーワードは何ですか？
Jul 04, 2025 am 01:09 AM
Volatileは、変數(shù)の値がいつでも変更される可能性があることをコンパイラに伝え、コンパイラがアクセスを最適化するのを防ぎます。 1。スレッド間のハードウェアレジスタ、信號(hào)ハンドラー、または共有変數(shù)に使用されます（ただし、最新のCはSTD :: Atomicを推奨します）。 2。各アクセスは、レジスタにキャッシュされる代わりに、メモリを直接読み取りおよび書き込みます。 3.原子性やスレッドの安全性を提供せず、コンパイラが読み取りと書き込みを最適化しないことのみを保証します。 4.絶えず、2つは読み取り専用であるが外部的に変更可能な変數(shù)を表すために組み合わせて使用??されることがあります。 5.ミューテックスや原子操作を置き換えることはできず、過剰な使用はパフォーマンスに影響します。
Cでスタックトレースを取得する方法は？
Jul 07, 2025 am 01:41 AM
主にCでスタックトレースを取得するための次の方法があります。1。LinuxプラットフォームでBackTraceおよびBackTrace_Symbols関數(shù)を使用します。コールスタックと印刷記號(hào)情報(bào)を取得することを含めることにより、コンパイル時(shí)に-RDYNAMICパラメーターを追加する必要があります。 2。WindowsプラットフォームでCaptureStackBackTrace関數(shù)を使用すると、dbghelp.libをリンクし、PDBファイルに依存して関數(shù)名を解析する必要があります。 3. Google BreakPadやBoost.StackTraceなどのサードパーティライブラリを使用して、スタックキャプチャ操作をクロスプラットフォームして簡素化します。 4.例外処理では、上記の方法を組み合わせて、キャッチブロックにスタック情報(bào)を自動(dòng)的に出力します
CからPythonを呼び出す方法は？
Jul 08, 2025 am 12:40 AM
CでPythonコードを呼び出すには、最初にインタープリターを初期化する必要があります。次に、文字列、ファイルを?qū)g行するか、特定の関數(shù)を呼び出すことでインタラクションを?qū)g現(xiàn)できます。 1。py_initialize（）でインタープリターを初期化し、py_finalize（）で閉じます。 2。pyrun_simplefileを使用して文字列コードまたはpyrun_simplefileを?qū)g行します。 3. pyimport_importmoduleを介してモジュールをインポートし、pyobject_getattringを介して関數(shù)を取得し、py_buildvalueのパラメーターを構(gòu)築し、関數(shù)を呼び出し、プロセスリターンを呼び出します
Cに隠れている関數(shù)とは何ですか？
Jul 05, 2025 am 01:44 AM
機(jī)能することは、aMenAmeaSabaseClassfunctionとの際にclassdefinesivinesivinesivinesivinesivinesを使用することで発生します
cのポッド（平易な古いデータ）タイプとは何ですか？
Jul 12, 2025 am 02:15 AM
Cでは、POD（PlainOldData）タイプは、単純な構(gòu)造を持つタイプを指し、C言語データ処理と互換性があります。 2つの條件を満たす必要があります。MEMCPYでコピーできる通常のコピーセマンティクスがあります。標(biāo)準(zhǔn)のレイアウトがあり、メモリ構(gòu)造は予測可能です。特定の要件には、すべての非靜的メンバーが公開されており、ユーザー定義のコンストラクターまたはデストラクタがなく、仮想関數(shù)や基本クラスがなく、すべての非靜的メンバー自體がポッドです。たとえば、structpoint {intx; inty;}はpodです。その用途には、バイナリI/O、Cの相互運(yùn)用性、パフォーマンスの最適化などが含まれます。タイプがstd :: is_podを介してポッドであるかどうかを確認(rèn)できますが、c 11の後にstd :: is_triviaを使用することをお?jiǎng)幛幛筏蓼埂?/p>
Cのヌルポインターとは何ですか？
Jul 09, 2025 am 02:38 AM
anullpointerincは、aspocialvalueIndicationating notpointtopointtonyvalidmemorylocation、および炎癥を起こしたことをsusedafelymanageandcheckpointerseforeferencing.1.beforec 11,0orullwasuse、butnownullptrispreredandtypeTy.2
cのパラメーターとして関數(shù)を渡す方法は？
Jul 12, 2025 am 01:34 AM
Cには、関數(shù)をパラメーターとして渡す3つの主な方法があります。関數(shù)ポインター、STD ::関數(shù)式とラムダ式、およびテンプレートジェネリックを使用しています。 1。関數(shù)ポインターは最も基本的な方法であり、単純なシナリオまたはCインターフェイスに適していますが、読みやすさが低いです。 2。STD:: LAMBDA式と組み合わせた関數(shù)は、現(xiàn)代のCで推奨される方法であり、さまざまな呼び出し可能なオブジェクトをサポートし、タイプセーフです。 3.テンプレートジェネリックメソッドは、最も柔軟で、ライブラリコードまたは一般的なロジックに適していますが、コンピレーション時(shí)間とコードボリュームを増やす可能性があります。コンテキストをキャプチャするラムダは、std :: functionまたはテンプレートを介して渡す必要があり、関數(shù)ポインターに直接変換することはできません。
