最佳化 PostgreSQL 的 tablefunc 以實現(xiàn)大型資料集的多列透視
有效地將大型資料集從長格式轉(zhuǎn)換為寬格式（旋轉(zhuǎn)）對於資料分析至關(guān)重要。本文解決了使用 PostgreSQL 的 tablefunc 擴充功能進行多列透視的挑戰(zhàn)和解決方案，特別是在處理數(shù)十億行時。
解決旋轉(zhuǎn)挑戰(zhàn)
一個常見問題涉及使用 tablefunc 旋轉(zhuǎn)具有多個變數(shù)的資料。 例如，將具有 time、entity、status 和 measurement 等列的資料轉(zhuǎn)換為寬格式，其中每個 measurement 值佔用一個單獨的欄位。
找出效率低的根本原因
效率低下的主要原因通常是由於 tablefunc 查詢中的列排序不正確。 crosstab 函數(shù)需要特定的順序：行標(biāo)識符（定義資料分隔）必須是第一列，後面是任何其他列，最後是要旋轉(zhuǎn)的值。 不正確的順序（例如交換 time 和 entity 列）會導(dǎo)致行標(biāo)識符的誤解，從而顯著影響效能。
解：正確的列順序
解決方案涉及仔細重新排序列以遵守crosstab 的要求。 下面的範(fàn)例示範(fàn)了此更正，其中 entity 是行標(biāo)識符，timeof 是附加列：
crosstab(
'SELECT entity, timeof, status, ct
FROM t4
ORDER BY 1,2,3'
,$$VALUES (1::text), (0::text)$$)
說明性範(fàn)例與輸出
此範(fàn)例展示了修改後的查詢，使用 dense_rank() 確保唯一的行標(biāo)識符，使用 generate_series 定義透視列的數(shù)量：
SELECT localt, entity
, msrmnt01, msrmnt02, msrmnt03, msrmnt04, msrmnt05 -- , more?
FROM crosstab(
'SELECT dense_rank() OVER (ORDER BY localt, entity)::int AS row_name
, localt, entity
, msrmnt, val
FROM test
ORDER BY localt, entity, msrmnt'
, 'SELECT generate_series(1,5)'
) AS ct (row_name int, localt timestamp, entity int
, msrmnt01 float8, msrmnt02 float8, msrmnt03 float8, msrmnt04 float8, msrmnt05 float8
);
這種正確的方法可確保使用 tablefunc 進行高效的多列旋轉(zhuǎn)，即使對於非常大的資料集也是如此。 正確的列排序?qū)东@得最佳效能至關(guān)重要。
以上是如何使用 PostgreSQL 的 tablefunc 針對大型資料集高效能實現(xiàn)多列透視？的詳細內(nèi)容。更多資訊請關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費脫衣圖片
Undresser.AI Undress
人工智慧驅(qū)動的應(yīng)用程序，用於創(chuàng)建逼真的裸體照片
AI Clothes Remover
用於從照片中去除衣服的線上人工智慧工具。
Clothoff.io
AI脫衣器
Video Face Swap
使用我們完全免費的人工智慧換臉工具，輕鬆在任何影片中換臉！
熱門文章
熱工具
記事本++7.3.1
好用且免費的程式碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
強大的PHP整合開發(fā)環(huán)境
Dreamweaver CS6
視覺化網(wǎng)頁開發(fā)工具
SublimeText3 Mac版
神級程式碼編輯軟體(SublimeText3)
使用mySQL中的mysqldump執(zhí)行邏輯備份
Jul 06, 2025 am 02:55 AM
mysqldump是用於執(zhí)行MySQL數(shù)據(jù)庫邏輯備份的常用工具，它生成包含CREATE和INSERT語句的SQL文件以重建數(shù)據(jù)庫。 1.它不備份原始文件，而是將數(shù)據(jù)庫結(jié)構(gòu)和內(nèi)容轉(zhuǎn)換為可移植的SQL命令；2.適用於小型數(shù)據(jù)庫或選擇性恢復(fù)，不適合TB級數(shù)據(jù)快速恢復(fù)；3.常用選項包括--single-transaction、--databases、--all-databases、--routines等；4.恢復(fù)時使用mysql命令導(dǎo)入，並可關(guān)閉外鍵檢查以提升速度；5.建議定期測試備份、使用壓縮、自動化調(diào)
計算MySQL中的數(shù)據(jù)庫和表尺寸
Jul 06, 2025 am 02:41 AM
要查看MySQL數(shù)據(jù)庫和表的大小，可直接查詢information_schema或使用命令行工具。 1.查看整個數(shù)據(jù)庫大小：執(zhí)行SQL語句SELECTtable_schemaAS'Database',SUM(data_length index_length)/1024/1024AS'Size(MB)'FROMinformation_schema.tablesGROUPBYtable_schema;可獲取所有數(shù)據(jù)庫的總大小，也可加WHERE條件限定具體數(shù)據(jù)庫；2.查看單個表大?。和ㄟ^SELECTta
處理MySQL中的角色集和校正問題
Jul 08, 2025 am 02:51 AM
字符集和排序規(guī)則問題常見於跨平臺遷移或多人開發(fā)時，導(dǎo)致亂碼或查詢不一致。核心解決方法有三：一要檢查並統(tǒng)一數(shù)據(jù)庫、表、字段的字符集為utf8mb4，通過SHOWCREATEDATABASE/TABLE查看，用ALTER語句修改；二要在客戶端連接時指定utf8mb4字符集，在連接參數(shù)或執(zhí)行SETNAMES中設(shè)置；三要合理選擇排序規(guī)則，推薦使用utf8mb4_unicode_ci以確保比較和排序準(zhǔn)確性，並在建庫建表時指定或通過ALTER修改。
實施交易和了解MySQL中的酸性
Jul 08, 2025 am 02:50 AM
MySQL支持事務(wù)處理，使用InnoDB存儲引擎可確保數(shù)據(jù)一致性和完整性。 1.事務(wù)是一組SQL操作，要么全部成功，要么全部失敗回滾；2.ACID屬性包括原子性、一致性、隔離性和持久性；3.手動控制事務(wù)的語句為STARTTRANSACTION、COMMIT和ROLLBACK；4.四種隔離級別包括讀未提交、讀已提交、可重複讀和串行化；5.正確使用事務(wù)需注意避免長時間運行、關(guān)閉自動提交、合理處理鎖及異常。通過這些機制，MySQL可實現(xiàn)高可靠與並發(fā)控制。
管理MySQL中的角色集和校正
Jul 07, 2025 am 01:41 AM
MySQL中字符集和排序規(guī)則的設(shè)置至關(guān)重要，影響數(shù)據(jù)存儲、查詢效率及一致性。首先，字符集決定可存儲字符範(fàn)圍，如utf8mb4支持中文和表情符號；排序規(guī)則控製字符比較方式，如utf8mb4_unicode_ci不區(qū)分大小寫，utf8mb4_bin為二進制比較。其次，字符集可在服務(wù)器、數(shù)據(jù)庫、表、列多個層級設(shè)置，建議統(tǒng)一使用utf8mb4和utf8mb4_unicode_ci避免衝突。再者，亂碼問題常由連接、存儲或程序端字符集不一致引起，需逐層排查並統(tǒng)一設(shè)置。此外，導(dǎo)出導(dǎo)入時應(yīng)指定字符集以防止轉(zhuǎn)換錯
使用命令行客戶端連接到MySQL數(shù)據(jù)庫
Jul 07, 2025 am 01:50 AM
連接MySQL數(shù)據(jù)庫最直接的方式是使用命令行客戶端。首先輸入mysql-u用戶名-p並正確輸入密碼即可進入交互式界面；若連接遠程數(shù)據(jù)庫，需添加-h參數(shù)指定主機地址。其次，可直接在登錄時切換到特定數(shù)據(jù)庫或執(zhí)行SQL文件，如mysql-u用戶名-p數(shù)據(jù)庫名或mysql-u用戶名-p數(shù)據(jù)庫名
在MySQL中設(shè)置異步主要復(fù)制複製
Jul 06, 2025 am 02:52 AM
要設(shè)置MySQL的異步主從復(fù)制，請按以下步驟操作：1.準(zhǔn)備主服務(wù)器，啟用二進制日誌並設(shè)置唯一server-id，創(chuàng)建複製用戶並記錄當(dāng)前日誌位置；2.使用mysqldump備份主庫數(shù)據(jù)並導(dǎo)入到從服務(wù)器；3.配置從服務(wù)器的server-id和relay-log，使用CHANGEMASTER命令連接主庫並啟動複製線程；4.檢查常見問題，如網(wǎng)絡(luò)、權(quán)限、數(shù)據(jù)一致性及自增沖突，並監(jiān)控複製延遲。按照上述步驟操作可確保配置正確完成。
使用MySQL 8中的常見表表達式（CTE）
Jul 12, 2025 am 02:23 AM
CTEs是MySQL8.0引入的特性，提升複雜查詢的可讀性與維護性。 1.CTE是臨時結(jié)果集，僅在當(dāng)前查詢中有效，結(jié)構(gòu)清晰，支持重複引用；2.相比子查詢，CTE更易讀、可重用且支持遞歸；3.遞歸CTE可處理層級數(shù)據(jù)，如組織結(jié)構(gòu)，需包含初始查詢與遞歸部分；4.使用建議包括避免濫用、命名規(guī)範(fàn)、關(guān)注性能及調(diào)試方法。
