使用日期約束合并數(shù)據(jù)幀
簡(jiǎn)介：
基于連接條件和日期約束合并數(shù)據(jù)幀可以是數(shù)據(jù)分析中的常見(jiàn)任務(wù)。雖然 pandas 提供了各種合并選項(xiàng)，但通過(guò)在合并過(guò)程中進(jìn)行過(guò)濾來(lái)優(yōu)化性能可能有利于避免處理大型中間數(shù)據(jù)幀。本文討論了使用 SQL 來(lái)實(shí)現(xiàn)這種效率的替代方法。
與過(guò)濾合并：
提供的代碼片段演示了使用 pd 合并兩個(gè)數(shù)據(jù)幀 A 和 B。 merge() 函數(shù)，然后根據(jù)日期條件過(guò)濾結(jié)果。然而，由于在過(guò)濾之前創(chuàng)建了中間數(shù)據(jù)幀，這種方法在處理大型數(shù)據(jù)幀時(shí)可能不是最佳的。
SQL 作為替代方案：
SQL 提供了一種更有效的方法在查詢本身中通過(guò)過(guò)濾來(lái)執(zhí)行此合并。通過(guò)連接到內(nèi)存數(shù)據(jù)庫(kù)，我們可以編寫(xiě)一個(gè)查詢，一步執(zhí)行連接和日期過(guò)濾。
代碼示例：
以下代碼演示SQL 方法：
<code class="python">import pandas as pd
import sqlite3
# Connect to in-memory database
conn = sqlite3.connect(':memory:')
# Write dataframes to tables
terms.to_sql('terms', conn, index=False)
presidents.to_sql('presidents', conn, index=False)
war_declarations.to_sql('wars', conn, index=False)
# SQL query
qry = '''
select
start_date PresTermStart,
end_date PresTermEnd,
wars.date WarStart,
presidents.name Pres
from
terms join wars on
date between start_date and end_date join presidents on
terms.president_id = presidents.president_id
'''
# Read SQL query results into dataframe
df = pd.read_sql_query(qry, conn)</code>
結(jié)果：
生成的數(shù)據(jù)框 df 包含 A 中的日期與 B 中的日期條件匹配的行。在此特定示例中，它返回兩次宣戰(zhàn)的總統(tǒng)和任期。
優(yōu)點(diǎn)：
此方法具有以下優(yōu)點(diǎn)：
- 效率： 在單個(gè)查詢中執(zhí)行連接和過(guò)濾，無(wú)需中間數(shù)據(jù)幀。
- 靈活性： 允許在 SQL 查詢中使用更復(fù)雜的過(guò)濾條件.
- 無(wú)中間數(shù)據(jù)幀：避免在過(guò)濾之前存儲(chǔ)可能較大的中間數(shù)據(jù)幀。
以上是如何使用 SQL 優(yōu)化具有日期約束的 DataFrame 合并？的詳細(xì)內(nèi)容。更多信息請(qǐng)關(guān)注PHP中文網(wǎng)其他相關(guān)文章！
熱AI工具
Undress AI Tool
免費(fèi)脫衣服圖片
Undresser.AI Undress
人工智能驅(qū)動(dòng)的應(yīng)用程序，用于創(chuàng)建逼真的裸體照片
AI Clothes Remover
用于從照片中去除衣服的在線人工智能工具。
Clothoff.io
AI脫衣機(jī)
Video Face Swap
使用我們完全免費(fèi)的人工智能換臉工具輕松在任何視頻中換臉！
熱門(mén)文章
熱工具
記事本++7.3.1
好用且免費(fèi)的代碼編輯器
SublimeText3漢化版
中文版，非常好用
禪工作室 13.0.1
功能強(qiáng)大的PHP集成開(kāi)發(fā)環(huán)境
Dreamweaver CS6
視覺(jué)化網(wǎng)頁(yè)開(kāi)發(fā)工具
SublimeText3 Mac版
神級(jí)代碼編輯軟件(SublimeText3)
Python類中的多態(tài)性
Jul 05, 2025 am 02:58 AM
多態(tài)是Python面向?qū)ο缶幊讨械暮诵母拍?，指“一種接口，多種實(shí)現(xiàn)”，允許統(tǒng)一處理不同類型的對(duì)象。1.多態(tài)通過(guò)方法重寫(xiě)實(shí)現(xiàn)，子類可重新定義父類方法，如Animal類的speak()方法在Dog和Cat子類中有不同實(shí)現(xiàn)。2.多態(tài)的實(shí)際用途包括簡(jiǎn)化代碼結(jié)構(gòu)、增強(qiáng)可擴(kuò)展性，例如圖形繪制程序中統(tǒng)一調(diào)用draw()方法，或游戲開(kāi)發(fā)中處理不同角色的共同行為。3.Python實(shí)現(xiàn)多態(tài)需滿足：父類定義方法，子類重寫(xiě)該方法，但不要求繼承同一父類，只要對(duì)象實(shí)現(xiàn)相同方法即可，這稱為“鴨子類型”。4.注意事項(xiàng)包括保持方
解釋Python發(fā)電機(jī)和迭代器。
Jul 05, 2025 am 02:55 AM
迭代器是實(shí)現(xiàn)__iter__()和__next__()方法的對(duì)象，生成器是簡(jiǎn)化版的迭代器，通過(guò)yield關(guān)鍵字自動(dòng)實(shí)現(xiàn)這些方法。1.迭代器每次調(diào)用next()返回一個(gè)元素，無(wú)更多元素時(shí)拋出StopIteration異常。2.生成器通過(guò)函數(shù)定義，使用yield按需生成數(shù)據(jù)，節(jié)省內(nèi)存且支持無(wú)限序列。3.處理已有集合時(shí)用迭代器，動(dòng)態(tài)生成大數(shù)據(jù)或需惰性求值時(shí)用生成器，如讀取大文件時(shí)逐行加載。注意：列表等可迭代對(duì)象不是迭代器，迭代器到盡頭后需重新創(chuàng)建，生成器只能遍歷一次。
如何處理Python中的API身份驗(yàn)證
Jul 13, 2025 am 02:22 AM
處理API認(rèn)證的關(guān)鍵在于理解并正確使用認(rèn)證方式。1.APIKey是最簡(jiǎn)單的認(rèn)證方式，通常放在請(qǐng)求頭或URL參數(shù)中；2.BasicAuth使用用戶名和密碼進(jìn)行Base64編碼傳輸，適合內(nèi)部系統(tǒng)；3.OAuth2需先通過(guò)client_id和client_secret獲取Token，再在請(qǐng)求頭中帶上BearerToken；4.為應(yīng)對(duì)Token過(guò)期，可封裝Token管理類自動(dòng)刷新Token；總之，根據(jù)文檔選擇合適方式，并安全存儲(chǔ)密鑰信息是關(guān)鍵。
解釋Python斷言。
Jul 07, 2025 am 12:14 AM
Assert是Python用于調(diào)試的斷言工具，當(dāng)條件不滿足時(shí)拋出AssertionError。其語(yǔ)法為assert條件加可選錯(cuò)誤信息，適用于內(nèi)部邏輯驗(yàn)證如參數(shù)檢查、狀態(tài)確認(rèn)等，但不能用于安全或用戶輸入檢查，且應(yīng)配合清晰提示信息使用，僅限開(kāi)發(fā)階段輔助調(diào)試而非替代異常處理。
如何一次迭代兩個(gè)列表
Jul 09, 2025 am 01:13 AM
在Python中同時(shí)遍歷兩個(gè)列表的常用方法是使用zip()函數(shù)，它會(huì)按順序配對(duì)多個(gè)列表并以最短為準(zhǔn)；若列表長(zhǎng)度不一致，可使用itertools.zip_longest()以最長(zhǎng)為準(zhǔn)并填充缺失值；結(jié)合enumerate()可同時(shí)獲取索引。1.zip()簡(jiǎn)潔實(shí)用，適合成對(duì)數(shù)據(jù)迭代；2.zip_longest()處理不一致長(zhǎng)度時(shí)可填充默認(rèn)值；3.enumerate(zip())可在遍歷時(shí)獲取索引，滿足多種復(fù)雜場(chǎng)景需求。
什么是Python迭代器？
Jul 08, 2025 am 02:56 AM
Inpython，IteratorSareObjectSthallowloopingThroughCollectionsByImplementing_iter __（）和__next __（）。1）iteratorsWiaTheIteratorProtocol，使用__ITER __（）toreTurnterateratoratoranteratoratoranteratoratorAnterAnteratoratorant antheittheext__（）
什么是Python型提示？
Jul 07, 2025 am 02:55 AM
typeHintsInpyThonsolverbromblemboyofambiguityandPotentialBugSindyNamalytyCodeByallowingDevelopsosteSpecefectifyExpectedTypes.theyenhancereadability，enablellybugdetection，andimprovetool.typehintsupport.typehintsareadsareadsareadsareadsareadsareadsareadsareadsareaddedusidocolon（
Python Fastapi教程
Jul 12, 2025 am 02:42 AM
要使用Python創(chuàng)建現(xiàn)代高效的API，推薦使用FastAPI；其基于標(biāo)準(zhǔn)Python類型提示，可自動(dòng)生成文檔，性能優(yōu)越。安裝FastAPI和ASGI服務(wù)器uvicorn后，即可編寫(xiě)接口代碼。通過(guò)定義路由、編寫(xiě)處理函數(shù)并返回?cái)?shù)據(jù)，可以快速構(gòu)建API。FastAPI支持多種HTTP方法，并提供自動(dòng)生成的SwaggerUI和ReDoc文檔系統(tǒng)。URL參數(shù)可通過(guò)路徑定義捕獲，查詢參數(shù)則通過(guò)函數(shù)參數(shù)設(shè)置默認(rèn)值實(shí)現(xiàn)。合理使用Pydantic模型有助于提升開(kāi)發(fā)效率和準(zhǔn)確性。
