abstract:我們知道多線(xiàn)程環(huán)境下,每一個(gè)線(xiàn)程均可以使用所屬進(jìn)程的全局變量。如果一個(gè)線(xiàn)程對(duì)全局變量進(jìn)行了修改,將會(huì)影響到其他所有的線(xiàn)程。為了避免多個(gè)線(xiàn)程同時(shí)對(duì)變量進(jìn)行修改,引入了線(xiàn)程同步機(jī)制,通過(guò)互斥鎖,條件變量或者讀寫(xiě)鎖來(lái)控制對(duì)全局變量的訪(fǎng)問(wèn)。只用全局變量并不能滿(mǎn)足多線(xiàn)程環(huán)境的需求,很多時(shí)候線(xiàn)程還需要擁有自己的私有數(shù)據(jù),這些數(shù)據(jù)對(duì)于其他線(xiàn)程來(lái)說(shuō)不可見(jiàn)。因此線(xiàn)程中也可以使用局部變量,局部變量只有線(xiàn)程自身可以訪(fǎng)問(wèn)
我們知道多線(xiàn)程環(huán)境下,每一個(gè)線(xiàn)程均可以使用所屬進(jìn)程的全局變量。如果一個(gè)線(xiàn)程對(duì)全局變量進(jìn)行了修改,將會(huì)影響到其他所有的線(xiàn)程。為了避免多個(gè)線(xiàn)程同時(shí)對(duì)變量進(jìn)行修改,引入了線(xiàn)程同步機(jī)制,通過(guò)互斥鎖,條件變量或者讀寫(xiě)鎖來(lái)控制對(duì)全局變量的訪(fǎng)問(wèn)。
只用全局變量并不能滿(mǎn)足多線(xiàn)程環(huán)境的需求,很多時(shí)候線(xiàn)程還需要擁有自己的私有數(shù)據(jù),這些數(shù)據(jù)對(duì)于其他線(xiàn)程來(lái)說(shuō)不可見(jiàn)。因此線(xiàn)程中也可以使用局部變量,局部變量只有線(xiàn)程自身可以訪(fǎng)問(wèn),同一個(gè)進(jìn)程下的其他線(xiàn)程不可訪(fǎng)問(wèn)。
有時(shí)候使用局部變量不太方便,因此 python 還提供了 ThreadLocal 變量,它本身是一個(gè)全局變量,但是每個(gè)線(xiàn)程卻可以利用它來(lái)保存屬于自己的私有數(shù)據(jù),這些私有數(shù)據(jù)對(duì)其他線(xiàn)程也是不可見(jiàn)的。下圖給出了線(xiàn)程中這幾種變量的存在情況:
線(xiàn)程變量
全局 VS 局部變量
首先借助一個(gè)小程序來(lái)看看多線(xiàn)程環(huán)境下全局變量的同步問(wèn)題。
import threading global_num = 0 def thread_cal(): global global_num for i in xrange(1000): global_num += 1 # Get 10 threads, run them and wait them all finished. threads = [] for i in range(10): threads.append(threading.Thread(target=thread_cal)) threads[i].start() for i in range(10): threads[i].join() # Value of global variable can be confused. print global_num
這里我們創(chuàng)建了10個(gè)線(xiàn)程,每個(gè)線(xiàn)程均對(duì)全局變量 global_num 進(jìn)行1000次的加1操作(循環(huán)1000次加1是為了延長(zhǎng)單個(gè)線(xiàn)程執(zhí)行時(shí)間,使線(xiàn)程執(zhí)行時(shí)被中斷切換),當(dāng)10個(gè)線(xiàn)程執(zhí)行完畢時(shí),全局變量的值是多少呢?答案是不確定。簡(jiǎn)單來(lái)說(shuō)是因?yàn)?global_num += 1 并不是一個(gè)原子操作,因此執(zhí)行過(guò)程可能被其他線(xiàn)程中斷,導(dǎo)致其他線(xiàn)程讀到一個(gè)臟值。以?xún)蓚€(gè)線(xiàn)程執(zhí)行 +1 為例,其中一個(gè)可能的執(zhí)行序列如下(此情況下最后結(jié)果為1):
多線(xiàn)程全局變量同步
多線(xiàn)程中使用全局變量時(shí)普遍存在這個(gè)問(wèn)題,解決辦法也很簡(jiǎn)單,可以使用互斥鎖、條件變量或者是讀寫(xiě)鎖。下面考慮用互斥鎖來(lái)解決上面代碼的問(wèn)題,只需要在進(jìn)行 +1 運(yùn)算前加鎖,運(yùn)算完畢釋放鎖即可,這樣就可以保證運(yùn)算的原子性。
l = threading.Lock() ... l.acquire() global_num += 1 l.release()
在線(xiàn)程中使用局部變量則不存在這個(gè)問(wèn)題,因?yàn)槊總€(gè)線(xiàn)程的局部變量不能被其他線(xiàn)程訪(fǎng)問(wèn)。下面我們用10個(gè)線(xiàn)程分別對(duì)各自的局部變量進(jìn)行1000次加1操作,每個(gè)線(xiàn)程結(jié)束時(shí)打印一共執(zhí)行的操作次數(shù)(每個(gè)線(xiàn)程均為1000):
def show(num): print threading.current_thread().getName(), num def thread_cal(): local_num = 0 for _ in xrange(1000): local_num += 1 show(local_num) threads = [] for i in range(10): threads.append(threading.Thread(target=thread_cal)) threads[i].start()
可以看出這里每個(gè)線(xiàn)程都有自己的 local_num,各個(gè)線(xiàn)程之間互不干涉。
Thread-local 對(duì)象
上面程序中我們需要給 show 函數(shù)傳遞 local_num 局部變量,并沒(méi)有什么不妥。不過(guò)考慮在實(shí)際生產(chǎn)環(huán)境中,我們可能會(huì)調(diào)用很多函數(shù),每個(gè)函數(shù)都需要很多局部變量,這時(shí)候用傳遞參數(shù)的方法會(huì)很不友好。
為了解決這個(gè)問(wèn)題,一個(gè)直觀(guān)的的方法就是建立一個(gè)全局字典,保存進(jìn)程 ID 到該進(jìn)程局部變量的映射關(guān)系,運(yùn)行中的線(xiàn)程可以根據(jù)自己的 ID 來(lái)獲取本身?yè)碛械臄?shù)據(jù)。這樣,就可以避免在函數(shù)調(diào)用中傳遞參數(shù),如下示例:
global_data = {} def show(): cur_thread = threading.current_thread() print cur_thread.getName(), global_data[cur_thread] def thread_cal(): cur_thread = threading.current_thread() global_data[cur_thread] = 0 for _ in xrange(1000): global_data[cur_thread] += 1 show() # Need no local variable. Looks good. ...
保存一個(gè)全局字典,然后將線(xiàn)程標(biāo)識(shí)符作為key,相應(yīng)線(xiàn)程的局部數(shù)據(jù)作為 value,這種做法并不完美。首先,每個(gè)函數(shù)在需要線(xiàn)程局部數(shù)據(jù)時(shí),都需要先取得自己的線(xiàn)程ID,略顯繁瑣。更糟糕的是,這里并沒(méi)有真正做到線(xiàn)程之間數(shù)據(jù)的隔離,因?yàn)槊總€(gè)線(xiàn)程都可以讀取到全局的字典,每個(gè)線(xiàn)程都可以對(duì)字典內(nèi)容進(jìn)行更改。
為了更好解決這個(gè)問(wèn)題,python 線(xiàn)程庫(kù)實(shí)現(xiàn)了 ThreadLocal 變量(很多語(yǔ)言都有類(lèi)似的實(shí)現(xiàn),比如Java)。ThreadLocal 真正做到了線(xiàn)程之間的數(shù)據(jù)隔離,并且使用時(shí)不需要手動(dòng)獲取自己的線(xiàn)程 ID,如下示例:
global_data = threading.local() def show(): print threading.current_thread().getName(), global_data.num def thread_cal(): global_data.num = 0 for _ in xrange(1000): global_data.num += 1 show() threads = [] ... print "Main thread: ", global_data.__dict__ # {}
上面示例中每個(gè)線(xiàn)程都可以通過(guò) global_data.num 獲得自己獨(dú)有的數(shù)據(jù),并且每個(gè)線(xiàn)程讀取到的 global_data 都不同,真正做到線(xiàn)程之間的隔離。
Python通過(guò) local 類(lèi)來(lái)實(shí)現(xiàn) ThreadLocal 變量,代碼量不多(只有100多行),但是比較難理解,涉及很多 Python 黑魔法,下篇再來(lái)詳細(xì)分析。那么 ThreadLocal 很完美了?不!Python 的 WSGI 工具庫(kù) werkzeug 中有一個(gè)更好的 ThreadLocal 實(shí)現(xiàn),甚至支持協(xié)程之間的私有數(shù)據(jù),實(shí)現(xiàn)更加復(fù)雜,有機(jī)會(huì)再分析。