亚洲国产日韩欧美一区二区三区,精品亚洲国产成人av在线,国产99视频精品免视看7,99国产精品久久久久久久成人热,欧美日韩亚洲国产综合乱

深入理解Python中的ThreadLocal變量(三)

Original 2016-11-10 15:07:12 523
abstrakt:在第一篇我們看到了 ThreadLocal 變量的簡(jiǎn)單使用,第二篇對(duì)python中 ThreadLocal 的實(shí)現(xiàn)進(jìn)行了分析,但故事還沒(méi)有結(jié)束。本篇我們一起來(lái)看下Werkzeug中ThreadLocal的設(shè)計(jì)。Werkzeug 作為一個(gè) WSGI 工具庫(kù),由于一些方面的考慮,并沒(méi)有直接使用python內(nèi)置的ThreadLocal類,而是自己實(shí)現(xiàn)了一系列Local類。包括簡(jiǎn)單的Local,以及在此基

在第一篇我們看到了 ThreadLocal 變量的簡(jiǎn)單使用,第二篇對(duì)python中 ThreadLocal 的實(shí)現(xiàn)進(jìn)行了分析,但故事還沒(méi)有結(jié)束。本篇我們一起來(lái)看下Werkzeug中ThreadLocal的設(shè)計(jì)。

Werkzeug 作為一個(gè) WSGI 工具庫(kù),由于一些方面的考慮,并沒(méi)有直接使用python內(nèi)置的ThreadLocal類,而是自己實(shí)現(xiàn)了一系列Local類。包括簡(jiǎn)單的Local,以及在此基礎(chǔ)上實(shí)現(xiàn)的LocalStack,LocalManager 和 LocalProxy。接下來(lái)我們一起來(lái)看看這些類的使用方式,設(shè)計(jì)的初衷,以及具體的實(shí)現(xiàn)技巧。

Local 類的設(shè)計(jì)

  • Werkzeug 的設(shè)計(jì)者認(rèn)為python自帶的ThreadLocal并不能滿足需求,主要因?yàn)橄旅鎯蓚€(gè)原因:

  • Werkzeug 主要用“ThreadLocal”來(lái)滿足并發(fā)的要求,python 自帶的ThreadLocal只能實(shí)現(xiàn)基于線程的并發(fā)。而python中還有其他許多并發(fā)方式,比如常見(jiàn)的協(xié)程(greenlet),因此需要實(shí)現(xiàn)一種能夠支持協(xié)程的Local對(duì)象。

WSGI不保證每次都會(huì)產(chǎn)生一個(gè)新的線程來(lái)處理請(qǐng)求,也就是說(shuō)線程是可以復(fù)用的(可以維護(hù)一個(gè)線程池來(lái)處理請(qǐng)求)。這樣如果werkzeug 使用python自帶的ThreadLocal,一個(gè)“不干凈(存有之前處理過(guò)的請(qǐng)求的相關(guān)數(shù)據(jù))”的線程會(huì)被用來(lái)處理新的請(qǐng)求。

為了解決這兩個(gè)問(wèn)題,werkzeug 中實(shí)現(xiàn)了Local類。Local對(duì)象可以做到線程和協(xié)程之間數(shù)據(jù)的隔離,此外,還要支持清理某個(gè)線程或者協(xié)程下的數(shù)據(jù)(這樣就可以在處理一個(gè)請(qǐng)求之后,清理相應(yīng)的數(shù)據(jù),然后等待下一個(gè)請(qǐng)求的到來(lái))。

具體怎么實(shí)現(xiàn)的呢,思想其實(shí)特別簡(jiǎn)單,我們?cè)谏钊肜斫釶ython中的ThreadLocal變量(上)一文的最后有提起過(guò),就是創(chuàng)建一個(gè)全局字典,然后將線程(或者協(xié)程)標(biāo)識(shí)符作為key,相應(yīng)線程(或協(xié)程)的局部數(shù)據(jù)作為 value。這里 werkzeug 就是按照上面思路進(jìn)行實(shí)現(xiàn),不過(guò)利用了python的一些黑魔法,最后提供給用戶一個(gè)清晰、簡(jiǎn)單的接口。

具體實(shí)現(xiàn)

Local 類的實(shí)現(xiàn)在 werkzeug.local 中,以 8a84b62 版本的代碼進(jìn)行分析。通過(guò)前兩篇對(duì)ThreadLocal的了解,我們已經(jīng)知道了Local對(duì)象的特點(diǎn)和使用方法。所以這里不再給出Local對(duì)象的使用例子,我們直接看代碼。

class Local(object): 
    __slots__ = ('__storage__', '__ident_func__') 
     
    def __init__(self): 
        object.__setattr__(self, '__storage__', {}) 
        object.__setattr__(self, '__ident_func__', get_ident) 
    ...

由于可能有大量的Local對(duì)象,為了節(jié)省Local對(duì)象占用的空間,這里使用 __slots__ 寫死了Local可以擁有的屬性:

  • __storage__: 值為一個(gè)字典,用來(lái)保存實(shí)際的數(shù)據(jù),初始化為空;

  • __ident_func__:值為一個(gè)函數(shù),用來(lái)找到當(dāng)前線程或者協(xié)程的標(biāo)志符。

由于Local對(duì)象實(shí)際的數(shù)據(jù)保存在__storage__中,所以對(duì)Local屬性的操作其實(shí)是對(duì)__storage__的操作。對(duì)于獲取屬性而言,這里用魔術(shù)方法__getattr__攔截__storage__ 和 __ident_func__以外的屬性獲取,將其導(dǎo)向__storage__存儲(chǔ)的當(dāng)前線程或協(xié)程的數(shù)據(jù)。而對(duì)于屬性值的set或者del,則分別用__setattr__和__setattr__來(lái)實(shí)現(xiàn)(這些魔術(shù)方法的介紹見(jiàn)屬性控制)。關(guān)鍵代碼如下所示:

def __getattr__(self, name): 
    try: 
        return self.__storage__[self.__ident_func__()][name] 
    except KeyError: 
        raise AttributeError(name) 
 
def __setattr__(self, name, value): 
    ident = self.__ident_func__() 
    storage = self.__storage__ 
    try: 
        storage[ident][name] = value 
    except KeyError: 
        storage[ident] = {name: value} 
 
def __delattr__(self, name): 
    try: 
        del self.__storage__[self.__ident_func__()][name] 
    except KeyError: 
        raise AttributeError(name)

假設(shè)我們有ID為1,2, ... , N 的N個(gè)線程或者協(xié)程,每個(gè)都用Local對(duì)象保存有自己的一些局部數(shù)據(jù),那么Local對(duì)象的內(nèi)容如下圖所示:

wKioL1ggibWREpC5AABOockvePs130.png-wh_651x-s_2458442003.png

此外,Local類還提供了__release_local__方法,用來(lái)釋放當(dāng)前線程或者協(xié)程保存的數(shù)據(jù)。

Local 擴(kuò)展接口

Werkzeug 在 Local 的基礎(chǔ)上實(shí)現(xiàn)了 LocalStack 和 LocalManager,用來(lái)提供更加友好的接口支持。

LocalStack

LocalStack通過(guò)封裝Local從而實(shí)現(xiàn)了一個(gè)線程(或者協(xié)程)獨(dú)立的棧結(jié)構(gòu),注釋里面有具體的使用方法,一個(gè)簡(jiǎn)單的使用例子如下:

ls = LocalStack() 
ls.push(12) 
print ls.top    # 12 
print ls._local.__storage__ 
# {140735190843392: {'stack': [12]}}

LocalStack 的實(shí)現(xiàn)比較有意思,它將一個(gè)Local對(duì)象作為自己的屬性_local,然后定義接口push, pop 和 top 方法進(jìn)行相應(yīng)的棧操作。這里用 _local.__storage__._local.__ident_func__() 這個(gè)list來(lái)模擬棧結(jié)構(gòu)。在接口push, pop和top中,通過(guò)操作這個(gè)list來(lái)模擬棧的操作,需要注意的是在接口函數(shù)內(nèi)部獲取這個(gè)list時(shí),不用像上面黑體那么復(fù)雜,可以直接用_local的getattr()方法即可。以 push 函數(shù)為例,實(shí)現(xiàn)如下:

def push(self, obj): 
    """Pushes a new item to the stack""" 
    rv = getattr(self._local, 'stack', None) 
    if rv is None: 
        self._local.stack = rv = [] 
    rv.append(obj) 
    return rv

pop 和 top 的實(shí)現(xiàn)和一般棧類似,都是對(duì) stack = getattr(self._local, 'stack', None) 這個(gè)列表進(jìn)行相應(yīng)的操作。此外,LocalStack還允許我們自定義__ident_func__,這里用 內(nèi)置函數(shù) property 生成了描述器,封裝了__ident_func__的get和set操作,提供了一個(gè)屬性值__ident_func__作為接口,具體代碼如下:

def _get__ident_func__(self): 
    return self._local.__ident_func__ 
 
def _set__ident_func__(self, value): 
    object.__setattr__(self._local, '__ident_func__', value) 
__ident_func__ = property(_get__ident_func__, _set__ident_func__) 
del _get__ident_func__, _set__ident_func__

LocalManager

Local 和 LocalStack 都是線程或者協(xié)程獨(dú)立的單個(gè)對(duì)象,很多時(shí)候我們需要一個(gè)線程或者協(xié)程獨(dú)立的容器,來(lái)組織多個(gè)Local或者LocalStack對(duì)象(就像我們用一個(gè)list來(lái)組織多個(gè)int或者string類型一樣)。

Werkzeug實(shí)現(xiàn)了LocalManager,它通過(guò)一個(gè)list類型的屬性locals來(lái)存儲(chǔ)所管理的Local或者LocalStack對(duì)象,還提供cleanup方法來(lái)釋放所有的Local對(duì)象。Werkzeug中LocalManager最主要的接口就是裝飾器方法make_middleware,代碼如下:

def make_middleware(self, app): 
    """Wrap a WSGI application so that cleaning up happens after 
    request end. 
    """ 
    def application(environ, start_response): 
        return ClosingIterator(app(environ, start_response), self.cleanup) 
    return application

這個(gè)裝飾器注冊(cè)了回調(diào)函數(shù)cleanup,當(dāng)一個(gè)線程(或者協(xié)程)處理完請(qǐng)求之后,就會(huì)調(diào)用cleanup清理它所管理的Local或者LocalStack 對(duì)象(ClosingIterator 的實(shí)現(xiàn)在 werkzeug.wsgi中)。下面是一個(gè)使用 LocalManager 的簡(jiǎn)單例子:

from werkzeug.local import Local, LocalManager 
 
local = Local() 
local_2 = Local() 
local_manager = LocalManager([local, local2]) 
 
def application(environ, start_response): 
    local.request = request = Request(environ) 
    ... 
 
# application 處理完畢后,會(huì)自動(dòng)清理local_manager 的內(nèi)容 
application = local_manager.make_middleware(application)

通過(guò)LocalManager的make_middleware我們可以在某個(gè)線程(協(xié)程)處理完一個(gè)請(qǐng)求后,清空所有的Local或者LocalStack對(duì)象,這樣這個(gè)線程又可以處理另一個(gè)請(qǐng)求了。至此,文章開(kāi)始時(shí)提到的第二個(gè)問(wèn)題就可以解決了。Werkzeug.local 里面還實(shí)現(xiàn)了一個(gè) LocalProxy 用來(lái)作為L(zhǎng)ocal對(duì)象的代理,也非常值得去學(xué)習(xí)。

通過(guò)這三篇文章,相信對(duì) ThreadLocal 有了一個(gè)初步的了解。Python標(biāo)準(zhǔn)庫(kù)和Werkzeug在實(shí)現(xiàn)中都用到了很多python的黑魔法,不過(guò)最終提供給用戶的都是非常友好的接口。Werkzeug作為WSGI 工具集,為了解決Web開(kāi)發(fā)中的特定使用問(wèn)題,提供了一個(gè)改進(jìn)版本,并且進(jìn)行了一系列封裝,便于使用。不得不說(shuō),werkzeug的代碼可讀性非常好,注釋也是寫的非常棒,建議去閱讀源碼。


Versionshinweise

Beliebte Eintr?ge