abstract：文本：每行在promotion后面包含一些數(shù)字，如果這些數(shù)字是相同的，則認(rèn)為是相同的行，對(duì)于相同的行，只保留一行。思路：根據(jù)字典和字符串切割。建立一個(gè)空字典。讀入文本，并對(duì)每行切割前半部分，在讀入文本的過(guò)程中循環(huán)在這個(gè)字典中查找，如果沒(méi)找到，則寫(xiě)入該行到字典。否則，則表示該行已經(jīng)被寫(xiě)入過(guò)字典了（即出現(xiàn)重復(fù)的行了），不再寫(xiě)入字典，這就實(shí)現(xiàn)了對(duì)于重復(fù)的行只保留一行的目的。文本如下:/promotion

文本：

每行在promotion后面包含一些數(shù)字，如果這些數(shù)字是相同的，則認(rèn)為是相同的行，對(duì)于相同的行，只保留一行。

思路：

根據(jù)字典和字符串切割。

建立一個(gè)空字典。

讀入文本，并對(duì)每行切割前半部分，在讀入文本的過(guò)程中循環(huán)在這個(gè)字典中查找，如果沒(méi)找到，則寫(xiě)入該行到字典。否則，則表示該行已經(jīng)被寫(xiě)入過(guò)字典了（即出現(xiàn)重復(fù)的行了），不再寫(xiě)入字典，這就實(shí)現(xiàn)了對(duì)于重復(fù)的行只保留一行的目的。

文本如下:

/promotion/232 utm_source
/promotion/237 LandingPage/borrowExtend/? ;
/promotion/25113 LandingPage/mhd
/promotion/25113 LandingPage/mhd
/promotion/25199 com/LandingPage
/promotion/254 LandingPage/mhd/mhd4/? ;
/promotion/259 LandingPage/ydy/? ;
/promotion/25113 LandingPage/mhd
/promotion/25199 com/LandingPage
/promotion/25199 com/LandingPage

程序如下:

line_dict_uniq = dict()
with open('1.txt','r') as fd:
for line in fd:
key = line.split(' ')[0]
if key not in line_dict_uniq.values():
line_dict_uniq[key] = line
else:
continue
print line_dict_uniq
print len(line_dict_uniq)
# 這里是打印了不重復(fù)的行（重復(fù)的只打印一次），實(shí)際再把這個(gè)結(jié)果寫(xiě)入文件就可以了，
# 就不寫(xiě)這段寫(xiě)入文件的代碼了

上面這個(gè)程序執(zhí)行效率比較低，改成如下會(huì)提高一些:

line_dict_uniq = dict()
with open('1.txt','r') as fd:
for line in fd:
key = line.split(' ')[0]
if key not in line_dict_uniq.keys():
line_dict_uniq[key] = line
else:
continue
print line_dict_uniq
print len(line_dict_uniq)

更多關(guān)于Python做文本按行去重的實(shí)現(xiàn)方法請(qǐng)關(guān)注PHP中文網(wǎng)（ipnx.cn）其他文章！