近期,筆者所在公司的某業(yè)務(wù)系統的存儲臨近極限,服務(wù)器馬上就要跑不動(dòng)了,由于該業(yè)務(wù)系統A包含多個(gè)子系統A1、A2、A3 ... An,這些子系統的中間存儲文件由于設計原因,都存儲在同一個(gè)父級目錄之內,唯一不同的是,不同子系統產(chǎn)生的文件和文件夾的名字都以該子系統名開(kāi)始。如A1子系統產(chǎn)生的文件命名方式均為A1xxxxxx, A2子系統產(chǎn)生的文件名均為A2xxxxx?,F在要刪除其中一些子系統的歷史文件,以釋放服務(wù)器空間,幾十T的數據,存放在一起,手動(dòng)刪除肯定不顯示,只能借助程序自動(dòng)化實(shí)現了,使用什么呢?自然想到了python。其實(shí)單純刪文件這一個(gè)需求我認為不值得長(cháng)篇闊論,但是其中遇到了一些特殊有趣的問(wèn)題和一些有意思的解決方案,所以想與諸位分享一下,比如windows系統下的超長(cháng)文件刪除, 如從閱讀官方英文文檔尋找解決方案等等,下面進(jìn)入正題。
使用python刪除文件有很多方式,最直接也是最方便的方式就是調用內建函數:
os.remove() 刪除文件os.rmdir() 刪除一個(gè)空文件夾shutil.rmtree() 刪除一個(gè)文件夾及該文件夾下所有內容(包括子目錄及文件)也就是,此問(wèn)題的的解決方案,核心就是圍繞上述三個(gè)函數打交道。轉到我們遇到的問(wèn)題,業(yè)務(wù)系統A包含多個(gè)子系統A1、A2、A3 ... An,這些子系統的中間存儲文件由于設計原因,都存儲在同一個(gè)父級目錄之內,唯一不同的是,不同子系統產(chǎn)生的文件和文件夾的名字都以該子系統名開(kāi)始。如A1子系統產(chǎn)生的文件命名方式均為A1xxxxxx, A2子系統產(chǎn)生的文件名均為A2xxxxx,現在的目的就是要在該刪除指定子系統所產(chǎn)生的文件,保留其他子系統的文件。
將需求拆解下,實(shí)際上就是解決下列4個(gè)問(wèn)題:1、怎么刪除一個(gè)文件?2、怎樣識別一個(gè)文件或文件夾是某個(gè)子系統產(chǎn)生的?3、如何判斷一個(gè)路徑是文件還是目錄?4、如何定位所有指定的子系統產(chǎn)生的文件和文件夾?
對于問(wèn)題1, 在本節開(kāi)始就闡述過(guò),使用 python 的內建函數進(jìn)行刪除即可:
os.remove("path") # 刪除指定文件
os.rmdir("path") # 刪除一個(gè)空文件夾
shutil.rmtree("path") # 刪除一個(gè)文件夾及該文件夾下所有內容(包括子目錄及文件)
對于問(wèn)題2,由于特定子系統產(chǎn)生的文件和文件夾的命名方式都是固定的模式,如A1子系統產(chǎn)生的文件名均為A1xxxxx,故可通過(guò)關(guān)鍵字匹配的方式進(jìn)行識別。一種可能的方式為:
if keywords in filepath: # 如果文件名包含關(guān)鍵字keywords
os.remove(filepath) # 刪除文件
else:
pass
對于問(wèn)題3,由于刪除目錄和刪除文件的方式不一致,故需要在刪除前判斷一個(gè)路徑是目錄還是文件,根據其類(lèi)型選擇合適的刪除方式,這個(gè)在 python 中可以使用 **os.path.isdir()**之類(lèi)的函數進(jìn)行判斷,主要是下列函數:
os.path.isdir("path") # 返回true則為目錄,false則為文件
os.path.isfile("path") # 返回true則為文件,false則為目錄
對于問(wèn)題4,如何定位所有要刪除的文件,這個(gè)問(wèn)題實(shí)際上就是一個(gè)指定目錄文件遍歷的問(wèn)題,即如何遍歷一個(gè)指定目錄的所有文件夾及文件。對于這個(gè)問(wèn)題,一般有兩種解決方案,一是深度優(yōu)先遍歷方式,一是廣度優(yōu)先遍歷方式,兩種方式在本例中效率是一致的,因為我們最終都要遍歷所有的文件。另外,幸運的是,python實(shí)在是過(guò)于強大,其內建的函數已經(jīng)幫助我們實(shí)現了一個(gè)廣度優(yōu)先目錄遍歷方法,及 os.walk("path") 方法,該方法就是遍歷 path 目錄下的所有文件及文件夾,一個(gè)典型的用法如下:
import os
path = "C:\\A\\"
for root, dirs, files in os.walk(path):
print(root)
print(dirs)
print(files)
上例中,root 代表當前遍歷到的路徑,dirs 表示當前路徑下所有的子目錄, files 表示當前路徑下的所有子文件。通過(guò)這種方式就能全部遍歷指定目錄了。
問(wèn)題都分解開(kāi)了,下面將問(wèn)題組合一下就完成代碼實(shí)現.
最終的代碼實(shí)現為:
import os
import shutil
path = "C:\\A\\"
keyword = "A1"
for root, dirs, files in os.walk(path):
for dir in dirs:
if keyword in dir:
rmpath = os.path.join(root, dir)
print("刪除文件夾: %s" % rmpath)
shutil.rmtree(rmpath)
for file in files:
if keyword in file:
rmpath = os.path.join(root, file)
print("刪除文件: %s" % rmpath)
os.remove(rmpath)
即通過(guò)廣度優(yōu)先方式(os.walk())遍歷指定目錄,逐個(gè)判斷該目錄下所有子目錄和文件是否滿(mǎn)足關(guān)鍵字條件,滿(mǎn)足就刪除。
運行效果為:

看似需求到此基本上就很好的解決了,但是實(shí)際測試中發(fā)現有的很深的目錄卻沒(méi)有刪除,刪除該目錄時(shí)報了一個(gè)錯,錯誤描述如下:
Unexpected error: (< type 'exceptions.WindowsError'>, WindowsError(3, 'The system cannot find the path specified'), < traceback object at 0x0000000002714F88>)
大致意思就是python找不到這個(gè)路徑,可是為什么呢?為此,我繼續進(jìn)行一番資料查詢(xún),后來(lái)大致定位了是由于文件路徑過(guò)長(cháng)導致的,是由于windows系統用戶(hù)態(tài)的默認路徑長(cháng)度不能超過(guò)256個(gè)字節導致的。但是官方說(shuō)256個(gè)字節是最長(cháng),但為何能創(chuàng )建超過(guò)256的呢,所以既然能創(chuàng )建,那就一定能刪除,但是需要一些方法,經(jīng)過(guò)一番學(xué)習,找到了好幾種方法,下面介紹其中一種最為實(shí)用的方法,另外幾個(gè)比如使用壓縮軟件壓縮后刪除(百度知道的結果)適合手動(dòng)但不適合編程解決。這個(gè)方法在下一節中繼續講述。
為解決windows下的長(cháng)文件刪除的問(wèn)題,最為權威的資料莫過(guò)于windows官方的描述,我閱讀了微軟關(guān)于文件名長(cháng)度的這一塊的定義及說(shuō)明,找到解決方案,微軟的原文如下:

關(guān)鍵意思如下:1、Windows API 提供的文件路徑理論上最長(cháng)是 32767 個(gè)字節,普通狀態(tài)下給用戶(hù)使用是不超過(guò)256個(gè)字符,說(shuō)是為了使用戶(hù)操作更加方便。這里不得不吐槽一下了,確實(shí)操作方便了,但是方便的同時(shí)也可能帶來(lái)不便,明明定義了32767這么長(cháng)的字節,只給用256,未免太摳搜了一點(diǎn)
2、用戶(hù)如果想要打破這個(gè)長(cháng)度限制,可以通過(guò)一個(gè)特殊方式告訴windows系統自己想要使用超長(cháng)文件,這個(gè)特殊的方式就是在絕對路徑前加上** "\?" **字符串。
3、這篇文檔后面還有描述在windows10以后如何通過(guò)注冊表的方式接觸文件名長(cháng)度限制,這里就沒(méi)有截圖了,因為不通用,win7怎么辦呢?有興趣的同學(xué)可以查看其原文鏈接閱讀:https://docs.microsoft.com/en-US/windows/win32/fileio/maximum-file-path-limitation?tabs=cmd
好了,看到這,解決方法呼之欲出,其實(shí)簡(jiǎn)單得不能太簡(jiǎn)單,直接在絕對路徑前加上一個(gè)"\?"即可:
# 獲取目標路徑的絕對路徑,并在路徑前加上\\?\,
# 以解除windows的文件長(cháng)度限制
path = '\\\\?\\' + os.path.abspath(path)
根據上一節,對python程序進(jìn)一步進(jìn)行改造,加入windows長(cháng)文件名限制解除,最后的完美刪除工具就成型了:
import os
import shutil
path = "C:\\A\\"
keyword = "A1"
# 獲取目標路徑的絕對路徑,并在路徑前加上\\?\,
# 以解除windows的文件長(cháng)度限制
path = '\\\\?\\' + os.path.abspath(path)
for root, dirs, files in os.walk(path):
for dir in dirs:
if keyword in dir:
rmpath = os.path.join(root, dir)
print("刪除文件夾: %s" % rmpath)
shutil.rmtree(rmpath)
for file in files:
if keyword in file:
rmpath = os.path.join(root, file)
print("刪除文件: %s" % rmpath)
os.remove(rmpath)
雖然代碼很短,只添加了一行,但是這一行,卻完成了一個(gè)超級核心的任務(wù),真可謂是靈魂一行啊,最后該工具中如在生產(chǎn)環(huán)境中發(fā)揮了其出色的作用,使服務(wù)器繼續運轉如飛了。
啰嗦的話(huà)就不多說(shuō)了,說(shuō)幾點(diǎn)思考
1、遇到問(wèn)題將問(wèn)題進(jìn)行分解,拆分成一個(gè)個(gè)小問(wèn)題逐步擊破
2、要善于閱讀官方技術(shù)文檔,有時(shí)候解決一個(gè)問(wèn)題的核心可能很簡(jiǎn)單,代碼可能也就一行兩行,但是就是藏在某個(gè)角落,不仔細去閱讀還真不一定找得出來(lái)
3、python是個(gè)好東西,要有將問(wèn)題轉化成使用python去解決的習慣,習慣成自然,python可能在工作中就發(fā)揮大作用了呢。
1、https://docs.microsoft.com/en-US/windows/win32/fileio/maximum-file-path-limitation?tabs=cmd2、https://stackoverflow.com/questions/6996603/how-to-delete-a-file-or-folder-in-python
------------------- End -------------------
聯(lián)系客服