現實(shí)世界中的數據通常質(zhì)量不高，作為一名數據科學(xué)家，有時(shí)也需要承擔一部分數據清洗的工作，這要求數據科學(xué)家們應該能夠在進(jìn)行數據分析或建模工作之前執行數據清洗步驟，從而確保數據的質(zhì)量最佳。
不過(guò)長(cháng)話(huà)短說(shuō)，在數據科學(xué)領(lǐng)域工作了很長(cháng)一段時(shí)間后，我切實(shí)感受到了在進(jìn)行數據分析、可視化和建模工作之前，進(jìn)行數據清洗工作是多么痛苦。
不管你承不承認，數據清洗著(zhù)實(shí)不是一件簡(jiǎn)單的任務(wù)，大多數情況下這項工作是十分耗時(shí)而乏味的，但它又是十分重要的。
如果你經(jīng)歷過(guò)數據清洗的過(guò)程，你就會(huì )明白我的意思。而這正是撰寫(xiě)這篇文章的目的——讓讀者更輕松地進(jìn)行數據清洗工作。
事實(shí)上，我在不久前意識到，在進(jìn)行數據清洗時(shí)，有一些數據具有相似的模式。也正是從那時(shí)起，我開(kāi)始整理并編譯了一些數據清洗代碼（見(jiàn)下文），我認為這些代碼也適用于其它的常見(jiàn)場(chǎng)景。
由于這些常見(jiàn)的場(chǎng)景涉及到不同類(lèi)型的數據集，因此本文更加側重于展示和解釋這些代碼可以用于完成哪些工作，以便讀者更加方便地使用它們。
我的數據清洗小工具箱
在下面的代碼片段中，數據清洗代碼被封裝在了一些函數中，代碼的目的十分直觀(guān)。你可以直接使用這些代碼，無(wú)需將它們嵌入到需要進(jìn)行少量參數修改的函數中。
1. 刪除多列數據
def drop_multiple_col(col_names_list, df):
'''
AIM -> Drop multiple columns based on their column names
INPUT -> List of column names, df
OUTPUT -> updated df with dropped columns
------
'''
df.drop(col_names_list, axis=1, inplace=True)
return df有時(shí)，并不是所有列的數據都對我們的數據分析工作有用。因此，「df.drop」可以方便地刪掉你選定的列。
2. 轉換 Dtypes
def change_dtypes(col_int, col_float, df):
'''
AIM -> Changing dtypes to save memory
INPUT -> List of column names (int, float), df
OUTPUT -> updated df with smaller memory
------
'''
df[col_int] = df[col_int].astype('int32')
df[col_float] = df[col_float].astype('float32')當我們面對更大的數據集時(shí)，我們需要對「dtypes」進(jìn)行轉換，從而節省內存。如果你有興趣學(xué)習如何使用「Pandas」來(lái)處理大數據，我強烈推薦你閱讀「Why and How to Use Pandas with Large Data」這篇文章（https://towardsdatascience.com/why-and-how-to-use-pandas-with-large-data-9594dda2ea4c）。
3. 將分類(lèi)變量轉換為數值變量
def convert_cat2num(df):
# Convert categorical variable to numerical variable
num_encode = {'col_1' : {'YES':1, 'NO':0},
'col_2' : {'WON':1, 'LOSE':0, 'DRAW':0}}
df.replace(num_encode, inplace=True) 有一些機器學(xué)習模型要求變量是以數值形式存在的。這時(shí)，我們就需要將分類(lèi)變量轉換成數值變量然后再將它們作為模型的輸入。對于數據可視化任務(wù)來(lái)說(shuō)，我建議大家保留分類(lèi)變量，從而讓可視化結果有更明確的解釋?zhuān)阌诶斫狻?/span>
4. 檢查缺失的數據
def check_missing_data(df):
# check for any missing data in the df (display in descending order)
return df.isnull().sum().sort_values(ascending=False)如果你想要檢查每一列中有多少缺失的數據，這可能是最快的方法。這種方法可以讓你更清楚地知道哪些列有更多的缺失數據，幫助你決定接下來(lái)在數據清洗和數據分析工作中應該采取怎樣的行動(dòng)。
5. 刪除列中的字符串
def remove_col_str(df):
# remove a portion of string in a dataframe column - col_1
df['col_1'].replace('\n', '', regex=True, inplace=True)
# remove all the characters after &# (including &#) for column - col_1
df['col_1'].replace(' &#.*', '', regex=True, inplace=True)有時(shí)你可能會(huì )看到一行新的字符，或在字符串列中看到一些奇怪的符號。你可以很容易地使用 df['col_1'].replace 來(lái)處理該問(wèn)題，其中「col_1」是數據幀 df 中的一列。
6. 刪除列中的空格
def remove_col_white_space(df):
# remove white space at the beginning of string
df[col] = df[col].str.lstrip()當數據十分混亂時(shí)，很多意想不到的情況都會(huì )發(fā)生。在字符串的開(kāi)頭有一些空格是很常見(jiàn)的。因此，當你想要刪除列中字符串開(kāi)頭的空格時(shí)，這種方法很實(shí)用。
7. 將兩列字符串數據（在一定條件下）拼接起來(lái)
def concat_col_str_condition(df):
# concat 2 columns with strings if the last 3 letters of the first column are 'pil'
mask = df['col_1'].str.endswith('pil', na=False)
col_new = df[mask]['col_1'] + df[mask]['col_2']
col_new.replace('pil', ' ', regex=True, inplace=True) # replace the 'pil' with emtpy space當你希望在一定條件下將兩列字符串數據組合在一起時(shí)，這種方法很有用。例如，你希望當第一列以某些特定的字母結尾時(shí)，將第一列和第二列數據拼接在一起。根據你的需要，還可以在拼接工作完成后將結尾的字母刪除掉。
8. 轉換時(shí)間戳（從字符串類(lèi)型轉換為日期「DateTime」格式）
def convert_str_datetime(df):
'''
AIM -> Convert datetime(String) to datetime(format we want)
INPUT -> df
OUTPUT -> updated df with new datetime format
------
'''
df.insert(loc=2, column='timestamp', value=pd.to_datetime(df.transdate, format='%Y-%m-%d %H:%M:%S.%f'))在處理時(shí)間序列數據時(shí)，你可能會(huì )遇到字符串格式的時(shí)間戳列。這意味著(zhù)我們可能不得不將字符串格式的數據轉換為根據我們的需求指定的日期「datetime」格式，以便使用這些數據進(jìn)行有意義的分析和展示。
聯(lián)系客服
