最近看了很多的關(guān)于因子分析的資料，整理出這篇理論+實(shí)戰文章分享給大家。
后續會(huì )出一篇PCA主成分分析的文章，將主成分分析和因子分析兩種降維的方法進(jìn)行對比。
作為多元統計分析里的降維方法之一，因子分析可以應用于多個(gè)場(chǎng)景，如調研、數據建模等場(chǎng)景之中。
因子分析的起源是這樣的：1904年英國的一個(gè)心理學(xué)家發(fā)現學(xué)生的英語(yǔ)、法語(yǔ)和古典語(yǔ)成績(jì)非常有相關(guān)性，他認為這三門(mén)課程背后有一個(gè)共同的因素驅動(dòng)，最后將這個(gè)因素定義為“語(yǔ)言能力”。
基于這個(gè)想法，發(fā)現很多相關(guān)性很高的因素背后有共同的因子驅動(dòng)，從而定義了因子分析，這便是因子分析的由來(lái)。
我們再通過(guò)一個(gè)更加實(shí)際的例子來(lái)理解因子分析的基本思想：
現在假設一個(gè)同學(xué)的數學(xué)、物理、化學(xué)、生物都考了滿(mǎn)分，那么我們可以認為這個(gè)學(xué)生的理性思維比較強，在這里理性思維就是我們所說(shuō)的一個(gè)因子。在這個(gè)因子的作用下，偏理科的成績(jì)才會(huì )那么高。
到底什么是因子分析？就是假設現有全部自變量x的出現是因為某個(gè)潛在變量的作用，這個(gè)潛在的變量就是我們說(shuō)的因子。在這個(gè)因子的作用下，x能夠被觀(guān)察到。
因子分析就是將存在某些相關(guān)性的變量提煉為較少的幾個(gè)因子，用這幾個(gè)因子去表示原本的變量，也可以根據因子對變量進(jìn)行分類(lèi)。
因子分子本質(zhì)上也是降維的過(guò)程，和主成分分析（PCA）算法比較類(lèi)似。
因子分析又分為兩種：
假設有p個(gè)原始的變量，它們之間可能獨立也可能相關(guān)。將標準化后得到新的變量，我們可以建立如下的因子分析模型：
其中，我們可以定義以下幾個(gè)術(shù)語(yǔ)：公共因子、特殊因子、載荷因子、載荷矩陣
1、第一點(diǎn)：出現在每個(gè)變量的式子中且m<p，稱(chēng)之為公共因子
2、第二點(diǎn)：僅僅與變量相關(guān)，稱(chēng)之為特殊因子
3、第三點(diǎn)：系數稱(chēng)之為載荷因子
4、第四點(diǎn)：稱(chēng)之為載荷矩陣
上面的式子可以表示為：
同時(shí)也就滿(mǎn)足：
我們通常需要對上述模型的進(jìn)行假設：
1.各個(gè)特殊因子以及特殊因子和公共因子之間相互獨立，即滿(mǎn)足：
2、各公共因子都是均值為0、方差為1的獨立正態(tài)隨機變量，其協(xié)方差矩陣為單位矩陣，即
3、m個(gè)公共因子對第i個(gè)變量方差的貢獻稱(chēng)之為第i貢獻度，記為
4、特殊因子的方差稱(chēng)之為特殊方差或者特殊值（）
5、第i個(gè)變量的方差分解為：
具體的模型推導過(guò)程：https://blog.csdn.net/qq_29831163/article/details/88901245
關(guān)于因子載荷矩陣的幾個(gè)重要性質(zhì)：
1、因子載荷是第i個(gè)變量與第j個(gè)公共因子的相關(guān)系數，反映的是第i個(gè)變量和第j個(gè)公共因子之間的重要性。絕對值越大，表示相關(guān)性的密切程度越高。
2、貢獻度的統計意義
說(shuō)明：變量的貢獻度就是因子載荷矩陣的第i行的元素的平方和
上式兩邊同時(shí)求方差：
也就是：
可以看出來(lái)：公共因子和特殊因子對變量的貢獻度之和為1。如果非常接近1，則非常小，則因子分析的效果非常好。
3、公共因子方差貢獻的統計意義
因子載荷矩陣中各列元素的平方和 成為對所有的的方差貢獻和，衡量的相對重要性。
應用因子分析法的主要步驟如下：
利用Python進(jìn)行因子分析的核心庫是：factor_analyzer
pip install factor_analyzer
這個(gè)庫主要有兩個(gè)主要的模塊需要學(xué)習：
官網(wǎng)學(xué)習地址：https://factor-analyzer.readthedocs.io/en/latest/factor_analyzer.html
下面通過(guò)一個(gè)案例來(lái)講解如何進(jìn)行因子分析。
本文中使用的數據是公開(kāi)的數據集，下面是數據的介紹和下載地址：
這個(gè)數據集收集了2800個(gè)人關(guān)于人格的25個(gè)問(wèn)題。同時(shí)這些數據和隱藏的5個(gè)特征相關(guān)，
Big Five Model is widely used nowadays, the five factors include: neuroticism，extraversion，openness to experience，agreeableness and conscientiousness.
4.2特征關(guān)系
特征之間的對應關(guān)系為：
事先我們并不知道這些隱形變量的對應關(guān)系，所以想要通過(guò)因子分析來(lái)找到25個(gè)變量后面的隱藏變量。下面開(kāi)始進(jìn)行因子分析的實(shí)戰過(guò)程：
導入數據處理和分析所需要的庫：
# 數據處理
import pandas as pd
import numpy as np
# 繪圖
import seaborn as sns
import matplotlib.pyplot as plt
# 因子分析
from factor_analyzer import FactorAnalyzer
首先我們先導進(jìn)數據：總共是2800條數據，28個(gè)特征屬性
df = pd.read_csv('bfi.csv', index_col=0).reset_index(drop=True)
df
查看下數據的缺失值情況：大部分的字段都是存在缺失值的
數據預處理包含去除3個(gè)無(wú)效的字段（對分析沒(méi)有任何作用：age、gender、education），同時(shí)去掉存在空值的數據：
# 去掉無(wú)效字段
df.drop(['gender','education','age'],axis=1,inplace=True)
# 去掉空值
df.dropna(inplace=True)
在進(jìn)行因子分析之前，需要先進(jìn)行充分性檢測，主要是檢驗相關(guān)特征陣中各個(gè)變量間的相關(guān)性，是否為單位矩陣，也就是檢驗各個(gè)變量是否各自獨立。通常是兩種方法：
檢驗總體變量的相關(guān)矩陣是否是單位陣（相關(guān)系數矩陣對角線(xiàn)的所有元素均為1,所有非對角線(xiàn)上的元素均為零）；即檢驗各個(gè)變量是否各自獨立。
如果不是單位矩陣，說(shuō)明原變量之間存在相關(guān)性，可以進(jìn)行因子分子；反之，原變量之間不存在相關(guān)性，數據不適合進(jìn)行主成分分析
from factor_analyzer.factor_analyzer import calculate_bartlett_sphericity
chi_square_value, p_value = calculate_bartlett_sphericity(df)
chi_square_value, p_value
# 結果
(18170.96635086924, 0.0)
我們發(fā)現統計量p-value的值為0，表明變量的相關(guān)矩陣不是單位矩陣，即各個(gè)變量之間是存在一定的相關(guān)性，我們就可以進(jìn)行因子分析。
檢查變量間的相關(guān)性和偏相關(guān)性，取值在0-1之間；KOM統計量越接近1，變量間的相關(guān)性越強，偏相關(guān)性越弱，因子分析的效果越好。
Kaiser-Meyer-Olkin (KMO) Test measures the suitability of data for factor analysis. It determines the adequacy for each observed variable and for the complete model.
KMO estimates the proportion of variance among all the observed variable. Lower proportion id more suitable for factor analysis. KMO values range between 0 and 1. Value of KMO less than 0.6 is considered inadequate.
通常取值從0.6開(kāi)始進(jìn)行因子分析
from factor_analyzer.factor_analyzer import calculate_kmo
kmo_all,kmo_model=calculate_kmo(df)
kmo_all
KMO大于0.6，也說(shuō)明變量之間存在相關(guān)性，可以進(jìn)行分析。
在數據說(shuō)明中，我們已經(jīng)知道了這些變量是和5個(gè)隱藏的因子相關(guān)。但是很多情況下，我們并不知道這個(gè)個(gè)數，需要自己進(jìn)行探索。
方法：計算相關(guān)矩陣的特征值，進(jìn)行降序排列
faa = FactorAnalyzer(25,rotation=None)
faa.fit(df)
# 得到特征值ev、特征向量v
ev,v=faa.get_eigenvalues()
我們將特征值和因子個(gè)數的變化繪制成圖形：
# 同樣的數據繪制散點(diǎn)圖和折線(xiàn)圖
plt.scatter(range(1, df.shape[1] + 1), ev)
plt.plot(range(1, df.shape[1] + 1), ev)
# 顯示圖的標題和xy軸的名字
# 最好使用英文，中文可能亂碼
plt.title('Scree Plot')
plt.xlabel('Factors')
plt.ylabel('Eigenvalue')
plt.grid() # 顯示網(wǎng)格
plt.show() # 顯示圖形
從上面的圖形中，我們明確地看到：選擇5個(gè)因子是最合適的
我們選擇5個(gè)因子來(lái)進(jìn)行因子分子的建模過(guò)程，同時(shí)指定矩陣旋轉方式為：方差最大化
ratation參數的其他取值情況：
上面執行fit建模后，我們查看每個(gè)因子的方差，使用方法：get_communalities()
查看變量的特征值：
現在有25個(gè)變量，5個(gè)隱藏變量（因子），查看它們構成的成分矩陣：
如果轉成DataFrame格式，index就是我們的25個(gè)變量，columns就是指定的5個(gè)因子factor。轉成DataFrame格式后的數據：
通過(guò)理論部分的解釋?zhuān)覀儼l(fā)現每個(gè)因子都對變量有一定的貢獻，存在某個(gè)貢獻度的值，在這里查看3個(gè)和貢獻度相關(guān)的指標：
為了更直觀(guān)地觀(guān)察每個(gè)隱藏變量和哪些特征的關(guān)系比較大，進(jìn)行可視化展示，為了方便取上面相關(guān)系數的絕對值：
然后我們通過(guò)熱力圖將系數矩陣繪制出來(lái)：
# 繪圖
plt.figure(figsize = (14,14))
ax = sns.heatmap(df1, annot=True, cmap='BuPu')
# 設置y軸字體大小
ax.yaxis.set_tick_params(labelsize=15)
plt.title('Factor Analysis', fontsize='xx-large')
# 設置y軸標簽
plt.ylabel('Sepal Width', fontsize='xx-large')
# 顯示圖片
plt.show()
# 保存圖片
# plt.savefig('factorAnalysis', dpi=500)
上面我們已經(jīng)知道了5個(gè)因子比較合適，可以將原始數據轉成5個(gè)新的特征，具體轉換方式為：
轉成DataFrame格式后數據展示效果更好：仍然是2436條數據，5個(gè)特征（新特征）
至此，我們完成了如下的工作：
1、Factor Analysis：https://www.datasklr.com/principal-component-analysis-and-factor-analysis/factor-analysis
2、多因子分析：https://mathpretty.com/10994.html
3、factor_analyzer package的官網(wǎng)使用手冊：https://factor-analyzer.readthedocs.io/en/latest/factor_analyzer.html
4、淺談主成分分析和因子分析：https://zhuanlan.zhihu.com/p/37755749
尤而小屋，一個(gè)溫馨的小屋。小屋主人，一手代碼謀求生存，一手掌勺享受生活，歡迎你的光臨
秋招資料領(lǐng)??！
給大家分享一份數據分析筆試面試題集合，祝各位還在秋招的小伙伴早日拿下BAT offer。
當然也歡迎各位小伙伴進(jìn)入筆試題，第一時(shí)間查收數據分析相關(guān)資料！
聯(lián)系客服
