Python 數(shù)據(jù)分析與挖掘（數(shù)據(jù)探索）

數(shù)據(jù)探索

1.1 需要掌握的工具（庫）

1.1.1 Nump庫

1. Numpy 提供多維數(shù)組對象和各種派生對象（類矩陣），利用應用程序接口可以實現(xiàn)大量且繁瑣的數(shù)據(jù)運算?？梢詷?gòu)建多維數(shù)組；提供含有大量對數(shù)組數(shù)據(jù)進行快速運算的數(shù)學函數(shù)；提供線性代數(shù)運算函數(shù)；提供隨機數(shù)生成等功能；提供統(tǒng)計計算功能。
2. ndarray多維數(shù)組
   創(chuàng)建ndarray數(shù)組
   使用numpy的array（）函數(shù)創(chuàng)建
   語法：numpy.array(object,dtype)
   作用：返回滿足要求的數(shù)組對象。
   說明：
   object：指定生成數(shù)組的數(shù)據(jù)序列，可以是列表、元組。
   dtype： 數(shù)據(jù)類型，指定數(shù)據(jù)元素的數(shù)據(jù)類型 。

1.1.2 Pandas庫

1. pandas 提供類似sql的操作（表類似類矩陣），比如增刪改查，可以靈活處理缺失值，提供高性能的矩陣運算。
2. Pandas 來源于pandas庫中的三種主要數(shù)據(jù)結(jié)構(gòu)： Panel， DataFrame, Series。
   （1）Series，帶標簽的一維數(shù)組；
   Series 是一個一維的帶有標簽的數(shù)組，這個數(shù)據(jù)可以由任何類型數(shù)據(jù)構(gòu)成，包括整型、浮點、字符、Python 對象等。軸標簽被稱為「索引」，是 Pandas 最基礎(chǔ)的數(shù)據(jù)結(jié)構(gòu)。
   基本創(chuàng)建方式如下：
   s = pd.Series(data, index=index)
   其中：
   data 可以是 python 對象、numpy 的 ndarray 、一個標量（定值，如 8）
   index 索引是軸上的一個列表，必須和 data 的長度相同，如果沒有指定則自動從 0 開始，[0, …, len(data) - 1]
   （2）DataFrame，帶標簽且大小可變的二維表格結(jié)構(gòu)；
   DataFrame 是 Pandas 定義的一個二維數(shù)據(jù)結(jié)構(gòu)。橫向的稱作行（row），一行縱向的稱作列（column）。
   第一行是表頭，或者可叫字段名，類型 Python 字典里的 key，代碼數(shù)據(jù)的屬性。
   第一列是索引（index），就是這行數(shù)據(jù)所描述的主體，也是這條數(shù)據(jù)的關(guān)鍵，
   表頭和索引在一些場景下也有稱列索引和行索引。
   df.loc[ ]只能使用標簽索引，不能使用整數(shù)索引，通過便簽索引切邊進行篩選時，前閉后閉。
   df.iloc[]只能使用整數(shù)索引，不能使用標簽索引，通過整數(shù)索引切邊進行篩選時，前閉后開。
   （3）Panel，帶標簽且大小可變的三維數(shù)組。
   Pandas 官方中文文檔 https://www.pypandas.cn
   蓋若 https://www.gairuo.com/p/pandas
   

1.1.3 Matplotlib庫（實現(xiàn)可視化）

1. 創(chuàng)建畫布與創(chuàng)建子圖
   構(gòu)建出一張空白的畫布,并可以選擇是否將整個畫布劃分為多個部分，以便于在同一幅圖上繪制多個圖形
   當只需要繪制一幅簡單圖形時，創(chuàng)建子圖這部分內(nèi)容可以省略。
   在pyplot模塊中創(chuàng)建畫布，創(chuàng)建并選中子圖的函數(shù)如表所示。
   
2. 添加畫布內(nèi)容
   添加畫布內(nèi)容是繪圖的主體部分，其中添加標題、坐標軸名稱、繪制圖形等步驟是并列的，沒有先后順序，讀者可以先繪制圖形，也可以先添加各類標簽。圖例只有在繪制圖形之后才可進行添加。
3. 在pyplot模塊中添加各類標簽和圖例的函數(shù)如表所示。
   

1.2 數(shù)據(jù)校驗

數(shù)據(jù)校驗可以檢查出原始數(shù)據(jù)中是否存在噪聲數(shù)據(jù)，從而對出現(xiàn)的噪聲數(shù)據(jù)采取相應的解決措施。
噪聲數(shù)據(jù)是指數(shù)據(jù)中存在著錯誤或異常，偏離期望值的數(shù)據(jù)。
數(shù)據(jù)校驗類型包括：一致性檢驗、缺失值校驗、異常值校驗。

1.2.1 一致性校驗

（1）時間校驗
范圍不一致，統(tǒng)計區(qū)間不同
粒度不一致，采集頻率不同
格式不一致，大多來自不同系統(tǒng)
（2）字段信息校驗
收集收集過程中，出現(xiàn)重復收集數(shù)據(jù)或重復寫入數(shù)據(jù)，導致數(shù)據(jù)冗余。
由于存在重復值，可能存在以下3種情況
同名異義：名稱相同，含義不一致
異名同義：名稱不同，代表的含義一樣
單位不一致：如A系統(tǒng)的單位元，B系統(tǒng)萬元

1.2.2 缺失值

（1）簡單統(tǒng)計分析
統(tǒng)計缺失值的屬性個數(shù)以及每個屬性的未缺失數(shù)、缺失數(shù)、缺失率
panadas 函數(shù)：info、describe、isnull().sum()、isnull().any（）
（2）缺失值處理
刪除、插補、不處理

1.2.2 異常值校驗

1. （1）目的：是檢驗數(shù)據(jù)是否有錄入錯誤以及含有不合常理的數(shù)據(jù)。
   （2）概念：異常值是指樣本中的個別值，其數(shù)值明顯偏離其余的觀測值。異常值也稱為離群點，異常值的分析也稱為離群點的分析。
   （3）異常值分析方法主要有：簡單統(tǒng)計量分析、3σ原則、箱型圖分析。
2. 如果數(shù)據(jù)服從正態(tài)分布，在3σ原則下，異常值被定義為一組測定值中與平均值的偏差超過三倍標準差的值。在正態(tài)分布的假設(shè)下，距離平均值 3σ之外的值出現(xiàn)的概率為P(|x-μ|>3σ) ≦0.003，屬于極個別的小概率事件。
   
3. （1）不需要事先假定數(shù)據(jù)服從特定分布形式，沒有對數(shù)據(jù)作限制性要求。
   （2）箱形圖判斷異常值的標準以四分位數(shù)和四分位距為基礎(chǔ)
   （3）四分位數(shù)具有一定的魯棒性：多達25%的數(shù)據(jù)可以變得任意遠而不會很大地擾動四分位數(shù)，所以異常值不能對這個標準施加影響。
   （4）箱形圖識別異常值的結(jié)果比較客觀，有一定優(yōu)越性。
   
   四分位數(shù)（Quantile）：把數(shù)據(jù)分布劃分成4個相等的部分，使得每部分表示數(shù)據(jù)分布的四分之一。這3個數(shù)據(jù)點稱為四分位數(shù)
   
   四分位的計算方式有（n+1)* p，1+（n-1) * p
   兩種方式，p分別為0.25，0.5，0.75
   QL=1+(n-1)/4
   QU=1+3*(n-1)/4

1.3 特征分析

1.3.1分布分析

分布分析能揭示數(shù)據(jù)的分布特征和分布類型，便于發(fā)現(xiàn)某些特大或特小的可疑值。
（1）對于定量數(shù)據(jù)，欲了解其分布形式，是對稱的、還是非對稱的，可做出頻率分布表、繪制頻率分布直方圖、繪制莖葉圖進行直觀地分析；直方圖有利于分析數(shù)據(jù)的整體分布情況
（2）對于定性分類數(shù)據(jù)，可用餅圖和條形圖直觀地顯示數(shù)據(jù)分布情況。
（3）對于定量變量而言，做頻率分布分析時選擇“組數(shù)”是主要的問題，一般按照以下步驟：
求極差（最大值-最小值）
決定組距與組數(shù)，組距=極差/組數(shù)
決定分布區(qū)間
列出頻率分布表
繪制頻率分布直方圖
直方圖繪制：（常用結(jié)構(gòu)）
plt.hist（數(shù)據(jù)，bins=分箱數(shù),density=密度或頻數(shù)，布爾）
plt.xlabel(‘XXX’,fontsize=15) #x軸標簽，字體
plt.ylabel(‘XXX’,fontsize=15,color=‘r’)
plt.title(‘XXX’,fontsize=15)#標題字體
plt.xticks(fontsize=15) #x刻度

g=df.列名.plot.hist(bins=8,grid=True,fontsize=15)
g.set_xlabel(‘XXX’,fontsize=15)
g.set_ylabel(‘XXX’,fontsize=15)
g.set_title(‘XXX’,fontsize=15)
（4）對于定性變量，常常根據(jù)變量的分類類型來分組，可以采用餅圖和條形圖來描述定性變量的分布。
（5）餅圖的每一個扇形部分代表每一類型的百分比或頻數(shù)，根據(jù)定性變量的類型數(shù)目將餅圖分成幾個部分，每一部分的大小與每一類型的頻數(shù)成正比；條形圖的高度代表每一類型的百分比或頻數(shù)，條形圖的寬度沒有意義。

1.3.2 對比分析

（1）對比分析是指把兩個相互聯(lián)系的指標數(shù)據(jù)進行比較，從數(shù)量上展示和說明研究對象規(guī)模的大小，水平的高低，速度的快慢，以及各種關(guān)系是否協(xié)調(diào)。
對比分析主要有以下兩種形式：
第一種:絕對數(shù)比較（利用絕對數(shù)進行對比）
第二種:相對數(shù)比較
由兩個有聯(lián)系的指標對比計算的，用以反映客觀現(xiàn)象之間數(shù)量聯(lián)系程度的綜合指標，其數(shù)值表現(xiàn)為相對數(shù)。
1)結(jié)構(gòu)相對數(shù) 4)強度相對數(shù)
2)比例相對數(shù) 5)計劃完成程度相對數(shù)
3)比較相對數(shù) 6)動態(tài)相對數(shù)

1.3.3統(tǒng)計量分析

(1) 用統(tǒng)計指標對定量數(shù)據(jù)進行統(tǒng)計描述，常從集中趨勢和離中趨勢兩個方面進行分析。
(2)平均水平的指標是對個體集中趨勢的度量，使用最廣泛的是均值和中位數(shù)；反映變異程度的指標則是對個體離開平均水平的度量，使用較廣泛是標準差（方差）、四分位間距。
集中趨勢度量主要有：均值、中位數(shù)、眾數(shù)、中列數(shù)。
離中趨勢度量主要有：極差、標準差、方差。



（3）極差： 等于最大值-最小值
標準差：標準差也被稱為標準偏差，在概率統(tǒng)計中最常使用作為統(tǒng)計分布程度上的測量依據(jù)。標準差是方差的算術(shù)平方根。標準差可度量數(shù)據(jù)偏離均值的程度。d.std()

（4）方差：d.var()

(5)變異系數(shù)：又稱離散系數(shù)。度量標準差相對于均值的離中趨勢。
計算公式變異系數(shù)=標準差÷均值*100%
主要用來比較2個或多個不同單位或不同波動幅度的數(shù)據(jù)集的離中趨勢。

1.3.4 周期性分析

(1)周期性分析是探索某個變量是否隨著時間變化而呈現(xiàn)出某種周期變化趨勢。
(2)周期性趨勢相對較長的有年度周期性趨勢、季節(jié)性周期趨勢，相對較短的一般有月度周期性趨勢、周度周期性趨勢，甚至更短的天、小時周期性趨勢。
(3)以某景區(qū)2019年3月份人流量為例，根據(jù)人流量數(shù)據(jù)，制時序圖，并分析景區(qū)人流量的變化趨勢。

1.3.5貢獻度分析

(1) 貢獻度分析又稱帕累托分析，帕累托法則又稱20/80定律。同樣的投入放在不同的地方會產(chǎn)生不同的效益。
(2)比如對一個公司來講，80%的利潤常常來自于20%最暢銷的產(chǎn)品；而其他80%的產(chǎn)品只產(chǎn)生了20%的利潤。
(3)貢獻度分析要求我們抓住問題的重點，找到那最有效的20%的熱銷產(chǎn)品、渠道或者銷售人員，在最有效的20%上投入更多資源，盡量減少浪費在80%低效的地方。

1.3.6相關(guān)性分析

（1）研究變量之間的關(guān)系：了解不同變量之間的相關(guān)性強弱和方向。
（2）預測模型建立：在構(gòu)建預測模型之前，相關(guān)性分析可以幫助篩選出對預測目標具有重要影響的變量，從而提高模型的準確性和可解釋性。
探索數(shù)據(jù)集特征：通過分析變量之間的相關(guān)性，可以揭示出可能存在的潛在關(guān)聯(lián)。
（3）排除冗余變量：在某些情況下，數(shù)據(jù)集中可能存在冗余變量，即變量之間存在高度相關(guān)性。通過相關(guān)性分析，可以鑒別出冗余變量，從而在建?；蚍治鲞^程中減少冗余信息，提高效率。
（4）分析連續(xù)變量之間線性的相關(guān)程度的強弱，并用適當?shù)慕y(tǒng)計指標表示出來的過程稱為相關(guān)分析。
（5）相關(guān)性不等于因果性，也不是簡單的個性化，相關(guān)性在不同的學科里面的定義也有很大的差異。
（6）相關(guān)性分析方法主要有：
直接繪制散點圖
繪制散點圖矩陣
計算相關(guān)系數(shù)
（7）函數(shù)關(guān)系（一一對應關(guān)系）
設(shè)有兩個變量 x 和 y ，變量 y 隨變量 x 一起變化，并完全依賴于 x ，當變量 x 取某個數(shù)值時， y 依確定的關(guān)系取相應的值，則稱 y 是 x 的函數(shù)，記為 y = f (x)，其中 x 稱為自變量，y 稱為因變量
某種商品的銷售額(y)與銷售量(x)之間的關(guān)系可表示為 y = p x (p 為單價)
（8）相關(guān)性
線性相關(guān)——散點圖接近一條直線
非線性相關(guān)——散點圖接近一條曲線
正相關(guān)——變量同方向變化，同增同減
負相關(guān)——變量反方向變化 ， 一增一減
（9）
為了更加準確的描述變量之間的線性相關(guān)程度，可以通過計算相關(guān)系數(shù)來進行相關(guān)分析。在二元變量的相關(guān)分析過程中比較常用
Pearson相關(guān)系數(shù)（皮爾森）
Spearman秩相關(guān)系數(shù)（斯皮爾曼）
判定系數(shù)（相關(guān)系數(shù)的平方）
（10） 需要同時考察多個變量間的相關(guān)關(guān)系時，若一一繪制它們間的簡單散點圖，十分麻煩。此時可利用散點圖矩陣來同時繪制各自變量間的散點圖，這樣可以快速發(fā)現(xiàn)多個變量間的主要相關(guān)性，這一點在進行多元線性回歸時顯得尤為重要。
import numpy as np,pandas as pd
v1 = np.random.normal(0, 1, 100)
v2 = np.random.randint(0, 23, 100)
v3 = v1 * v2
df = pd.DataFrame([v1, v2, v3]).T
pd.plotting.scatter_matrix(df)
plt.show()

數(shù)據(jù)探索實驗一

實驗1 數(shù)據(jù)特征分析

一、實驗課時
4課時 驗證性
二、實驗目的
1、根據(jù)提供的數(shù)據(jù)，對航空公司1949-1960年乘客人數(shù)做簡單的描述性分析。
2、掌握頻數(shù)分布、集中和離散趨勢、偏度和峰度、基本統(tǒng)計圖表。
三、實驗內(nèi)容
1、根據(jù)數(shù)據(jù)集找出這12年來客運人數(shù)的趨勢
2、找出乘客人數(shù)的季節(jié)趨勢
3、對乘客人數(shù)做簡單的描述性分析。
四、實驗流程
1、讀取“base.xlsx”excel數(shù)據(jù)，查看數(shù)據(jù)信息
使用Pandas對數(shù)據(jù)excel數(shù)據(jù)進行獲取，并能夠查看完整的數(shù)據(jù)。
問題：對獲取到的數(shù)據(jù)進行一個簡單的描述。
2、數(shù)據(jù)異常值檢測1（describe方法）。
3、數(shù)據(jù)異常值檢測2（箱型圖），只顯示12個月數(shù)據(jù)，并簡單說明分析結(jié)果。
4、整理數(shù)據(jù)
將year作為行索引。
5、乘客數(shù)量對比分析
（1）繪制頻數(shù)分布直方圖，查看其中規(guī)律。
①按年份進行求和
②按月份進行求和
③使用matplotlib中的條形圖對比每年乘客數(shù)量，并對分布結(jié)果進行分析。
④使用折線圖作出每年乘客變化趨勢圖，并作出分析結(jié)果。
⑤對比月度乘客總數(shù)量，分析出12個月當中乘客人數(shù)的高峰期。
6、對所有的乘客人數(shù)做描述性統(tǒng)計
①以年份維度作堆疊得出堆疊結(jié)果。
②使用函數(shù)生成描述性統(tǒng)計，說明數(shù)據(jù)集的最大值、最小值、平均值。
③計算出該數(shù)據(jù)的偏度系數(shù)，并根據(jù)系數(shù)作出分析。
④計算出該數(shù)據(jù)的峰度系數(shù)，并根據(jù)系數(shù)作出分析。
⑤使用帕累托圖表達出航空乘客數(shù)量與年份的關(guān)系，并標注關(guān)鍵節(jié)點數(shù)據(jù)。
⑥對航空乘客數(shù)量進行周期性分析。
五、實驗成果要求
1、完成每一項任務
base的表格內(nèi)容：

代碼如下：

import pandas as pd
import matplotlib.pyplot as plt
data = pd.read_excel("C:\\Users\\86182\\Desktop\\base.xlsx")
data1 = data.iloc[:, 1:12]
plt.rcParams['font.sans-serif'] = ['SimHei']  # 正常顯示中文
plt.rcParams['axes.unicode_minus'] = False  # 正常顯示負號
data1.boxplot()
plt.title("客運人數(shù)異常值檢測")
plt.xlabel('月份')#x軸顯示月份
plt.ylabel("客運人數(shù)（萬人）")#y軸顯示人數(shù)
data2 = data.set_index("year")
data_sum1 = data2.sum(axis=1)  # 按行求和
data_sum2 = data2.sum(axis=0)  # 按列求和
# 分析對比圖
plt.figure()  # 繪制畫布
plt.title("每年客運人數(shù)對比")  # 柱形圖題目
plt.xlabel("年份")  # x刻度軸名字
plt.ylabel('人數(shù)（萬）')  # y刻度軸名字
plt.bar(data['year'], data_sum1)  # 繪制柱形圖
for i in range(len(data_sum1)):  # 將柱形圖添加具體數(shù)值plt.text(data.year[i]-0.4, data_sum1.iloc[i]+0.4, '%.0f'%data_sum1.iloc[i])
# 折線圖——每年乘客變化趨勢
plt.figure()
plt.title("每年乘客變化趨勢")
plt.xlabel("年份")
plt.ylabel('人數(shù)（萬）')
plt.plot(data['year'], data_sum1, color='red', marker='o')
print(data_sum2.sort_values())  # 返回排序后的月度乘客總量
data3 = data2.stack()
print(data3)
print(data3.describe())
s = pd.Series(data3)
bias_value = s.skew()
peak_value = s.kurt()
print('偏度：', bias_value)
print('峰度：', peak_value)
# 頻數(shù)分布直方圖
plt.figure()data_pingshu = pd.concat([data['Jan'], data['Feb'], data['Mar'], data['Apr'], data['May'], data['Jun'], data['Jul'],data['Aug'], data['Sep'], data['Oct'], data['Nov'], data['Dec']])
bins = [100, 150, 200, 250, 300, 350, 400, 450, 500, 550, 600, 650]
plt.hist(data_pingshu, bins, range(100, 650), edgecolor='black')
plt.xticks(bins)
plt.title("頻數(shù)分布直方圖")
# 貢獻度分析
plt.figure()
data['headcount'] = data.sum(1)
data4 = data.iloc[:, [0, -1]]
data4 = data4.sort_values(by=['headcount'], ascending=False).reset_index()
data4['headcount'].plot(kind='bar')
print(data4)
plt.ylabel('客運人數(shù)（萬）')
p = data4['headcount'].cumsum() / data4['headcount'].sum()
print(p)
p.plot(secondary_y=True, style='-o', linewidth=2, color='r')
plt.xticks(range(12), data['year'])
plt.annotate(format(p[8],".2%"), xy=(8, p[8]),xytext=(8*1.2, p[8]*1.2), arrowprops=dict(arrowstyle='->', connectionstyle="arc3"))
plt.ylabel("貢獻度比例")
# 周期性分析
plt.figure()
plt.plot(range(144), data3)
plt.xticks(range(0,144,12),data4['headcount'])
plt.title('貢獻度分析')
plt.xlabel('年份')
plt.ylabel('人流量')
plt.show()

總結(jié)

靜中爭，穩(wěn)中急。