Pandas概述

Pandas 是一個(gè)強(qiáng)大的 Python 數(shù)據(jù)分析庫，它提供了快速、靈活且富有表現(xiàn)力的數(shù)據(jù)結(jié)構(gòu)，旨在使數(shù)據(jù)清洗、處理和分析工作變得更加簡(jiǎn)單和高效。以下是 Pandas 的詳細(xì)說明：

1. 安裝 Pandas

如果你還沒有安裝 Pandas，可以通過 pip 命令安裝：

pip install pandas

2. 基本數(shù)據(jù)結(jié)構(gòu)

Pandas 提供了兩種主要的數(shù)據(jù)結(jié)構(gòu)：Series 和 DataFrame。

• Series：

  • 類似于一維數(shù)組，可以包含任何數(shù)據(jù)類型（整數(shù)、字符串、浮點(diǎn)數(shù)、Python 對(duì)象等）。
  • 每個(gè) Series 都有一個(gè)索引（Index），它可以是默認(rèn)的整數(shù)索引，也可以是自定義的標(biāo)簽。

  import pandas as pd
  s = pd.Series([1, 3, 5, np.nan, 6, 8])
  print(s)
  

• DataFrame：

  • 類似于二維表格型數(shù)據(jù)結(jié)構(gòu)，可以被看作是由多個(gè) Series 組成的（每列一個(gè) Series）。
  • DataFrame 有行索引和列索引，可以包含不同類型的列。

  data = {'Column1': [1, 2, 3, 4],'Column2': ['a', 'b', 'c', 'd']}
  df = pd.DataFrame(data)
  print(df)
  

3. 數(shù)據(jù)導(dǎo)入和導(dǎo)出

Pandas 支持多種格式的數(shù)據(jù)導(dǎo)入和導(dǎo)出，包括 CSV、Excel、JSON、HTML 和 SQL 數(shù)據(jù)庫等。

# 從 CSV 文件讀取數(shù)據(jù)
df = pd.read_csv('data.csv')# 將數(shù)據(jù)寫入 CSV 文件
df.to_csv('output.csv', index=False)# 從 Excel 文件讀取數(shù)據(jù)
df = pd.read_excel('data.xlsx')# 將數(shù)據(jù)寫入 Excel 文件
df.to_excel('output.xlsx', index=False)

4. 數(shù)據(jù)清洗

Pandas 提供了豐富的函數(shù)來處理缺失數(shù)據(jù)、重復(fù)數(shù)據(jù)、數(shù)據(jù)類型轉(zhuǎn)換等。

# 處理缺失值
df.dropna(inplace=True)  # 刪除缺失值
df.fillna(value='default_value', inplace=True)  # 填充缺失值# 刪除重復(fù)數(shù)據(jù)
df.drop_duplicates(inplace=True)# 數(shù)據(jù)類型轉(zhuǎn)換
df['Column'] = df['Column'].astype('int')

5. 數(shù)據(jù)選擇和過濾

Pandas 提供了靈活的方法來選擇和過濾數(shù)據(jù)。

# 選擇列
selected_columns = df[['Column1', 'Column2']]# 選擇行
selected_rows = df[df['Column'] > value]# 使用條件過濾
filtered_df = df[df['Column'].apply(lambda x: x > value)]

6. 數(shù)據(jù)聚合和摘要

Pandas 允許你輕松地對(duì)數(shù)據(jù)進(jìn)行聚合和摘要統(tǒng)計(jì)。

# 數(shù)據(jù)描述性統(tǒng)計(jì)
print(df.describe())# 數(shù)據(jù)聚合
aggregated_data = df.groupby('Column').agg(['mean', 'sum', 'max'])

7. 數(shù)據(jù)合并和連接

Pandas 提供了 merge、join 和 concat 等函數(shù)來合并和連接數(shù)據(jù)。

# 合并兩個(gè) DataFrame
merged_df = pd.merge(df1, df2, on='key', how='inner')# 連接兩個(gè) DataFrame
concatenated_df = pd.concat([df1, df2], axis=0)

8. 數(shù)據(jù)透視表

Pandas 的 pivot_table 功能允許你快速創(chuàng)建數(shù)據(jù)透視表。

pivot_table = pd.pivot_table(df, values='Column', index='RowColumn', columns='ColumnColumn', aggfunc='mean')

9. 時(shí)間序列分析

Pandas 有強(qiáng)大的時(shí)間序列分析功能，可以輕松處理和分析時(shí)間序列數(shù)據(jù)。

# 創(chuàng)建時(shí)間序列索引
time_series = pd.Series(data, index=pd.date_range('20210101', periods=len(data)))# 時(shí)間序列數(shù)據(jù)的重采樣
resampled_data = time_series.resample('M').sum()

10. 數(shù)據(jù)可視化

Pandas 可以與 Matplotlib 集成，提供數(shù)據(jù)可視化功能。

df.plot(kind='line', x='Column1', y='Column2')
plt.show()

Pandas 是 Python 數(shù)據(jù)分析和處理的強(qiáng)大工具，它的功能遠(yuǎn)遠(yuǎn)超出了這里介紹的內(nèi)容。通過學(xué)習(xí) Pandas，你可以更有效地處理和分析數(shù)據(jù)，從而提高工作效率。更多詳細(xì)信息和使用指南，可以參考 Pandas 的官方文檔。

📈 如何使用 Pandas 進(jìn)行復(fù)雜的數(shù)據(jù)分析？

使用Pandas進(jìn)行復(fù)雜的數(shù)據(jù)清洗通常涉及多個(gè)步驟，包括數(shù)據(jù)預(yù)處理、異常值處理、缺失值處理、數(shù)據(jù)轉(zhuǎn)換、去重、特征工程等。以下是一些常用的數(shù)據(jù)清洗技巧和示例代碼：

1. 數(shù)據(jù)預(yù)處理

讀取數(shù)據(jù)：

import pandas as pd# 讀取CSV文件
df = pd.read_csv('data.csv')# 讀取Excel文件
df = pd.read_excel('data.xlsx')# 讀取數(shù)據(jù)庫
from sqlalchemy import create_engine
engine = create_engine('database_url')
df = pd.read_sql_query('SELECT * FROM table_name', con=engine)

初步查看數(shù)據(jù)：

# 查看數(shù)據(jù)前幾行
print(df.head())# 查看數(shù)據(jù)基本信息
print(df.info())# 查看數(shù)據(jù)描述性統(tǒng)計(jì)
print(df.describe())

2. 處理缺失值

刪除缺失值：

# 刪除含有缺失值的行
df = df.dropna()# 刪除含有缺失值的列
df = df.dropna(axis=1)

填充缺失值：

# 用常數(shù)填充缺失值
df = df.fillna(value=0)# 用前一個(gè)值填充缺失值
df = df.fillna(method='ffill')# 用后一個(gè)值填充缺失值
df = df.fillna(method='bfill')

插值填充缺失值：

# 線性插值填充缺失值
df = df.interpolate(method='linear')

3. 處理異常值

識(shí)別異常值：

# 假設(shè)數(shù)值列的Z分?jǐn)?shù)大于3或小于-3為異常值
from scipy import stats
df = df[(np.abs(stats.zscore(df['column'])) < 3)]

處理異常值：

# 將異常值替換為中位數(shù)
median_value = df['column'].median()
df['column'] = np.where(np.abs(stats.zscore(df['column'])) > 3, median_value, df['column'])

4. 數(shù)據(jù)轉(zhuǎn)換

類型轉(zhuǎn)換：

# 將列轉(zhuǎn)換為數(shù)值類型
df['column'] = pd.to_numeric(df['column'], errors='coerce')# 將列轉(zhuǎn)換為日期類型
df['date_column'] = pd.to_datetime(df['date_column'])

編碼分類數(shù)據(jù)：

# 將分類變量轉(zhuǎn)換為啞變量（One-Hot Encoding）
df = pd.get_dummies(df, columns=['categorical_column'])

5. 去重

刪除重復(fù)數(shù)據(jù)：

# 刪除完全重復(fù)的行
df = df.drop_duplicates()# 刪除基于某些列的重復(fù)行
df = df.drop_duplicates(subset=['column1', 'column2'])

6. 特征工程

創(chuàng)建新特征：

# 根據(jù)現(xiàn)有數(shù)據(jù)創(chuàng)建新特征
df['new_column'] = df['column1'] * df['column2']

特征選擇：

# 使用方差選擇特征
from sklearn.feature_selection import VarianceThreshold
selector = VarianceThreshold(threshold=0.5)
df = df.iloc[:, selector.get_support(indices=True)]

7. 數(shù)據(jù)劃分

訓(xùn)練集和測(cè)試集劃分：

from sklearn.model_selection import train_test_split
X_train, X_test, y_train, y_test = train_test_split(df.drop('target_column', axis=1), df['target_column'], test_size=0.2, random_state=42)

這些是使用Pandas進(jìn)行復(fù)雜數(shù)據(jù)清洗的一些關(guān)鍵步驟和技巧。在實(shí)際應(yīng)用中，你可能需要根據(jù)具體的數(shù)據(jù)特點(diǎn)和分析目標(biāo)來調(diào)整這些步驟。Pandas提供了豐富的功能和靈活性，使得它成為數(shù)據(jù)清洗和預(yù)處理的強(qiáng)大工具。