我的個(gè)人博客主頁：如果’'真能轉(zhuǎn)義1??說1??的博客主頁
關(guān)于Python基本語法學(xué)習(xí)---->可以參考我的這篇博客：《我在VScode學(xué)Python》

	隨著人工智能技術(shù)的發(fā)展，挖掘和分析商業(yè)運(yùn)用大數(shù)據(jù)已經(jīng)成為一種推動(dòng)應(yīng)用，
推動(dòng)社會(huì)發(fā)展起著重要作用，大數(shù)據(jù)分析已經(jīng)成為一個(gè)快速發(fā)展的新型學(xué)科。Python 在開發(fā)領(lǐng)域、數(shù)據(jù)采集與存儲(chǔ)、數(shù)據(jù)預(yù)處理、數(shù)據(jù)分析、數(shù)據(jù)可視化、數(shù)據(jù)挖掘等技術(shù)，
在人工智能及大數(shù)據(jù)分析中，Python 以簡潔、豐富的第三方庫被廣泛采用。

Python 衍生的數(shù)據(jù)技術(shù)。

我們身處在一個(gè)大數(shù)據(jù)的時(shí)代。大數(shù)據(jù)作為一種數(shù)字資源，已經(jīng)成為行業(yè)領(lǐng)域和社會(huì)發(fā)展的重要基礎(chǔ)和驅(qū)動(dòng)力。Python簡潔、豐富的庫資源推動(dòng)了大數(shù)據(jù)處理技術(shù)快速發(fā)展，下面介紹 Python 衍生的數(shù)據(jù)技術(shù)。

1.數(shù)據(jù)采集技術(shù)

在互聯(lián)網(wǎng)時(shí)代，數(shù)據(jù)采集面臨著諸多文件的形式（文檔、圖片、音頻、視頻等非結(jié)構(gòu)化數(shù)據(jù)。）以其數(shù)據(jù)量巨大、數(shù)據(jù)協(xié)議、傳輸、安全性等問題，且增加了爬蟲處理獲取網(wǎng)頁數(shù)據(jù)的能力。

2.數(shù)據(jù)預(yù)處理技術(shù)

數(shù)據(jù)預(yù)處理常用的框架有Apache+Hadoop,Storm,Samza,Spark,Flink 等，可分為批處理、流處理、混合處理 3種模式，涉及MapReduce、HDFS、Stream 等技術(shù)。

在數(shù)據(jù)預(yù)處理前一般需要安裝或?qū)胨璧膸煳募?。?shù)據(jù)預(yù)處理的流程，一般包含數(shù)據(jù)集 ¹ 導(dǎo)入、數(shù)據(jù)清洗(處理缺失的數(shù)據(jù))、特征選擇(編碼分類數(shù)據(jù))，然后生成加工好的，計(jì)算好的，分組好的新數(shù)據(jù)。

Python提供了一些預(yù)處理的庫（Numpy，pandas、sklearn等等）使其標(biāo)準(zhǔn)化，歸一化、二值化、標(biāo)記編碼、數(shù)據(jù)集拆分等等。

標(biāo)準(zhǔn)化：將數(shù)據(jù)轉(zhuǎn)換為均值為0，標(biāo)準(zhǔn)差為1的數(shù)據(jù)。當(dāng)數(shù)據(jù)的特征具有不同的尺度時(shí)，標(biāo)準(zhǔn)化是有用的，以便在模型中給它們相同的重要性。
歸一化：將數(shù)據(jù)縮放到固定范圍內(nèi)，通常在0到1之間。當(dāng)數(shù)據(jù)的分布不是高斯分布或者當(dāng)您想要比較具有不同單位的特征時(shí)，歸一化是有用的。
二值化：通過設(shè)置閾值將數(shù)值數(shù)據(jù)轉(zhuǎn)換為二進(jìn)制數(shù)據(jù)。當(dāng)您想要將連續(xù)特征轉(zhuǎn)換為分類特征時(shí)，二值化是有用的。
標(biāo)簽編碼：將分類數(shù)據(jù)轉(zhuǎn)換為數(shù)字?jǐn)?shù)據(jù)，為每個(gè)類別分配一個(gè)唯一的整數(shù)。當(dāng)模型需要數(shù)字輸入時(shí)，標(biāo)簽編碼是有用的。
數(shù)據(jù)集拆分：將數(shù)據(jù)拆分為訓(xùn)練集和測試集。當(dāng)您想要在未見過的數(shù)據(jù)上評估模型的性能時(shí)，數(shù)據(jù)集拆分是有用的。

3.數(shù)據(jù)存儲(chǔ)技術(shù)

數(shù)據(jù)存儲(chǔ)有多種方式，根據(jù)數(shù)據(jù)的規(guī)模和應(yīng)用，可以采用文件存儲(chǔ)、二進(jìn)制存儲(chǔ)、數(shù)套主儲(chǔ)等。文件存儲(chǔ)可分為 TXT 純文本形式、CSV 格式Excel 格式、JSON 格式等:而在PY中常用的大數(shù)據(jù)庫及表存儲(chǔ)有 MongoDB、Redis、SQLite等。

	在Python中，文本文件可使用 open()方法、read()方法、pickle 模塊等進(jìn)行讀寫，
還有pandas、xlrd、xlwt、os 等庫也可實(shí)現(xiàn)文件的讀寫

4.數(shù)據(jù)可視化：

pygal,matplotlib 等等工具

其他：

數(shù)據(jù)集應(yīng)用：經(jīng)濟(jì)，交通，醫(yī)療，生活質(zhì)量中智能分析。
嵌入式： web、其他語言、智能控制。
數(shù)據(jù)挖掘：樸素貝葉斯算法，神經(jīng)網(wǎng)絡(luò)，決策樹等方面。

---

1. 將一類信息或數(shù)值稱為“數(shù)據(jù)”，這些數(shù)據(jù)可以是數(shù)字、文本、圖像、音頻等形式【列表、元組、字典，也可以指來自數(shù)據(jù)庫、文件、API等數(shù)據(jù)源】稱為數(shù)據(jù)集。 ??