面試

1.AUC,ROC,準確率與召回率都是怎么計算的?

AUC（Area Under Curve）是ROC（Receiver Operating Characteristic）曲線下的面積。它用于評估二分類模型在連續(xù)預(yù)測概率下的性能。計算方法是：對于正負樣本對的預(yù)測概率，計算真陽性（TP）、假陰性（FN）、真陰性（TN）和假陽性（FP）的累積值，然后計算曲線下的面積。

ROC曲線是敏感性（真陽性率）與1-特異性（假陽性率）之間的關(guān)系。在ROC曲線中，橫坐標為假陽性率，縱坐標為敏感性。AUC值的范圍在0.5到1之間，其中0.5表示模型性能與隨機猜測相同，1表示模型完全準確。

準確率（Accuracy）是指模型預(yù)測正確的樣本占總樣本數(shù)的比例。計算方法是：正確預(yù)測的樣本數(shù) / 總樣本數(shù)。

召回率（Recall）又稱查全率，是指模型能正確預(yù)測為正類的樣本占實際為正類的樣本的比例。計算方法是：正確預(yù)測為正類的樣本數(shù) / 實際為正類的樣本數(shù)。

以下是Python代碼示例，用于計算AUC、ROC曲線、準確率和召回率：

import numpy as npdef compute_auc(y_true, y_pred):fpr, tpr, _ = roc_curve(y_true, y_pred)return auc(fpr, tpr)def compute_roc_curve(y_true, y_pred):fpr, tpr, _ = roc_curve(y_true, y_pred)return fpr, tprdef compute_accuracy(y_true, y_pred):return np.mean(y_true == np.argmax(y_pred, axis=1))def compute_recall(y_true, y_pred):y_pred = np.argmax(y_pred, axis=1)return np.mean(np.in1d(y_true, y_pred))# 示例
y_true = np.random.randint(0, 2, size=(100,))
y_pred = np.random.rand(100)auc = compute_auc(y_true, y_pred)
fpr, tpr = compute_roc_curve(y_true, y_pred)
accuracy = compute_accuracy(y_true, y_pred)
recall = compute_recall(y_true, y_pred)print("AUC:", auc)
print("ROC曲線：", fpr, tpr)
print("準確率：", accuracy)
print("召回率：", recall)

注意：這個示例僅適用于二分類問題。對于多分類問題，需要先將預(yù)測概率轉(zhuǎn)換為二分類問題，然后再計算AUC、ROC曲線、準確率和召回率。

2.數(shù)據(jù)清洗是如何清洗的，要做哪些清洗的工作？

數(shù)據(jù)清洗主要包括以下幾個步驟：

1. 刪除重復(fù)數(shù)據(jù)：檢查數(shù)據(jù)中是否存在重復(fù)記錄，如有，則刪除其中之一。

2. 處理缺失值：對于缺失值，可以采用填充、刪除或根據(jù)上下文進行推測等方法。

3. 數(shù)據(jù)類型轉(zhuǎn)換：將數(shù)據(jù)中不一致的數(shù)據(jù)類型進行轉(zhuǎn)換，使其統(tǒng)一。

4. 字符串處理：清理數(shù)據(jù)中的異常字符、換行符等，使字符串格式統(tǒng)一。

5. 數(shù)據(jù)規(guī)范化：對數(shù)據(jù)進行標準化、歸一化等操作，使其符合統(tǒng)一標準。

6. 數(shù)據(jù)合并：將分散在不同位置的相同數(shù)據(jù)進行合并。

7. 數(shù)據(jù)分類：對數(shù)據(jù)進行分類，將相似的數(shù)據(jù)歸為一類。

8. 異常檢測：識別數(shù)據(jù)中的異常值，并對其進行處理。

9. 數(shù)據(jù)驗證：檢查數(shù)據(jù)是否符合預(yù)期的規(guī)則，如唯一性、合法性等。

10. 數(shù)據(jù)簡化：刪除或合并冗余數(shù)據(jù)，減少數(shù)據(jù)量。

具體清洗方法可根據(jù)實際數(shù)據(jù)特點和需求進行選擇和調(diào)整。

3.什么是數(shù)據(jù)的完整性?

數(shù)據(jù)的完整性是指數(shù)據(jù)在存儲、處理和傳輸過程中保持完整、準確和可靠的程度。確保數(shù)據(jù)完整性是數(shù)據(jù)庫管理、數(shù)據(jù)處理和信息安全的重要任務(wù)，它可以防止數(shù)據(jù)丟失、篡改或損壞。數(shù)據(jù)的完整性有助于保證數(shù)據(jù)的正確性和可靠性，從而為企業(yè)的正常運營和決策提供準確的信息支持。

4.數(shù)倉是怎么設(shè)計的?

數(shù)倉的設(shè)計過程可以分為以下步驟：

1. 分析業(yè)務(wù)需求，確定數(shù)據(jù)倉庫主題。
2. 構(gòu)建邏輯模型。
3. 數(shù)據(jù)倉庫技術(shù)選型。
4. 邏輯模型轉(zhuǎn)換為物理模型。
5. 數(shù)據(jù)源接入。
6. 數(shù)據(jù)存儲清洗和轉(zhuǎn)換。
7. 開發(fā)數(shù)據(jù)倉庫的分析應(yīng)用。
8. 數(shù)據(jù)倉庫管理和維護。

此外，數(shù)倉模型設(shè)計時需要考慮到數(shù)據(jù)倉庫的分層設(shè)計。數(shù)據(jù)倉庫的分層設(shè)計可以提高數(shù)據(jù)處理效率、簡化數(shù)據(jù)處理流程、提高系統(tǒng)的可維護性、可重用性和可擴展性。通常，數(shù)據(jù)倉庫可以分為以下幾層：

1. ODS層：操作型數(shù)據(jù)存儲，主要存儲與源系統(tǒng)基本保持一致的增量或全量數(shù)據(jù)，起到備份數(shù)據(jù)的作用，同時可以創(chuàng)建分區(qū)表，防止后續(xù)的全表掃描。
2. CDM層：通用數(shù)據(jù)模型，又稱為數(shù)據(jù)中間層，包含DWD、DWS、DIM層。DWD層是數(shù)據(jù)倉庫明細層數(shù)據(jù)，對ODS層數(shù)據(jù)進行清洗轉(zhuǎn)化，以業(yè)務(wù)過程作為建模驅(qū)動，基于每個具體的業(yè)務(wù)過程特點，構(gòu)建最細粒度的明細事實表。

總之，數(shù)倉的設(shè)計需要結(jié)合業(yè)務(wù)需求和技術(shù)實現(xiàn)，確保數(shù)據(jù)倉庫的可用性、可擴展性和高效性。

5.linux查看進程的命令是什么，如何查看具體某一行的內(nèi)容（查看第n至m行）?

Linux 查看進程的命令是：ps。

查看具體某一行的內(nèi)容（查看第 n 至 m 行），可以使用以下命令：

ps aux | grep 關(guān)鍵詞 | awk 'NR>=n && NR<=m'

將 n、m 替換為具體的行號，關(guān)鍵詞 替換為需要查找的關(guān)鍵詞。執(zhí)行此命令后，會顯示第 n 至 m 行的內(nèi)容。

6.從瀏覽器輸入網(wǎng)址到返回頁面，中間發(fā)生了什么?

瀏覽器輸入網(wǎng)址后，中間發(fā)生的過程如下：

1. DNS 解析：瀏覽器首先會將網(wǎng)址中的域名發(fā)送給本地 DNS 服務(wù)器，請求將其解析為 IP 地址。本地 DNS 服務(wù)器會從緩存或遠程 DNS 服務(wù)器獲取對應(yīng)的 IP 地址，并返回給瀏覽器。
2. 建立 TCP 連接：瀏覽器根據(jù)獲取到的 IP 地址，與目標服務(wù)器建立 TCP 連接。這個過程涉及到三次握手，以確保雙方建立的連接穩(wěn)定。
3. 發(fā)送 HTTP 請求：TCP 連接建立后，瀏覽器向服務(wù)器發(fā)送 HTTP 請求。請求中包含請求方法（如 GET、POST 等）、請求路徑和 HTTP 版本等信息。
4. 服務(wù)器響應(yīng)：服務(wù)器接收到瀏覽器發(fā)送的請求后，根據(jù)請求內(nèi)容生成 HTTP 響應(yīng)。響應(yīng)中包含響應(yīng)狀態(tài)碼、響應(yīng)頭和響應(yīng)體等信息。
5. 傳輸數(shù)據(jù)：瀏覽器與服務(wù)器之間通過 TCP 連接傳輸數(shù)據(jù)。瀏覽器接收服務(wù)器返回的 HTTP 響應(yīng)，并解析響應(yīng)體中的 HTML、CSS、JavaScript 等資源。
6. 渲染頁面：瀏覽器根據(jù)解析后的 HTML 代碼，構(gòu)建文檔對象模型（DOM），然后根據(jù) CSS 樣式和 JavaScript 代碼渲染頁面。最終將渲染好的頁面呈現(xiàn)給用戶。
7. 關(guān)閉連接：瀏覽器和服務(wù)器完成數(shù)據(jù)傳輸后，關(guān)閉 TCP 連接。

7.具體說一下三次握手四次揮手?

三次握手：

1. 客戶端向服務(wù)器發(fā)送一個帶有SYN（同步）標志位的數(shù)據(jù)包，請求建立連接。
2. 服務(wù)器收到請求后，返回一個帶有SYN和ACK（確認）標志位的數(shù)據(jù)包，表示同意連接。
3. 客戶端再發(fā)送一個帶有ACK標志位的數(shù)據(jù)包給服務(wù)器，確認連接已建立。

四次揮手：

1. 服務(wù)器向客戶端發(fā)送一個帶有FIN（結(jié)束）標志位的數(shù)據(jù)包，表示要關(guān)閉連接。
2. 客戶端收到服務(wù)器的通知后，返回一個帶有ACK標志位的確認數(shù)據(jù)包。
3. 客戶端向服務(wù)器發(fā)送一個帶有FIN標志位的數(shù)據(jù)包，表示同意關(guān)閉連接。
4. 服務(wù)器收到客戶端的確認后，發(fā)送一個帶有ACK標志位的數(shù)據(jù)包給客戶端，表示確認連接已關(guān)閉。

以上是TCP協(xié)議中的三次握手和四次揮手的過程。

8.HTTP和HTTPS的區(qū)別?

HTTP和HTTPS的區(qū)別主要在于安全性和加密性。HTTP是超文本傳輸協(xié)議,是一種基于TCP/IP協(xié)議的無狀態(tài)協(xié)議,不提供數(shù)據(jù)加密和身份驗證功能。而HTTPS是基于HTTP協(xié)議,但使用安全套接層協(xié)議(SSL)或傳輸層安全協(xié)議(TLS)來加密數(shù)據(jù)并驗證服務(wù)器身份。HTTPS比HTTP更安全,可以防止數(shù)據(jù)在傳輸過程中被竊取或篡改。

9.HDFS的理解?

HDFS（Hadoop Distributed File System）是Apache Hadoop生態(tài)系統(tǒng)中的一種分布式文件系統(tǒng)。它被設(shè)計用于在大規(guī)模集群上存儲和處理大數(shù)據(jù)。

HDFS的設(shè)計目標之一是容錯性，它通過將數(shù)據(jù)分散存儲在集群中的多個節(jié)點上來實現(xiàn)高可靠性。數(shù)據(jù)被分割成塊，并在集群中的多個節(jié)點上進行復(fù)制存儲，以防止數(shù)據(jù)丟失。這種冗余存儲的方式使得HDFS能夠容忍節(jié)點故障，并自動進行數(shù)據(jù)恢復(fù)。

HDFS的另一個重要特性是高吞吐量。它通過將大文件劃分為多個塊，并將這些塊并行地存儲在集群中的多個節(jié)點上，從而實現(xiàn)了高效的數(shù)據(jù)讀寫操作。同時，HDFS還提供了數(shù)據(jù)本地性優(yōu)化機制，即將計算任務(wù)調(diào)度到存儲有所需數(shù)據(jù)塊的節(jié)點上，以減少數(shù)據(jù)傳輸?shù)拈_銷。

HDFS還具有可擴展性的特點。它可以在集群中添加更多的節(jié)點來擴展存儲容量和處理能力，并且可以自動進行數(shù)據(jù)的重新平衡，以保持數(shù)據(jù)的均衡分布。

總之，HDFS是一個分布式文件系統(tǒng)，它提供了高可靠性、高吞吐量和可擴展性的特性，使得它成為處理大規(guī)模數(shù)據(jù)的理想選擇。

10.hadoop對put一個文件，集群發(fā)生了什么?

當在Hadoop集群中使用hadoop put命令上傳一個文件時，以下事情會發(fā)生：

1. 客戶端將文件分割成多個數(shù)據(jù)塊（根據(jù)文件大小和塊大小確定）。
2. 客戶端將每個數(shù)據(jù)塊加密并壓縮。
3. 客戶端將加密后的數(shù)據(jù)塊發(fā)送到集群中的一個節(jié)點（根據(jù)NameNode的調(diào)度）。
4. 客戶端同時發(fā)送文件的元數(shù)據(jù)（如文件名、長度等）到NameNode。
5. NameNode接收到元數(shù)據(jù)后，將其存儲在分布式文件系統(tǒng)（HDFS）的元數(shù)據(jù)文件中。
6. NameNode根據(jù)數(shù)據(jù)塊的哈希值將數(shù)據(jù)塊映射到相應(yīng)的DataNode。
7. DataNode接收并存儲數(shù)據(jù)塊。

在這個過程中，Hadoop采用了分布式處理和數(shù)據(jù)冗余存儲來提高數(shù)據(jù)可靠性和性能。

11.hadoop數(shù)據(jù)如何存儲?

Hadoop數(shù)據(jù)主要通過分布式文件系統(tǒng)（HDFS）進行存儲。HDFS是一個高度可擴展、容錯能力強的分布式存儲系統(tǒng)，適用于大規(guī)模數(shù)據(jù)存儲。數(shù)據(jù)被分成多個塊，分布在多個數(shù)據(jù)節(jié)點上，并采用冗余備份策略以確保數(shù)據(jù)可靠性。

存儲過程簡要如下：

1. 將數(shù)據(jù)分成多個塊。
2. 將塊分配到各個數(shù)據(jù)節(jié)點。
3. 在數(shù)據(jù)節(jié)點上存儲塊數(shù)據(jù)。
4. 每個數(shù)據(jù)節(jié)點保存數(shù)據(jù)的元數(shù)據(jù)（如文件名、塊大小等）。
5. 配置NameNode（主節(jié)點）來維護整個集群的文件系統(tǒng) namespace 和元數(shù)據(jù)。

這種分布式存儲方式使得Hadoop具有良好的擴展性和容錯性，可以處理PB級別的數(shù)據(jù)。同時，Hadoop還支持其他存儲方案，如HBase（基于列的分布式數(shù)據(jù)庫）和MapReduce（分布式計算框架）。

12.UDF函數(shù)有哪些，工作原理是什么?

UDF（User-Defined Function）函數(shù)，即用戶自定義函數(shù)，是在編程語言中由用戶自己編寫的一類函數(shù)。它們允許你在程序中執(zhí)行特定的任務(wù)，根據(jù)輸入的參數(shù)生成輸出。

UDF函數(shù)的工作原理：

1. 定義：首先，你需要定義一個函數(shù)，包括函數(shù)名、輸入?yún)?shù)（可選）和返回值類型。
2. 實現(xiàn)：接下來，編寫函數(shù)體，即函數(shù)內(nèi)部執(zhí)行的代碼。這段代碼根據(jù)輸入的參數(shù)（如果有）進行計算，并返回一個結(jié)果。
3. 調(diào)用：在程序中，你可以通過調(diào)用 UDF 函數(shù)來執(zhí)行自定義的任務(wù)。調(diào)用時，可能需要傳遞輸入?yún)?shù)（如果有），然后函數(shù)會返回一個結(jié)果。
4. 應(yīng)用：UDF 函數(shù)可以應(yīng)用于各種場景，如數(shù)據(jù)處理、算法實現(xiàn)、業(yè)務(wù)邏輯等。

不同編程語言中的UDF函數(shù)實現(xiàn)細節(jié)可能有所不同，但總體原理和工作方式類似。例如，在Python中，你可以使用以下方式定義和調(diào)用一個UDF函數(shù)：

def add(a, b):return a + bresult = add(1, 2)
print(result)  # 輸出：3

在Java中，你可以這樣做：

public class Main {public static void main(String[] args) {int sum = add(1, 2);System.out.println(sum);  // 輸出：3}public static int add(int a, int b) {return a + b;}
}

總之，UDF函數(shù)是編程過程中非常有用的一種工具，可以幫助你實現(xiàn)自定義的任務(wù)和邏輯。

13.spark的driver和executor的理解

1. Spark的Driver：驅(qū)動程序，負責整個 Spark 應(yīng)用的協(xié)調(diào)和調(diào)度。它主要包括兩個部分：應(yīng)用的主要入口點（如 main 方法）和集群管理器（如 YARN，Mesos 或 Standalone）。Driver 負責創(chuàng)建 Spark 上下文（SparkConf 和 SparkContext），啟動集群管理器，并將其分配給 Executor。此外，Driver 還負責監(jiān)控應(yīng)用的進度和資源使用情況。

2. Spark的Executor：執(zhí)行器，負責在集群中的各個節(jié)點上執(zhí)行任務(wù)。Executor 由 Driver 啟動，并為每個任務(wù)分配內(nèi)存和 CPU 資源。Executor 運行在一個獨立的 JVM 進程中，可以執(zhí)行各種類型的任務(wù)，如計算任務(wù)（使用 Spark 核心 API）或行動任務(wù)（如數(shù)據(jù)處理和聚合操作）。Executor 還負責將任務(wù)的結(jié)果返回給 Driver。

總結(jié)：Driver 和 Executor 是 Spark 應(yīng)用的兩個關(guān)鍵組件，Driver 負責協(xié)調(diào)和調(diào)度，Executor 負責執(zhí)行任務(wù)。它們共同協(xié)作，使 Spark 能夠在集群中高效地處理大規(guī)模數(shù)據(jù)。

14.python的垃圾回收機制

Python的垃圾回收機制是通過引用計數(shù)和循環(huán)引用檢測來實現(xiàn)的。

引用計數(shù)是一種簡單而高效的垃圾回收機制。每個對象都有一個引用計數(shù)，當對象被引用時，引用計數(shù)加1；當對象不再被引用時，引用計數(shù)減1。當引用計數(shù)為0時，對象就會被銷毀。

循環(huán)引用是指兩個或多個對象之間相互引用形成的環(huán)狀結(jié)構(gòu)。Python的垃圾回收機制還會檢測和處理循環(huán)引用，通過使用標記-清除算法來回收這些無法通過引用計數(shù)檢測到的垃圾對象。

總結(jié)起來，Python的垃圾回收機制主要依靠引用計數(shù)和循環(huán)引用檢測來自動回收不再被引用的對象，以減少內(nèi)存的占用。

15.深拷貝和淺拷貝是什么?

深拷貝和淺拷貝是對象拷貝的兩種方式。

淺拷貝是指創(chuàng)建一個新對象，然后將原對象的成員變量復(fù)制到新對象中。如果成員變量是引用類型，那么復(fù)制的是引用，而不是引用指向的對象。這種方式的缺點是，如果原對象和拷貝對象共享引用類型的成員變量，那么對其中一個對象的修改會影響另一個對象。

深拷貝是指不僅創(chuàng)建一個新對象，而且將原對象的成員變量以及成員變量指向的對象（遞歸地）都復(fù)制到新對象中。這種方式的優(yōu)點是，原對象和拷貝對象是完全獨立的，對其中一個對象的修改不會影響另一個對象。

總結(jié)：淺拷貝是復(fù)制原對象的成員變量，深拷貝是復(fù)制原對象及其成員變量指向的對象（遞歸地）。深拷貝比淺拷貝更耗時，但能確保原對象和拷貝對象之間的獨立性。

16.如何復(fù)制一個python對象?

在Python中，可以使用copy模塊的copy()或deepcopy()方法來復(fù)制對象。copy()方法僅復(fù)制對象的頂層結(jié)構(gòu)，而deepcopy()方法則會遞歸復(fù)制整個對象。

例如，如果你有一個名為obj的對象，可以使用以下代碼復(fù)制它：

import copy# 使用 copy() 方法
copied_obj = copy.copy(obj)# 或者使用 deepcopy() 方法
deep_copied_obj = copy.deepcopy(obj)

注意：copy()方法僅復(fù)制對象本身，而不復(fù)制對象中包含的其他對象。如果需要復(fù)制整個對象圖，建議使用deepcopy()方法。

筆試題：

一個時間復(fù)雜度小于n^n的排序算法

快速排序（Quick Sort）。這是一種基于分治思想的排序算法，平均時間復(fù)雜度為O(n log n)。

以下是快速排序的Python實現(xiàn)：

def quick_sort(arr):if len(arr) <= 1:return arrpivot = arr[len(arr) // 2]left = [x for x in arr if x < pivot]middle = [x for x in arr if x == pivot]right = [x for x in arr if x > pivot]return quick_sort(left) + middle + quick_sort(right)# 示例
arr = [3, 6, 8, 10, 1, 2, 1]
print(quick_sort(arr))

執(zhí)行結(jié)果：

[1, 1, 2, 3, 6, 8, 10]

快速排序在最好情況下（輸入已經(jīng)是升序或降序）的時間復(fù)雜度為O(n)。但請注意，在最壞情況下（輸入是降序或升序），時間復(fù)雜度會上升到O(n^2)。不過，這種情況的概率非常低，因此在實際應(yīng)用中，快速排序仍然具有較好的性能。