前言

Spark Schema定義了DataFrame的結(jié)構(gòu)，可以通過對DataFrame對象調(diào)用printSchema()方法來獲得該結(jié)構(gòu)。Spark SQL提供了StructType和StructField類以編程方式指定架構(gòu)。

默認(rèn)情況下，Spark從數(shù)據(jù)中推斷schema，但有時我們可能需要定義自己的schema（列名和數(shù)據(jù)類型），尤其是在處理非結(jié)構(gòu)化和半結(jié)構(gòu)化數(shù)據(jù)時，本文通過示例解釋了如何定義簡單、嵌套和復(fù)雜的schema。

什么是Spark Schema

• schema通俗解釋
  Schema是元數(shù)據(jù)的一個抽象集合，包含一套schema component，主要是元素與屬性的聲明、復(fù)雜與簡單數(shù)據(jù)類型的定義。這些schema component通常是在處理一批schema document時被創(chuàng)建。在不同的領(lǐng)域和環(huán)境中，如數(shù)據(jù)庫和軟件開發(fā)，schema有著不同的含義和用途。
  在數(shù)據(jù)庫中，schema描述了數(shù)據(jù)庫中對象（如表、列、視圖、存儲過程等）的布局和結(jié)構(gòu)。例如，一個數(shù)據(jù)庫schema可能包含一個名為“employees”的表，該表具有“id”、“name”和“salary”等列。
  在XML中，Schema是一種定義XML文檔結(jié)構(gòu)的工具，可以驗證XML文檔的結(jié)構(gòu)和內(nèi)容是否符合規(guī)定的標(biāo)準(zhǔn)。
  在軟件開發(fā)的領(lǐng)域中，根據(jù)特定的上下文，模式（pattern）可能指代各種概念，如概念模式、物理模式、內(nèi)部模式、外部模式、邏輯模式等，它們具有各自的特定含義和應(yīng)用。
• spark schema
  Spark Schema是DataFrame或Dataset的結(jié)構(gòu)，我們可以使用StructTyp