做液壓的公司網(wǎng)站怎么注冊電商平臺
????????Spark作為一個開源的分布式計算框架擁有高效的數(shù)據(jù)處理能力、豐富的生態(tài)系統(tǒng)、多語言支持以及廣泛的行業(yè)應(yīng)用。Scala是一種靜態(tài)類型的編程語言，它結(jié)合了面向?qū)ο缶幊毯秃瘮?shù)式編程的特性，被譽為通用的“大數(shù)據(jù)語言”。而二者的結(jié)合更能迸發(fā)出新奇的化學反應(yīng)，由于Spark和Scala都是用相同的JVM語言編寫的，使得它們之間的互操作性非常高。而且Scala的表達能力使得編寫Spark應(yīng)用程序的代碼更簡潔。二者不僅在實際業(yè)務(wù)中廣泛應(yīng)用，在全國職業(yè)院校技能大賽中更是有兩大模塊都需要這兩個的知識，其中就包括今天要給大家分享的Spark、Scala的環(huán)境搭建知識，話不多說，走起！！
? ? ? ? 在搭建之前大家要先保證自己虛擬機中已經(jīng)有JDK，而且Hadoop環(huán)境運行起來了，小編今天使用的是CentOS 7系統(tǒng)，軟件對應(yīng)23年國賽的版本，Spark為3.1.1，Scala為2.12.11
? ? ? ? 一、解壓兩個包到/opt/module下
tar -zxvf /opt/software/spark-3.1.1-bin-hadoop3.2.tgz -C /opt/module/
tar -zxvf /opt/software/scala-2.12.11.tgz -C /opt/module/-
tar: 這是命令的主體，代表要使用的工具是tar。 -
-zxvf: 這是tar命令的選項，可以拆分為四個部分來理解：-z: 這個選項告訴tar命令歸檔文件是通過gzip壓縮的。這意味著tar在解包之前需要先解壓縮gzip壓縮的文件。-x: 表示要執(zhí)行的是解壓操作（extract），即從歸檔文件中提取文件。-v: 表示在解包過程中顯示詳細的過程信息（verbose），即會顯示正在被解壓的文件名等信息。-f: 這個選項后面緊跟著的是要處理的歸檔文件的名稱。它告訴tar命令接下來要指定的參數(shù)是歸檔文件的名稱，而不是其他選項或參數(shù)。
????????二、更改名稱（這步可省略）
mv spark-3.1.1-bin-hadoop3.2 spark
mv scala-2.12.11 scala-
mv：代表“move”的縮寫，用于移動文件或目錄，或者重命名文件或目錄。
? ? ? ? 三、配置環(huán)境變量
vim /etc/profile? ? ? ? 在文件中寫入
export SPARK_HOME=/opt/module/spark
export SCALA_HOME=/opt/module/scala
export PATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin
export PATH=$PATH:$SPARK_HOME/sbin? ? ? ? 四、配置文件的配置
? ? ? ? 首先進入到spark/conf目錄下，隨后復(fù)制spark的默認配置文件，我們后續(xù)的更改都在這個副本中
cd /opt/module/spark/conf/
cp spark-env.sh.template spark-env.sh? ? ? ? 在spark-env.sh文件中添加：
export SCALA_HOME=你的Scala地址
export JAVA_HOME=你的JDK地址
export SPARK_MASTER_IP=你的主機IP
export SPARK_WORKER_MEMORY=1g
export HADOOP_CONF_DIR=/opt/module/hadoop/etc/hadoop
export SPARK_MASTER_HOST=你的主機IP
export SPARK_MASTER_PORT=7077
export SPARK_WORKER_HOST=你的主機IP
export SPARK_WORKER_PORT=7078? ? ? ? 然后我們復(fù)制conf目錄下的workers.template文件，workers.template文件是一個模板文件，用于配置Spark集群中的工作節(jié)點，我們一般是將其復(fù)制為workers文件進行配置系列工作節(jié)點的主機名或IP地址，每行一個。這些工作節(jié)點是Spark集群中用于執(zhí)行任務(wù)的物理或虛擬機器。在集群啟動時，主節(jié)點會讀取workers文件并根據(jù)文件中列出的工作節(jié)點來啟動和管理它們。
cp workers.template workers
vim workers你的主機IP
你的從機IP
你的從機IP? ? ? ? 五、關(guān)聯(lián)Spark和Hive，分發(fā)文件和環(huán)境變量
????????將hive中conf下面的hive-site.xml傳輸?shù)絪park的conf下（如果你想直接使用spark-sql操作Hive的話）Spark在訪問Hive表時，需要知道Hive元數(shù)據(jù)的存儲位置，以便能夠正確地讀取和寫入Hive表。通過將hive-site.xml文件放置在Spark的conf目錄下，Spark可以讀取這個文件中的配置信息，從而定位到Hive的元數(shù)據(jù)倉庫。
cp /opt/module/hive/conf/hive-site.xml /opt/module/spark/conf/? ? ? ? 然后我們將Spark、Scala的文件和環(huán)境變量分發(fā)到另外兩臺機器中（注意下面的主機名改成自己的）
scp -r /opt/module/spark root@slave1:/opt/module/
scp -r /opt/module/spark root@slave2:/opt/module/
scp -r /opt/module/scala root@slave1:/opt/module/
scp -r /opt/module/scala root@slave2:/opt/module/
scp -r /etc/profile root@slave1:/etc/
scp -r /etc/profile root@slave2:/etc/? ? ? ? 隨后我們生效環(huán)境變量（注意三臺都要生效）
source /etc/profile? ? ? ? 六、啟動Spark
? ? ? ? 進入到/opt/module/spark/sbin/文件夾下
./start-all.sh? ? ? ? 啟動之后查看自己是否有這些進程
? ? ? ? 最后我們輸入spark-shell命令，只要可以進來，基本就是沒問題啦！
? ? ? ? spark和scala這兩個組件在我們平臺搭建中屬于比較簡單的一部分，但是大家也不能掉以輕心，往往是越簡單的部分越容易出錯嘛。
? ? ? ? 隨后小編也會發(fā)很多關(guān)于咱們職業(yè)院校技能大賽的相關(guān)筆記和知識點，大家如果對這個競賽感興趣的話，可以私信小編，一起共同學習。