1.安裝下載Hadoop文件

1）hadoop-3.3.5 將下載的文件保存到英文路徑下，名稱一定要短。否則容易出問題；

2）解壓下載下來的文件，配置環(huán)境變量

3）我的電腦-屬性-高級設(shè)置-環(huán)境變量

4.詳細(xì)配置文件如下：

HADOOP_HOME：	?? D:\ProgramFiles\hadoop-3.3.5
系統(tǒng) path:?	%HADOOP_HOME%\bin 和 %HADOOP_HOME%\sbin

2.安裝windows環(huán)境依賴

需要有windows客戶端依賴資料路徑下的依賴文件(已上傳到平臺)，拷貝 winutils.exe 到hadoop的bin文件夾： ~\hadoop-3.3.5\bin；再把 hadoop.dll 拷貝到 C:\Windows\System32。

6)驗證Hadoop環(huán)境變量是否正常。

鼠標(biāo)雙擊運行：winutils.exe，若沒有報錯，一閃而過，就可以了。（如果報如下錯誤：找不到MSVCR120.dll。說明缺少微軟運行庫（正版系統(tǒng)往往有這個問題）。再資料包里面有對應(yīng)的微軟運行庫安裝包雙擊安裝即可。）

3.安裝JDK-1.8.371和IDEA 2023

1）注冊oracle賬號后，下載地址： https://www.oracle.com/java/technologies/downloads/#java8-windows

2）安裝的時候，可以只安裝 jdk1.8，不安裝獨立的jre。若電腦上有多個JDK版本，需要在配置環(huán)境變量的時候小心。

3）驗證java 是否安裝成功：cmd - 中輸入名： java -version

4）?下載好IDEA2023，可從官網(wǎng)下載安裝。（IntelliJ IDEA – 領(lǐng)先的 Java 和 Kotlin IDE）

插件需要下載下，另外激活可參見-IDEA PyCharm WebStorm PhpStorm Jetbrains全家桶最新破解激活碼 - 愛激活網(wǎng)

4.打開工程目錄-創(chuàng)建項目工程

按照上述的內(nèi)容填寫后，建立Maven 工程。

5.修改配置文件中的依賴

1）添加junit插件 - test 插件 2）添加org.slf4j --日志

pom.xml文件中的依賴項如下：

?<dependencies>

??? <dependency>

????? <groupId>org.apache.hadoop</groupId>

????? <artifactId>hadoop-client</artifactId>

????? <version>3.3.5</version>

??? </dependency>

??? <dependency>

????? <groupId>junit</groupId>

????? <artifactId>junit</artifactId>

????? <version>4.12</version>

<!--????? 一定要把下面的這個scope注釋掉-->

<!--????? <scope>test</scope>-->

??? </dependency>

??? <dependency>

????? <groupId>org.slf4j</groupId>

????? <artifactId>slf4j-log4j12</artifactId>

????? <version>1.7.36</version>

??? </dependency>

? </dependencies>

添加配置文件后，在頁面又上角有個M圖標(biāo)，可以點擊下，會自動刷新，之后需要從Maven倉庫依賴 dependency；

?一定要和服務(wù)器上安裝的版本一致：

6.為工程配置日志文件

在 IDEA中創(chuàng)建一個Maven工程? Ktest，并導(dǎo)入相應(yīng)的依賴坐標(biāo)+日志添加

在項目的src/main/resources目錄下，新建一個文件，命名為“log4j.properties”，在文件中填入

log4j.rootLogger=INFO, stdout?

log4j.appender.stdout=org.apache.log4j.ConsoleAppender?

log4j.appender.stdout.layout=org.apache.log4j.PatternLayout?

log4j.appender.stdout.layout.ConversionPattern=%d %p [%c] - %m%n?

log4j.appender.logfile=org.apache.log4j.FileAppender?

log4j.appender.logfile.File=target/spring.log?

log4j.appender.logfile.layout=org.apache.log4j.PatternLayout?

log4j.appender.logfile.layout.ConversionPattern=%d %p [%c] - %m%n

6.在包下面新建一個類名

7.在服務(wù)器上嘗試創(chuàng)建文件夾

編寫代碼-在HDFS文件系統(tǒng)中寫入一個 `/yiji/ercengmulu` 的文件.

-------------------------------------------------------------------------------------

package org.example;import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.FileSystem;
import org.apache.hadoop.fs.Path;
import org.junit.Test;import java.io.IOException;
import java.net.URI;
import java.net.URISyntaxException;public class Testt{@Test //引入當(dāng)時添加的Junitpublic void testMkdirs() throws URISyntaxException,IOException,InterruptedException{//創(chuàng)建連接集群的Name Node地址URI uri     = new URI("hdfs://hadoop102:8020");//創(chuàng)建配置項Configuration conf = new Configuration();//指定用戶String user = "antares";//獲取客戶端對象FileSystem fs = FileSystem.get(uri,conf,user);fs.mkdirs(new Path("/yiji/ercengmulu"));fs.close();}
}

8. 打開服務(wù)器上的部署的服務(wù)

hadoop102:8020 --- 需要在服務(wù)器端打開Hadoop，之后才能運行剛剛創(chuàng)建的類。

測試通過。