在之前的文章中，我們學(xué)習(xí)了如何在spark中使用RDD的filter,distinct,intersection三種方法。想了解的朋友可以查看這篇文章。同時，希望我的文章能幫助到你，如果覺得我的文章寫的不錯，請留下你寶貴的點贊，謝謝。

Spark-Scala語言實戰(zhàn)（9）-CSDN博客文章瀏覽閱讀927次，點贊25次，收藏18次。今天開始的文章，我會帶給大家如何在spark的中使用我們的RDD方法，今天學(xué)習(xí)RDD方法中的filter,distinct,intersection三種方法，并進行一代。希望我的文章能幫助到大家，也歡迎大家來我的文章下交流討論，共同進步。https://blog.csdn.net/qq_49513817/article/details/137205627?今天的文章，我會繼續(xù)帶著大家如何在spark的中使用我們的RDD方法。今天學(xué)習(xí)RDD方法中的cartesian,subtract兩種方法。

目錄

一、知識回顧

二、RDD方法

1.cartesian

2.subtract

拓展-方法參數(shù)設(shè)置與笛卡爾積

1.方法參數(shù)設(shè)置

?a.cartesian方法

b.?subtract方法

2.笛卡爾積

---

一、知識回顧

?上一篇文章中我們學(xué)習(xí)了RDD的三種方法，分別是filter,distinct,intersection。

ilter()方法是一種轉(zhuǎn)換操作，用于過濾RDD中的元素。例如昨天的過濾偶數(shù)出來。

當(dāng)然，你也可以選擇過濾奇數(shù)，可以過濾被3整除的數(shù)，全憑自己所需

distinct方法是一種轉(zhuǎn)換操作，用于RDD的數(shù)據(jù)去重

去除我們的重復(fù)數(shù)據(jù)，在一些特定場景，能讓我們的數(shù)據(jù)更簡潔，更直觀

intersectio方法用于求出兩個RDD的共同元素?

現(xiàn)在，開始今天的學(xué)習(xí)吧~?

二、RDD方法

1.cartesian

• cartesian()方法可將兩個集合的元素兩兩組合成一組，即求笛卡兒積。
• 創(chuàng)建兩個RDD，分別有3個元素，通過cartesian()方法求兩個RDD的笛卡兒積。

import org.apache.spark.{SparkConf, SparkContext}object p1 {def main(args: Array[String]): Unit = {val conf=new SparkConf().setMaster("local").setAppName("p2")val sc=new SparkContext(conf)val p1 = sc.parallelize(Seq(1, 2, 3))val p2 = sc.parallelize(Seq("A", "B", "C"))// 對兩個RDD執(zhí)行cartesian操作val pp = p1.cartesian(p2)val ppp = pp.collect()ppp.foreach { case (x, y) => println(s"($x, $y)") }}
}

?可以看到我我們創(chuàng)建了兩個集合為p1和p2，再使用cartesian進行求笛卡爾積，最后已每個輸出為僅有x，y兩個元素的元組形式進行遍歷輸出。

運行代碼，看看結(jié)果

可以看到成功輸出了笛卡爾積?

2.subtract

• subtract()方法用于將前一個RDD中在后一個RDD出現(xiàn)的元素刪除，可以認(rèn)為是求補集的操作，返回值為前一個RDD去除與后一個RDD相同元素后的剩余值所組成的新的RDD。兩個RDD的順序會影響結(jié)果。
• 創(chuàng)建兩個RDD，分別為rdd1和rdd2，包含相同元素和不同元素，通過subtract()方法求rdd1和rdd2彼此的補集。

import org.apache.spark.{SparkConf, SparkContext}object p1 {def main(args: Array[String]): Unit = {val conf=new SparkConf().setMaster("local").setAppName("p2")val sc=new SparkContext(conf)val p1 = sc.parallelize(Seq(1, 2, 3, 4, 5))val p2 = sc.parallelize(Seq(3, 4, 5, 6, 7))// 對p1執(zhí)行subtract操作，移除p2中存在的元素val pp = p1.subtract(p2)val ppp = pp.collect()ppp.foreach(println)}
}

可以看到我們的代碼創(chuàng)建了一個p1與p2，它們中間有共同元素3，4，5，那么對p1使用?subtract方法移除與p2共同元素后，打印出來應(yīng)該只有1與2，現(xiàn)在我們運行代碼看看是否與所預(yù)期一致。

可以看到成功輸出1，2，代碼有效，快去練習(xí)吧~?

拓展-方法參數(shù)設(shè)置與笛卡爾積

1.方法參數(shù)設(shè)置

?a.cartesian方法

參數(shù)/屬性	說明	使用例子	不同參數(shù)/屬性的效果
RDD2	另一個RDD，用于計算笛卡爾積	RDD1.cartesian(RDD2)	不同的RDD2會導(dǎo)致不同的笛卡爾積結(jié)果。笛卡爾積的大小是RDD1和RDD2大小的乘積。
			隨著RDD1和RDD2的大小增加，笛卡爾積的結(jié)果集急劇增大。
			合適的分區(qū)策略可以提高cartesian操作的性能。

b.?subtract方法

參數(shù)/屬性	說明	使用例子	不同參數(shù)/屬性的效果
RDD2	從當(dāng)前RDD中去除與RDD2相同的元素	RDD1.subtract(RDD2)	不同的RDD2會導(dǎo)致從RDD1中去除的元素數(shù)量和內(nèi)容不同。
numPartitions	（可選）結(jié)果RDD的分區(qū)數(shù)量	RDD1.subtract(RDD2, numPartitions)	如果指定，則控制結(jié)果RDD的分區(qū)數(shù)量，影響計算的并行度和性能。
			如果不指定，通常使用默認(rèn)分區(qū)策略。
數(shù)據(jù)分布	RDD中數(shù)據(jù)的分布情況		不均勻的數(shù)據(jù)分布可能導(dǎo)致某些分區(qū)上的計算任務(wù)比其他分區(qū)更重。
			優(yōu)化的數(shù)據(jù)分布可以提高subtract操作的性能。
重復(fù)元素	RDD中可能存在的重復(fù)元素		subtract操作不會特殊處理重復(fù)元素，它們會按照正常規(guī)則被去除或保留。

2.笛卡爾積

?笛卡爾積是數(shù)學(xué)術(shù)語，又稱直積。假設(shè)集合A={a,b}，集合B={0,1,2}，則A和B的笛卡爾積為{(a,0),(a,1),(a,2),(b,0),(b,1),(b,2)}?？梢詳U展到多個集合。類似的，多個二元組集合的笛卡爾積是各集合中所有二元組的一個組合，組合的前提是各集合中的二元組數(shù)目相等。做笛卡爾積的兩個集合A和B中可以不含有重復(fù)元素，也可以包含重復(fù)元素。

在大數(shù)據(jù)中，笛卡爾積的作用主要體現(xiàn)在數(shù)據(jù)組合和擴展方面。具體來說，當(dāng)需要對兩個或多個數(shù)據(jù)集進行組合時，可以使用笛卡爾積來生成所有可能的組合。這種組合方式在數(shù)據(jù)分析、數(shù)據(jù)挖掘以及機器學(xué)習(xí)等領(lǐng)域中非常有用，因為它可以幫助我們創(chuàng)建更豐富的數(shù)據(jù)集，以便進行更深入的分析和建模。