設定 Spark 上下文

在 R 中設定 Spark 上下文

要開始使用 Sparks 分散式資料幀,必須將 R 程式與現有 Spark Cluster 連線。

library(SparkR)
sc <- sparkR.init() # connection to Spark context
sqlContext <- sparkRSQL.init(sc) # connection to SQL context

以下是如何將 IDE 連線到 Spark 群集的資訊。

獲取 Spark Cluster

有一個帶有安裝說明的 Apache Spark 介紹主題 。基本上,你可以通過 java 本地使用 Spark Cluster( 請參閱說明 )或使用(非免費)雲應用程式(例如 Microsoft Azure [topic site]IBM )。