oozie 入門

Oozie 是一個 Apache 開源專案,最初是在雅虎開發的。Oozie 是一個用於多級 Hadoop 作業的通用排程系統。

  • Oozie 允許將相關 Hadoop 作業的邏輯分組形成一個名為 Workflow 的實體。Oozie 工作流程是動作的 DAG(定向迴圈圖)。
  • Oozie 提供了一種使用名為 Coordinator 的實體來安排時間資料相關工作流的方法。
  • 此外,你可以將相關協調員組合到名為 Bundle 的實體中,並可以在 Oozie 伺服器上進行排程以執行。

Oozie 支援大多數 Hadoop Jobs 作為 Oozie Action Nodes,如:MapRedudeJavaFileSystem(HDFS 操作),HiveHive2PigSparkSSHShellDistCpSqoop。它使用 Decision Control Node 動作提供決策功能,並使用 Fork-Join Control Node 並行執行作業。它允許使用者使用 Email 操作為工作流的成功/失敗通知配置電子郵件選項。