oozie

Apache Oozie ===============

Oozie 是一个可扩展、可靠的系统,用于通过 Web 服务定义、管理、调度和执行复杂的 Hadoop 工作负载。具体来说,包括:

• 基于 XML 的声明性框架,用于指定作业或依赖作业的复杂工作流程。 * 支持不同类型的作业,如 Hadoop Map-Reduce、Pipe、Streaming、Pig、Hive 和自定义 Java 应用程序。 * 基于频率和/或数据可用性的工作流程调度。 * 监控功能,作业的自动重试和故障处理。 * 可扩展和可插拔的架构,支持任意的网格编程模式。 * 身份验证、授权和容量感知的负载限流,支持多租户的软件即服务。

Oozie 是一款基于服务器的工作流引擎,专门用于运行包含执行 Hadoop Map/Reduce 和 Pig 作业的工作流作业。Oozie 是一款 Java Web 应用程序,运行在 Java servlet 容器中。对于 Oozie 而言,工作流是一组按控制依赖关系排列的动作(即 Hadoop Map/Reduce 作业、Pig 作业)。"控制依赖关系"指的是第二个动作不能在第一个动作完成之前运行。Oozie 工作流定义是使用 hPDL(一种类似于 JBOSS JBPM jPDL 的 XML 工作流定义语言)编写的。

Oozie 工作流操作会在远程系统（即 Hadoop、Pig）中启动作业。在操作完成后，远程系统会回调 Oozie 以通知操作完成，此时 Oozie 会继续执行工作流中的下一步操作。

动作节点是工作流触发计算/处理任务执行的机制。Oozie 支持不同类型的动作: Hadoop map-reduce、Hadoop 文件系统、Pig、SSH、HTTP、电子邮件和 Oozie 子工作流。Oozie 可以扩展以支持其他动作。