sparkmagic

Sparkmagic 是一组用于在 Jupyter 笔记本中与远程 Spark 集群进行交互工作的工具。Sparkmagic 通过 REST 服务器与远程 Spark 集群进行交互。目前有三种与 Sparkmagic 兼容的服务器实现：

Sparkmagic 项目包括一组用于在多种语言中交互执行 Spark 代码的魔法，以及一些内核，可用于将 Jupyter 转换为集成的 Spark 环境。

• 通过 Livy 运行多种语言的 Spark 代码,对任何远程 Spark 集群进行处理 * 自动创建 SparkContext(sc) 和 HiveContext(sqlContext) * 使用 %%sql 魔法便捷地执行 SparkSQL 查询 * 在 PySpark、Spark 和 SparkR 内核中自动可视化 SQL 查询;使用简单的可视化界面进行交互式可视化构建,无需编写代码 * 轻松访问 Spark 应用程序信息和日志(%%info 魔法) * 可以将 SQL 查询的输出捕获为 Pandas 数据帧,以便与其他 Python 库(例如 matplotlib)进行交互 * 将本地文件或数据帧发送到远程集群(例如,直接将预训练的本地 ML 模型发送到 Spark 集群) * 通过基本访问身份验证或 Kerberos 进行 Livy 身份验证

示例