运维开发网

Spark的Notebook工具汇总

运维开发网 https://www.qedev.com 2020-04-01 18:14 出处:网络 作者:运维开发网整理
工具汇总 当前Spark的Notebook工具主要有四个, Jupyter: 安装: Jupyter配置Spark开发环境 Zeppelin 安装:Spark Interpreter for Apache Zeppelin Spark Notebook: 安装:github地址 HUE 安装:HUE配置Spark Notebook 优缺点 上述四个工具都可以作为Spark代码的notebook工具

工具汇总

当前Spark的Notebook工具主要有四个,

  • Jupyter:

    • 安装: Jupyter配置Spark开发环境
  • Zeppelin

    • 安装:Spark Interpreter for Apache Zeppelin
  • Spark Notebook:

    • 安装:github地址
  • HUE

    • 安装:HUE配置Spark Notebook

优缺点

上述四个工具都可以作为Spark代码的notebook工具,但特点不同。

Jupyter是轻量级别的,打开关闭都很快,并且开启的是相当于是一个最小Spark集群,故适合代码快速测试。

Zeppelin发展迅速,特别时候数据分析,数据可视化。

Spark-notebook的资源最为丰富,提供适用于所有环境的所有版本,并且自带很多机器学习等示例。唯一的缺点是有时候界面加载特别慢。

HUE的notebook发展比较慢,比如即使是最新的3.10版,其虽然支持spark notebook,但还需自己手动配置,比较麻烦。但HUE中整合了其它的许多大数据资源,比如HDFS,Job,Hive等,提供了数据提取、分析的一站式平台,所以其非常适合作为生产环境的Notebook工具。


总结

上述软件不同的定位使得其有了各自的不同的应用场景,大家根据自己的需要来自己选取。

当然,上述四个工具还在飞速发展中,软件的功能也不仅仅只是作为Spark Notebook。


更多

  • Comparing Interactive Solutions for Running Scala and Spark: Zeppelin, Spark-notebook and Jupyter-scala
0

精彩评论

暂无评论...
验证码 换一张
取 消