使用Docker运行Hadoop(适用于DEV和PROD环境)

使用Docker运行Hadoop的最简单方法(适用于dev和真实环境)是什么？

那对于本地开发环境和真实环境的区别应该只是目标机器.

附：相关

> Is Hadoop in Docker container faster/worth it?

> Using Hadoop and Spark on Docker containers

> Run a hadoop cluster on docker containers

> How to set up Hadoop in Docker Swarm?

> Is it possible to start multi physical node hadoop clustster using docker?

> Multi-node Hadoop cluster with Docker

和许多https://stackoverflow.com/questions/tagged/hadoop+docker

有一些 Hadoop images on Docker Hub,但是如果你想要适合不同环境的东西,你需要完全分布式运行 – 即使用HDFS和YARN主节点的容器,以及工作节点的多个容器.

我有一个可以用作起点的图像：sixeyed/hadoop-dotnet.您可以从Dockerfile看到它从Java基本映像开始,安装Hadoop并使用startup script,因此容器可以作为主服务器运行或者工人.

这意味着您可以使用最新的网络堆栈运行Docker的分布式集群：

docker network create hadoop

docker run -d -p 50070:50070 -p 8088:8088 \
    --network hadoop --name hadoop-dotnet-master \
    sixeyed/hadoop-dotnet master

docker run -d -p 50075:50075 -p 8142:8042 -p 19888:19888 \
    --network hadoop 
    sixeyed/hadoop-dotnet worker

或者,您可以使用a Docker Compose file运行完全分布式群集.

该图像还包括.NET Core,但如果您不使用它,则可以删除该部分.