那对于本地开发环境和真实环境的区别应该只是目标机器.
附:相关
> Is Hadoop in Docker container faster/worth it?
> Using Hadoop and Spark on Docker containers> Run a hadoop cluster on docker containers> How to set up Hadoop in Docker Swarm?> Is it possible to start multi physical node hadoop clustster using docker?> Multi-node Hadoop cluster with Docker和许多https://stackoverflow.com/questions/tagged/hadoop+docker
有一些 Hadoop images on Docker Hub,但是如果你想要适合不同环境的东西,你需要完全分布式运行 – 即使用HDFS和YARN主节点的容器,以及工作节点的多个容器.我有一个可以用作起点的图像:sixeyed/hadoop-dotnet.您可以从Dockerfile看到它从Java基本映像开始,安装Hadoop并使用startup script,因此容器可以作为主服务器运行或者工人.
这意味着您可以使用最新的网络堆栈运行Docker的分布式集群:
docker network create hadoop docker run -d -p 50070:50070 -p 8088:8088 \ --network hadoop --name hadoop-dotnet-master \ sixeyed/hadoop-dotnet master docker run -d -p 50075:50075 -p 8142:8042 -p 19888:19888 \ --network hadoop sixeyed/hadoop-dotnet worker
或者,您可以使用a Docker Compose file运行完全分布式群集.
该图像还包括.NET Core,但如果您不使用它,则可以删除该部分.
精彩评论