专注于Docker、Container等技术的交流和分享
挖掘最有价值的资讯动态、教程、国内外优秀资源

标签:spark

在Docker中从头部署自己的Spark集群-鲸鱼云
Docker文章

在Docker中从头部署自己的Spark集群

simmonaEn阅读(186)评论(0)

由于自己的电脑配置普普通通,在VM虚拟机中搭建的集群规模也就是6个节点左右,再多就会卡的不行 碰巧接触了Docker这种轻量级的容器虚拟化技术,理论上在普通PC机上搭建的集群规模可以达到很高(具体能有多少个也没有实际测试过)

在Docker上使用Weave搭建Hadoop和Spark跨主机容器集群-鲸鱼云
Docker文章

在Docker上使用Weave搭建Hadoop和Spark跨主机容器集群

小鲸鱼阅读(54)评论(0)

功能和环境说明 实际环境是开发使用的两台服务器,每个服务器上是三个集群容器节点,总共六个节点,使用weave实现跨主机的通信,并且利用小插件可以实现在局域网或者是在外网查看监控集群的webUI和开放7077等关键端口进行程序远程调试功能。 ...

使用Docker在本地搭建hadoop,spark集群-鲸鱼云
Docker文章

使用Docker在本地搭建hadoop,spark集群

小鲸鱼阅读(84)评论(0)

简介和环境说明 本环境使用的单个宿主主机,而不是跨主机集群,本spark集群环境存在的意义可能在于便于本地开发测试使用,非常轻量级和便捷。这个部署过程,最好在之前有过一定的hadoop,spark集群部署经验的基础,本文重点在于docker...

DCOS应用案例-不同场景的应用上云迁移-鲸鱼云
Docker文章

DCOS应用案例-不同场景的应用上云迁移

小鲸鱼阅读(72)评论(0)

随着 Docker 技术的日渐火热,本就火爆的云计算行业进入了一个加速阶段。云计算最大的特点是弹性和灵活,帮助企业应对复杂的业务需求。由于云计算的IT构架和上一代的IT构架有很大不同,云原生应用(Cloud Native Applicati...

Spark集群配置-Mesosphere方案-鲸鱼云
Docker文章

Spark集群配置-Mesosphere方案

小鲸鱼阅读(127)评论(1)

【编者的话】本篇文章介绍如何搭建一个Spark基于Mesos集群,国外有个Mesosphere公司就基于Mesos做了一个数据中心控制和管理系统,官网上有很多详细mesos集成方案,我就是参考其中的Mesos+Spark方案,结果很多次失败...