设为首页收藏本站

小牛社区-大数据学习交流社区|大数据免费学习资源

 找回密码
 立即注册!

QQ登录

只需一步,快速开始

扫一扫,访问微社区

查看: 101|回复: 0

LinkedIn开放用于Hadoop性能测试工具

[复制链接]

162

主题

0

帖子

8

积分

吃土小白

Rank: 1

积分
8
发表于 2018-2-9 10:25:47 | 显示全部楼层 |阅读模式

LinkedIn今天发布了一个 名为Dynamometer的开源项目 ,帮助企业在不使用大量基础架构的情况下对大规模Hadoop大数据处理系统进行压力测试。
该工具旨在防止企业社交网络在2015年初遇到的问题,即公司在其Hadoop分布式文件系统(HDFS)群集中添加了500台机器以提高性能。但是,这个团队遇到了一个只是大规模bug,导致了集群的工作超时。
测功机是汽车的工具命名的,它模拟大规模集群,而只需要大约5%的实际基础设施。这有助于开发人员解决大规模测试软件的一个关键问题:即使在公有云环境中,实际配置所有这些机器的成本也可能很高。
相反,客户可以使用Dynamometer来测试他们在生产中看到的相同类型的工作负载,并确保系统能够经得起软件更改。LinkedIn使用该工具分析公司HDFS集群从Hadoop 2.3迁移到2.6,这一变化需要调整集群的某些参数以避免性能问题。
Dynamometer首席工程师Erik Krogen在一封电子邮件中告诉VentureBeat,该工具既适用于大规模使用Hadoop的公司(如LinkedIn),也适用于提议更改HDFS开源项目的小型企业,并希望确保他们不会影响性能的规模。
从长远来看,Krogen希望Dynamometer成为HDFS发布测试的一部分,以及在新版本之间定期持续集成新的代码更改。这就是LinkedIn为什么把它作为开源项目发布给公众的原因。该公司已经使用Dynamometer来帮助发布Hadoop 2.7.4,验证了维护版本对性能没有负面影响。

本帖子中包含更多资源

您需要 登录 才可以下载或查看,没有帐号?立即注册!

x
回复

使用道具 举报

您需要登录后才可以回帖 登录 | 立即注册!

本版积分规则

快速回复 返回顶部 返回列表