博客
关于我
强烈建议你试试无所不能的chatGPT,快点击我
Hadoop 集群的基准测试
阅读量:4566 次
发布时间:2019-06-08

本文共 576 字,大约阅读时间需要 1 分钟。

集群搭建完毕之后,需要对集群进行基准测试

     第一方面:基本测试

            服务启动,是否可用,简单的应用  

           *hdfs

                 读写操作

                 bin/hdfs dfs -mkdir - p /user/chris/tmp/conf

                 bin/hdfs dfs -put etc/hadoop/xxx.xml /user /chris/tmp/conf

                bin/hdfs dfs -text /user /chris/tmp/conf

           *yarn

               run jarn

            *mapreduce

               bin/jar jar share/hadoop/mapreduce/hadoop*example*.jar wordcount /user/chris/mapreduce/wordcount/input /user/chris/mapreduce/wordcount/output

             可以多弄几个mapreduce 跑

    第二方面:基准测试

             测试集群的性能

            *hdfs

                 写数据

                 读数据

            *多弄一些小文件,测试namenode

            *测试yarn,测网络传输

            *测试mapreduce

     第三方面:监控集群

           cloudera manager(第三方软件)

                  部署安装集群

                  监控集群

                  配置同步集群

                  预警

 

转载于:https://www.cnblogs.com/pickKnow/p/10820128.html

你可能感兴趣的文章
第十八周 12.27-1.2
查看>>
C# IP地址字符串和数值转换
查看>>
TCHAR和CHAR类型的互转
查看>>
常用界面布局
查看>>
C语言—— for 循环
查看>>
IBM lotus9.0测试版即将公测
查看>>
xml常用方法
查看>>
Cube Stacking(并差集深度+结点个数)
查看>>
AndroidStudio3更改包名失败
查看>>
jq 删除数组中的元素
查看>>
添加按键事件处理及事件处理的参数传递
查看>>
js URL中文传参乱码
查看>>
Leetcode 367. Valid Perfect Square
查看>>
UVALive 3635 Pie(二分法)
查看>>
win系统查看自己电脑IP
查看>>
Backup&recovery备份和还原 mysql
查看>>
全局变量、局部变量、静态全局变量、静态局部变量的区别
查看>>
一道面试题及扩展
查看>>
Unity 3D 我来了
查看>>
setup elk with docker-compose
查看>>