博客
关于我
Hadoop-之重要生产参数调优(yarn调度资源容量配置,namenode心跳及请求线程池大小配置)
阅读量:724 次
发布时间:2019-03-21

本文共 1120 字,大约阅读时间需要 3 分钟。

Hadoop生产环境参数优化指南

作为HDFS集群的核心管理节点,NameNode负责处理用户请求和与DataNode之间的通信。为了保证集群的高效运作,NameNode内部维护了一个线程池来处理上述任务。默认情况下,NameNode会初始化10个请求处理的线程,但根据官方建议,这一线程池的大小应该根据集群规模进行调整。

NameNode线程池参数优化

要理解NameNode线程池的大小设置,我们需要考虑以下几个方面:

  • 线程池规模默认值:默认情况下,NameNode会初始化10个线程来处理客户端的请求。

  • 官方推荐公式:官方建议使用 20 * log(n),其中 n 是集群的节点数量。注意这里的 log 函数具体是自然对数还是以10为底的对数,具体取决于Hadoop的实现细节。

    例如,如果集群包含8个节点,计算方法将为 20 * log(8)。根据实际需要,可以进一步调整这个值以适应不同的集群负载情况。

  • 线程池大小的意义:线程池大小直接影响NameNode的处理能力。建议根据网站的访问压力和集群规模动态调整这一参数,以避免处理延迟陡增的情况。

  • Yarn资源分配配置

    Yarn是Hadoop的资源管理框架,负责集群内资源的动态分配。为了实现资源的充分利用,需要对以下参数进行优化配置:

  • yarn.nodemanager.resource.memory-mb:默认设置为8092MB,表示每个NodeManager节点可向容器分配的内存资源大小。该值基于物理内存计算,建议根据集群的实际内存约束进行调整。

    注意:该值不是虚拟内存,而是指物理内存的一部分,因此需要根据实际情况谨慎配置。通常建议根据集群的工作负载特点进行优化,如长时间运行的任务可能需要更大的内存支持。

  • yarn.scheduler.maximum-allocation-mb:默认值也是8092MB,表示每个Container节点申请的最大内存量。为了防止某些任务超过内存限制,建议将这个值根据任务需求和集群容量进行调整。

  • ###配置与验证

    在完成上述参数设置后,需要对集群进行充分的测试和验证,确保各项配置能够满足实际应用需求。推荐采用小规模集群进行预热测试,观察其性能表现。

    ###总结

    合理配置NameNode线程池参数和Yarn资源分配参数,是确保Hadoop集群高效运行的关键。通过动态调整上述参数,可以在不同负载情况下优化集群性能,提升整体的资源利用率。

    需要注意的是,以上参数的配置需要根据实际情况逐步调整,建议在生产环境中采用渐进式优化策略,先进行小范围测试,再逐步推广。同时,定期监控集群状态,及时发现和解决潜在问题,是保障集群稳定运行的重要手段。

    转载地址:http://pcygz.baihongyu.com/

    你可能感兴趣的文章
    mysql中int、bigint、smallint 和 tinyint的区别、char和varchar的区别详细介绍
    查看>>
    mysql中json_extract的使用方法
    查看>>
    mysql中json_extract的使用方法
    查看>>
    mysql中kill掉所有锁表的进程
    查看>>
    mysql中like % %模糊查询
    查看>>
    MySql中mvcc学习记录
    查看>>
    mysql中null和空字符串的区别与问题!
    查看>>
    MySQL中ON DUPLICATE KEY UPDATE的介绍与使用、批量更新、存在即更新不存在则插入
    查看>>
    MYSQL中TINYINT的取值范围
    查看>>
    MySQL中UPDATE语句的神奇技巧,让你操作数据库如虎添翼!
    查看>>
    Mysql中varchar类型数字排序不对踩坑记录
    查看>>
    MySQL中一条SQL语句到底是如何执行的呢?
    查看>>
    MySQL中你必须知道的10件事,1.5万字!
    查看>>
    MySQL中使用IN()查询到底走不走索引?
    查看>>
    Mysql中使用存储过程插入decimal和时间数据递增的模拟数据
    查看>>
    MySql中关于geometry类型的数据_空的时候如何插入处理_需用null_空字符串插入会报错_Cannot get geometry object from dat---MySql工作笔记003
    查看>>
    mysql中出现Incorrect DECIMAL value: '0' for column '' at row -1错误解决方案
    查看>>
    mysql中出现Unit mysql.service could not be found 的解决方法
    查看>>
    mysql中出现update-alternatives: 错误: 候选项路径 /etc/mysql/mysql.cnf 不存在 dpkg: 处理软件包 mysql-server-8.0的解决方法(全)
    查看>>
    Mysql中各类锁的机制图文详细解析(全)
    查看>>