Skip to main content
Have a personal or library account? Click to login
面向MapReduce的Hadoop优化 Cover

面向MapReduce的Hadoop优化

Chinese Edition

Publisher:Packt Publishing Limited
By:  and    
Paid access
|Sep 2024
Product purchase options
This title is not yet available for download
Description

汇聚社区经验精华，阐述配置Hadoop集群运行最优MapReduce作业的方法

Key Features

  • 原理与实践相结合，通过原理讲解影响MapReduce性能的因素
  • 透过实例一步步地教读者如何发现性能瓶颈并消除瓶颈，如何识别系统薄弱环节并改善薄弱环节
  • 讲解过程中融合了作者在优化实践过程中积累的丰富经验，具有很强的针对性
  • 既覆盖了系统层面的优化又覆盖程序层面的优化

Book Description

大数据时代，MapReduce的重要性不言而喻。Hadoop作为MapReduce框架的一个实现，受到业界广泛的认同，并被广泛部署和应用。尽管Hadoop为数据开发工程师入门和编程提供了极大便利，但构造一个真正满足性能要求的MapReduce程序并不简单。数据量巨大是大数据工作的现实问题，而对低响应时间的要求则时常困扰着数据开发工程师。
本书采用原理与实践相结合的方式，通过原理讲解影响MapReduce性能的因素，透过实例一步步地教读者如何发现性能瓶颈并消除瓶颈，如何识别系统薄弱环节并改善薄弱环节，讲解过程中融合了作者在优化实践过程中积累的丰富经验，具有很强的针对性。读完本书，能让读者对Hadoop具有更强的驾驭能力，从而构造出性能最优的MapReduce程序。
Hadoop性能问题既是程序层面的问题，也是系统层面的问题。本书既覆盖了系统层面的优化又覆盖了程序层面的优化，非常适合Hadoop管理员和有经验的数据开发工程师阅读。对于初学者，本书第1章也作了必要的技术铺垫，避免对后面章节的理解产生梯度。

What you will learn

  • 量化Hadoop集群的节点配置
  • 利用Hadoop MapReduce性能计数器判断资源瓶颈
  • 正确设置mapper和reducer的数量
  • 使用压缩技术和Combiner优化map和reduce任务的吞吐量和代码量
  • 理解各种调优属性以及优化集群的最佳实践
  • 判断Hadoop集群的薄弱环节
  • 了解影响MapReduce性能的因素

Who this book is for

对于Hadoop系统管理员、开发人员、MapReduce使用者或者初学者而言，本书是优化集群和应用程序的最佳选择。读者不必事先具备创建MapReduce应用程序的知识，但具备这些知识有助于增进对概念的理解，更有助于理解MapReduce类模板代码片段。

Table of Contents

  1. 了解Hadoop MapReduce
  2. Hadoop参数概述
  3. 检测系统瓶颈
  4. 识别资源薄弱环节
  5. 强化map和reduce任务
  6. 优化MapReduce任务
  7. 最佳实践与建议
PDF ISBN: 978-1-83620-450-3
Publisher: Packt Publishing Limited
Copyright owner: © 2024 Packt Publishing Limited
Publication date: 2024
Language: English
Pages: 110
Related subjects:
Computer sciences,
Operating systems
BISAC subjects:
COM046000,
COM000000,
COM051390
Thema subjects:
UL,
UB,
UM

People also read