[整理] Hadoop入门

# 1. 环境准备

工欲善事其必先利其器。不要吝啬硬件上投入，找一个适合自己的环境！

• Windows
  • 快速打开程序
  • Cygwin：Windows本地编译需要，执行命令比 cmd 更方便
• Windows + Linux双系统
• Linux
  • 让敲Shell命令高效起来
  • 【linux 101 Hacks】读后感
    • Socket5代理
  • OpenVPN
  • docker
    • Docker入门
    • 配置ssh
    • Dnsmasq

# 2. 安装部署hadoop/spark

# 编译安装

• Hadoop安装与升级:
  • Docker中安装
  • 2.2升级到2.6
  • HA配置
  • HA升级
• Centos6 Build hadoop2.6
• Windows Build hadoop2.6
• 各版本Spark编译/搭建环境

# 功能优化

• Hadoop2 Mapreduce输入输出压缩
• Hadoop2 ShortCircuit Local Reading
• Hadoop2 Snappy Compress
  • Hive-on-spark Snappy on Centos5
• HDFS RamDisk内存缓冲

# 维护

• Hadoop集群增加节点
• 安全的关闭datanode
• 已有HDFS上部署yarn
• Hadoop不同版本yarn和hdfs混搭，spark-yarn环境配置

# 旧版本安装

• Windows下部署/配置/调试hadoop2
• Windows配置hadoop伪分布式环境(续) 不再推荐cygwin下部署Hadoop。
• 快速搭建第二个hadoop分布式集群环境
• Ant实现hadoop插件Run-on-Hadoop

# 3. 进阶

# 配置深入理解

• Hadoop的datanode数据节点机器配置
• Hadoop内存环境变量和参数
• Spark-on-yarn内存分配
• SparkSQL-on-YARN的Executors池(动态)配置

# 问题定位

• 在windows开发测试mapreduce几种方式
• 远程调试hadoop2以及错误处理方法
• 逐步定位Java程序OOM的异常

# 读码

• Hadoop2 Balancer磁盘空间平衡
  • 上
  • 中
  • 下
• Hadoop Distcp

# 其他

• Scala Wordcount on Hadoop2
• MR Rest接口

# 4. Hadoop平台

• zookeeper
• hive
  • Upgrade Hive: 0.12.0 to 0.13.1
  • tez:
    • Tez编译及使用
    • 配置TEZ-UI
  • hive on spark
    • Hive on Spark
    • Hive-on-spark Snappy on Centos5
    • Limit on Sparksql and Hive
  • DBCP参数在Hive JDBC上的实践
  • Hiveserver2 Ui and Upgrade hive2.0.0
• kafka
  • Kafka快速入门
• alluxio(tachyon)
  • Tachyon入门指南
  • Tachyon剖析
  • Alluxio入门大全2

# 5. 监控与自动化部署

# 监控

• top
• nagios
  • Nagios监控主机
• cacti Ganglia更简单
  • Cacti监控主机
  • Cacti批量添加配置
• ganglia
  • Install Ganglia on Redhat5+ 手动安装依赖太麻烦了！
  • 安装配置Ganglia(2)
  • 使用Puppet安装配置Ganglia
  • Ganglia扩展-Python
  • Ganglia页自定义视图

# 自动化

• git:
  • GIT操作记录手册
  • 打包依赖的git项目
  • 处理git冲突
• expect-批量实现SSH无密钥登录
• puppet
  • puppet4.4.1入门安装
  • puppet入门之域名证书
  • puppetdb安装配置
    • postgresql入门
  • puppet-ui
    • puppetboard安装
    • puppetexplorer设置
    • foreman
  • RPM打包
  • puppet基本使用以及配置集群
  • mcollective
    • 安装配置
    • 插件安装
  • Hiera

…

–END