Hadoop

Hadoop 是大数据时代最流行的开源分布式文件系统，它的核心是 hdfs 和 map reduce. 它已发展成为一个庞大的生态系统，有众多的周边软件。

1. Install Hadoop cluster

2. Install Pseudo-Distribute Cluster (建伪群)

3. HDFS

   • Java 程序1：复制本地文件到 HDFS（需复制到 hadoop cluster 的 node 上执行）

   • Java 程序2：复制本地文件（包括目录）到 HDFS（需复制到 hadoop cluster 的 node 上执行）

   • Java 程序3：复制本地文件（包括目录）或 HDFS 文件（包括目录）（不需复制到 hadoop cluster 的 node 上即可执行）

   • 开发场景的存取权限问题

4. MapReduce

   • 搭建开发环境出现 Missing artifact jdk.tools:jdk.tools:jar:1.6 问题

   • FileInputFormat 输入类型：文件，单层目录，递归目录

5. 故障处理记录1：datanode 找不到或不能启动

官网 http://hadoop.apache.org/