前向hadoop提交的任务数越来越多， 任务的执行是按照FIFO的默认调度算法执行的，这样会造成一些任务，即使只有1，2个map或reduce，独占资源的现象，因此改为公平调度算法。
cdh hadoop 0.20.2+320 的hadoop lib目录已经包含公平调度算法的包。如果没有应该从$HADOOP_HOME/contrib/fairscheduler目录下，把那个jar包（我在这里是hadoop-fairscheduler-0.20.2+320.jar）复制到lib目录下。然后修改配置文件： 1。在mapred-site.xml 中将 <property> <name>mapred.jobtracker.taskScheduler</name> <value>org.apache.hadoop.mapred.JobQueueTaskScheduler</value> <description>The class responsible for scheduling the tasks.</description> </property> 改为 <property> <name>mapred.jobtracker.taskScheduler</name> <value> org.apache.hadoop.mapred.FairScheduler</value> <description>The class responsible for scheduling the tasks.</description> </property> 2。在mapred-site.xml 中加入： <property> <name>mapred.fairscheduler.allocation.file</name> <value> /usr/local/hadoop/conf/pools.xml</value> </property> 3。创建 /usr/local/hadoop/conf/pools.xml 文件内容 ： <?xml version="1.0"?> <allocations> <pool name="root"> <minMaps>10</minMaps> <minReduces>5</minReduces> </pool> <user name="root"> <maxRunningJobs>6</maxRunningJobs> </user> <userMaxJobsDefault>3</userMaxJobsDefault> </allocations> 其中 <user name="root"> <maxRunningJobs>6</maxRunningJobs> </user> 规定用户root可同时运行的job数量； <pool name="root"> <minMaps>10</minMaps> <minReduces>5</minReduces> </pool> 规定这个池的最小map和reduce数量； <userMaxJobsDefault>3</userMaxJobsDefault> 规定未指定用户可提交的最大job数量；