本文共 588 字,大约阅读时间需要 1 分钟。
Hadoop on YARN 环境下,MapReduce程序运行时JAR包查找的原理以及解决JAR包冲突的方法
在Hadoop框架中,预置的JAR包会优先被加载,这可能导致与应用程序的JAR包版本冲突。以下是解决问题的详细步骤。
一、问题分析我的MR程序使用jackson库1.9.13版本,而Hadoop预置1.8.8版本,导致无法使用新接口。运行时出现错误:org.codehaus.jackson.JsonNode.asText()。
二、YARN执行流程
三、解决方法
四、代码修改在MRApps类中修改YARN_APPLICATION_CLASSPATH配置,确保应用JAR包优先加载。
五、优化方案
通过以上方法,可以确保应用程序的JAR包优先加载,解决冲突问题。
转载地址:http://gcrfk.baihongyu.com/