如何获取Flume连接HDFS所需要的包

在学习Hadoop工具中的Flume时,有的小伙伴会遇到这句话:

“Flume要想将数据输出到HDFS,必须持有Hadoop相关jar包”

然后小伙伴就懵逼了,这些包要去什么地方来找呢?
(远在天边,近在眼前)


首先,我们需要的包有

commons-configuration-1.6.jar、
hadoop-auth-2.7.6.jar、
hadoop-common-2.7.6.jar、
hadoop-hdfs-2.7.6.jar、
commons-io-2.4.jar、
htrace-core-3.1.0-incubating.jar

这些包要放在/flume/lib文件夹下。

其中,后两个jar为1.99版本flume必须引用的jar。其他版本可以不引用。


接下来找到你的Hadoop文件

都学到Flume了,肯定能找到自己的Hadoop文件吧(心虚)

进入hadoop-3.3.0\share\hadoop路径

然后在这个位置搜索上面你所需要的几个包
注意:搜索时只能搜索包的名字,不要带版本号,不然容易搜不到

这样就找到了,接下来只需要打开你的Xshell或者其他什么东西连接linux主机,把这些文件拖拽进/flume/lib就可以用了

© 版权声明
THE END
支持一下吧
点赞8 分享
评论 抢沙发
头像
请文明发言!
提交
头像

昵称

取消
昵称表情代码快捷回复

    暂无评论内容