WHCSRL 技术网

hadoop订单项目实战

1.到https://github.com/rathboma/hadoop-framework-examples#readme网址下载该项目文件
在这里插入图片描述

2.删除test文件夹
在这里插入图片描述

修改RawMapducer.java文件的路径地址

在这里插入图片描述

3.修改pom.xml文件
删除该文件的一下内容:

<dependency>
  <groupId>org.apache.commons</groupId>
  <artifactId>commons-io</artifactId>
  <version>1.3.2</version>
  <scope>test</scope>
</dependency>
<dependency>
  <groupId>commons-httpclient</groupId>
  <artifactId>commons-httpclient</artifactId>
  <version>3.1</version>
  <scope>test</scope>
</dependency>
<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-test</artifactId>
  <version>2.0.0-mr1-cdh4.3.1</version>
  <scope>test</scope>
</dependency>
<dependency>
  <groupId>junit</groupId>
  <artifactId>junit</artifactId>
  <version>4.8.2</version>
  <scope>test</scope>
</dependency>
  • 1
  • 2
  • 3
  • 4
  • 5
  • 6
  • 7
  • 8
  • 9
  • 10
  • 11
  • 12
  • 13
  • 14
  • 15
  • 16
  • 17
  • 18
  • 19
  • 20
  • 21
  • 22
  • 23
  • 24

并修改如下:
在这里插入图片描述

<dependency>
  <groupId>org.apache.hadoop</groupId>
  <artifactId>hadoop-client</artifactId>
  <version>3.3.1</version>
</dependency>
  • 1
  • 2
  • 3
  • 4
  • 5

4.将windows系统下的文件上传到服务器的hadoop系统上,使用sftp工具在windows系统下找到hadoop项目文件和老师所给的transactions.txt和users.txt文件通过拖拽到服务器上的hadoop文件系统即可,也可以通过复制粘贴方法。
在这里插入图片描述

5.通过putty工具远程连接服务器主机
在这里插入图片描述

6.格式化配置的HDFS文件系统:hadoop namenode -format

7.进入hadoop文件系统:cd /usr/local/hadoop

在这里插入图片描述

8.依次创建对应的数据所在文件夹
注意:新建目录集/user/path/users与/users/path/transactions/ 请注意,目录需要一层层创建,否则会出错。
在这里插入图片描述

9.把hadoop系统中的transactions.txt和users.txt文件放到users与transactions文件夹中。

10.进入到该项目的target目录下启动分布式文件系统:start-dfs.sh和start-yarn.sh

在这里插入图片描述

10.执行该命令运行该项目:

hadoop jar java-mapreduce-1.0-SNAPSHOT-jar-with-dependencies.jar

在这里插入图片描述

在这里插入图片描述

Transactions的路径:

/home/hadoop/Hadoop_3/hive/data/transactions

Users的路径:
/home/hadoop/Hadoop_3/hive/data/users

/home/hadoop/Hadoop_3/java-mapreduce/target

11.在网页输入主机IP+:9870地址,查看运行结果输出的文件
在这里插入图片描述

三、中间遇到的问题

1.在网页没有查看到output文件
需要把staging文件夹通过命令行删除:
bin/hadoop fs -rm -r /user/path/staging
错误显示界面如下:
在这里插入图片描述
正确显示界面如下;
在这里插入图片描述

2.点击Download无法下载问题,浏览器显示访问的网页无法访问问题
在自己windows-》System32-》drivers-》etc-》hosts文件使用记事本软件打开最后添加上自己服务器主机的:IP+主机名称(中间用一个英文空格隔开)。修改完成即可通过浏览器访问下载文件

下载的结果文件使用记事本打开如下:

四、实验总结:
虽然本次实验画了一些时间,去摸索查资料如何运行hadoop项目。在操作过程中也踩了不少的坑,但是到最后还是成功解决,在解决过程中需要内心去查资料,参考别人的解决方法。等自己把该项目运行成功就很有成就感,感觉并没有那么高深莫测也没有那么难,就是那样而已。

推荐阅读