WHCSRL 技术网

火花装置

目录

spark安装

前言

资料链接

安装scala

创建scala工作目录

 配置环境变量(三台机器)

查看是否安装成功

 分发到节点

 验证

安装spark

创建spark工作目录

 编辑spark-env.sh

 配置spark从节点

 配置环境变量(三台机器)

 分发到节点

测试运行环境(只在master节点执行)

 访问spark web界面

开启spark-shell

 输入pyspark测试python环境spark交互模式


spark安装

Apache Spark 是专为大规模数据处理而设计的快速通用的计算引擎。Spark是UC Berkeley AMP lab (加州大学伯克利分校的AMP实验室)所开源的类Hadoop MapReduce的通用并行框架,Spark,拥有Hadoop MapReduce所具有的优点;但不同于MapReduce的是——Job中间输出结果可以保存在内存中,从而不再需要读写HDFS,因此Spark能更好地适用于数据挖掘与机器学习等需要迭代的MapReduce的算法。


前言

在部署完hadoop集群后,再安装scala与spark

Spark 是在 Scala 语言中实现的,它将 Scala 用作其应用程序框架。与 Hadoop 不同,Spark 和 Scala 能够紧密集成,其中的 Scala 可以像操作本地集合对象一样轻松地操作分布式数据集。

资料链接

链接:https://pan.baidu.com/s/1ytGL3cLGQxGltl5bHrSBQQ 
提取码:yikm 

安装scala

创建scala工作目录

  1. mkdir -p /usr/scala/
  2. tar -xvf /usr/package/scala-2.11.12.tgz -C /usr/scala/

 配置环境变量(三台机器)

vim /etc/profile

添加以下内容:

  1. #scala
  2. export SCALA_HOME=/usr/scala/scala-2.11.12
  3. export PATH=$SCALA_HOME/bin:$PATH

 

 生效环境变量

 source /etc/profile

查看是否安装成功

scala -version

 

 分发到节点

  1. scp -r /usr/scala/ root@slave1:/usr/
  2. scp -r /usr/scala/ root@slave2:/usr/

 

 验证

scala -version

安装spark

创建spark工作目录

  1. mkdir -p /usr/spark
  2. tar -zxvf /usr/package/spark-2.4.0-bin-hadoop2.7.tgz -C /usr/spark/

 编辑spark-env.sh

  1. cd /usr/spark/spark-2.4.0-bin-hadoop2.7/conf
  2. mv spark-env.sh.template spark-env.sh
  3. vim spark-env.sh

添加以下内容:

  1. export SPARK_MASTER_IP=master
  2. export SCALA_HOME=/usr/scala/scala-2.11.12
  3. export SPARK_WORKER_MEMORY=8g
  4. export JAVA_HOME=/usr/java/jdk1.8.0_171
  5. export HADOOP_HOME=/usr/hadoop/hadoop-2.7.3
  6. export HADOOP_CONF_DIR=/usr/hadoop/hadoop-2.7.3/etc/hadoop

 配置spark从节点

  1. mv slaves.template slaves
  2. vim slaves

 修改localhost:

  1. slave1
  2. slave2

 配置环境变量(三台机器)

vim /etc/profile

添加以下内容:

  1. #spark
  2. export SPARK_HOME=/usr/spark/spark-2.4.0-bin-hadoop2.7
  3. export PATH=$SPARK_HOME/bin:$PATH

生效环境变量

source /etc/profile

 分发到节点

  1. scp -r /usr/spark/ root@slave1:/usr/
  2. scp -r /usr/spark/ root@slave2:/usr/

测试运行环境(只在master节点执行)

启动hadoop

/usr/hadoop/hadoop-2.7.3/sbin/start-all.sh

启动spark集群

/usr/spark/spark-2.4.0-bin-hadoop2.7/sbin/start-all.sh

 jps查看进程

 

 

 访问spark web界面

192.168.111.3:8080

 

开启spark-shell

spark-shell

 输入以下命令测试:

println("Hello world")

 输入pyspark测试python环境spark交互模式

pyspark

 输入命令测试:

 print("Hello world")

输入quit()可退出

 

 

推荐阅读