相关商品

  • 奥松 树莓派原型扩展板 Prototype Shield for Raspberry Pi 支持3B/3B+
  • 爱上Raspberry Pi 3代套件 树莓派全家福入门套件 7寸液晶屏
  • AMP 安普超五类网线 原装 Raspberry Pi 树莓派 pcDuino专用 网线
  • 2.4G USB 无线键盘 触摸鼠标 Banana Pi Raspberry pi3 树莓派B+ 树莓派3代
  • Pcduino 超越树莓派 Arduino ARM Cortex-A8 支持Android Linux
  • 双头HDMI连接线 高清外置HDMI线 转接线 树莓派 PcDuino接线
  •  树莓派 二代 Raspberry Pi Mod B 512MB REV2.0 英标绿版
  • iPazzPort 迷你无线键盘鼠标 免驱 即插即用 树莓派 pcduino专用
  • 通用AV数据线 树莓派套件 AV视频线 优质接头 7寸液晶显示器专用
  • 树莓派系统 SD卡 8G存储 金士顿 数码相机 手机 汽车导航
  • HDMI转VGA 高清适配器 转换器 转接线 Apple 树莓派 PcDuino专用
  • PcDuino 树莓派控制器 开关电源适配器 5V 2A 充电器 适配器
  • Raspberry Pi 树莓派 B+ 2代 pcDuino专用 散热片 纯铜 CPU散热
  • RS原装 树莓派 二代 Raspberry Pi Mod B 512MB REV2.0
  • 树莓派 Raspberry PI 美国进口 外壳 黄色 散热片 Sparkfun原装
  • 树莓派 Raspberry PI 美国进口 外壳 黑色 散热片 Sparkfun原装
  • 爱上Raspberry Pi 入门套件 树莓派3套件 爱上树莓派套件 含中文教材 现货
  • Raspberry Pi 3 树莓派3摄像头 Camera V2 element14 800万像素
  • 树莓派外壳盒 Raspberry Pi 外壳 粉色 散热片 Sparkfun原装进口
  • Raspberry Pi 树莓派 TF转SD卡套 转接器 TF卡套 树莓派专用
  • Raspberry Pi 树莓派 B+ 2代 PcDuino专用 纯铝 CPU散热片 3片
  • 树莓派 Raspberry Pi 亚克力 透明 外壳 盒子 保护盒子 防静电
  • Gertboard 树莓派扩展板 Raspberry Pi专用 Sparkfun 原装进口
  • 树莓派 Raspberry Pi 美国进口 外壳 蓝色 散热片  sparkfun原装进口
  • Raspberry Pi 树莓派 用户指南 爱上树莓派 linux开发板 入门教材
  • Prototype Shield for RasPi 树莓派 Raspberry Pi 原型扩展板
  • Raspberry Pi 快速入门指南 爱上树莓派指南 中文教材
  • 12V 1A 开关电源适配器 树莓派 Raspberry Pi 液晶屏 适配器
  • Raspberry Pi Python 编程入门 树莓派 快速入门指南 中文教材
  • PiFace 扩展板 树莓派 Raspberry Pi GPIO 扩展板 Sparkfun 原装
  • Micro USB 数据线 Raspberry Pi 树莓派 mini usb显示器 连接线
  • 树莓派B+外壳 Raspberry PI 黑色 包装壳 Sparkfun原装 美国进口
  • 树莓派应用速成 Raspbmc媒体中心 爱上树莓派 入门指南
  • 树莓派应用速成 网络应用秘方 爱上树莓派 快速入门指南
  • 奥松机器人 树莓派1B+ Raspberry Pi 1B+
  • Raspberry pi 2代 3代 树莓派控制器B+ 支架 3D打印 机器人固定架
  • 爱上Raspberry Pi 第2版 树莓派编程快速入门手册 零基础 入门学习必备中文教材
  • 7寸液晶屏 树莓派显示器 HDMI 高清全彩 车载显示器 Raspberry Pi
  • Adafruit 原装进口 Pimoroni PiBrella Raspberry PI 树莓派配套
  • Adafruit 原装进口 Pimoroni PiGlow Raspberry PI 树莓派2代
  • Adafruit 国外原装进口 Raspberry Pi 2代 3代 树莓派原型扩展板 面包板
  • Adafruit 国外原装进口 Raspberry Pi 2代 3代 树莓派原型扩展板 面包板
  • Adafruit原装进口 PiTFT外壳 Raspberry Pi 树莓派B专用一体外壳
  • adafruit 原装进口 Printrbot 1405型号3D打印机 3D打印塑形机
  • Adafruit 原装进口 MonkMakes Raspberry Pi2 树莓派 电机驱动板
  • 树莓派爱好者学习 树莓派媒体中心 网络应用秘方 树莓派学习套餐搭配组合
  • 树莓派外壳 Raspberry Pi 外壳 适用B+/2B/3B/3B+ 彩色 通用乐高外壳
  • 树莓派3代B型套件 爱上树莓派 Raspberry Pi 编程开发套件
  • 树莓派3控制器 HiFiBox DAC 树莓派扩展板 机器人声卡 I2S DAC+
  • 树莓派瑞士军刀扩展板 SAKS April v2.0版 Raspberry Pi 通用兼容
  • 树莓派Pico 微控制器 Raspberry Pi Pico AI开发板 RP2040双核处理器
  • 当前位置: 首页 > 应用教程 > 【创客学堂】树莓派搭建Hadoop集群

    【创客学堂】树莓派搭建Hadoop集群

    编辑:anna2013-12-31 24055570@qq.com 浏览次数:1675


    Hadoop是由Java实现的, 所以在树莓派上运行就和在其他x86平台上运行一样简单. 首先, 我们需要安装支持树莓派的JVM. 可以选用OpenJDK或者Oracle的JDK 8. 我个人推荐JDK8, 其速度稍微快些, 但是OpenJDK安装更容易些.

    1. 安装Java

    安装OpenJDK十分简单, 只要执行以下命令

    pi@raspberrypi ~ $ sudo apt-get install openjdk-7-jdk
    pi@raspberrypi ~ $ java -version
    java version "1.7.0_07"
    OpenJDK Runtime Environment (IcedTea7 2.3.2) (7u7-2.3.2a-1+rpi1)
    OpenJDK Zero VM (build 22.0-b10, mixed mode)
    另外, 我们可以选择安装Oracle的JDK 8.
    可以从这获得: https://jdk8.java.net/fxarmpreview/index.html

    pi@raspberrypi ~ $sudo tar zxvf jdk-8-ea-b36e-linux-arm-hflt-*.tar.gz -C /opt
    pi@raspberrypi ~ $sudo update-alternatives --install "/usr/bin/java"
    "java" "/opt/jdk1.8.0/bin/java" 1
    pi@raspberrypi ~ $ java -version
    java version "1.8.0-ea"
    Java(TM) SE Runtime Environment (build 1.8.0-ea-b36e)
    Java HotSpot(TM) Client VM (build 25.0-b04, mixed mode)

    如果你两个都装了, 用以下命令来切换即可:

    sudo update-alternatives --config java

    2. 新增一个hadoop系统用户

    pi@raspberrypi ~ $ sudo addgroup hadoop
    pi@raspberrypi ~ $ sudo adduser --ingroup hadoop hduser
    pi@raspberrypi ~ $ sudo adduser hduser sudo

    3. 设置SSH

    pi@raspberrypi ~ $ su - hduserhduser@raspberrypi ~ $ ssh-keygen -t rsa -P ""
    这会生成一个匹配空密码的RSA密钥. 在与其他节点通讯时Hadoop将不再提示输入密码

    hduser@raspberrypi ~$ cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys
    现在设置SSH允许用刚生成的密钥访问

    hduser@raspberrypi ~$ ssh localhost
    现在我们就应该可以不使用密码也可以登录了

    4. 安装Hadoop

    我们可以从http://www.apache.org/dyn/closer.cgi/hadoop/core下载hadoop

    hduser@raspberrypi ~$ wget http://mirror.catn.com/pub/apach ... hadoop-1.1.2.tar.gz
    hduser@raspberrypi ~$sudo tar vxzf hadoop-1.1.2.tar.gz -C /usr/local
    hduser@raspberrypi ~$cd /usr/local
    hduser@raspberrypi /usr/local$ sudo mv hadoop-1.1.2 hadoop
    hduser@raspberrypi /usr/local$ sudo chown -R hduser:hadoop hadoop

    现在hadoop就安装好了. 编译home目录下的.bashrc文件, 将以下内容添加到其中

    export JAVA_HOME=/usr/lib/jvm/java-6-openjdk-armhf
    export HADOOP_INSTALL=/usr/local/hadoop
    export PATH=$PATH:$HADOOP_INSTALL/bin

    如果你用的是oracle的JDK, 相应的修改JAVA_HOME.

    重启一下树莓派来验证安装是否成功:

    hduser@raspberrypi ~$ hadoop version
    Hadoop 1.1.2
    Subversion https://svn.apache.org/repos/asf/hadoop/common/branches/
    branch-1.1 -r 1440782
    Compiled by hortonfo on Thu Jan 31 02:03:24 UTC 2013
    From source with checksum c720ddcf4b926991de7467d253a79b8b

    5. 配置Hadoop

    注意: 这里的配置是hadoop单节点模式的最低配.

    配置文件位于"/usr/local/hadoop/conf/", 我们需要修改core-site.xml, hdfs-site.xml, mapred-site.xml三个文件
    core-site.xml

    < configuration>

    hadoop.tmp.dir
    /fs/hadoop/tmp


    fs.default.name
    hdfs://localhost:54310

    < /configuration>
    mapred-site.xml

    < configuration>

    mapred.job.tracker
    localhost:54311

    < /configuration>
    hdfs-site.xml

    < configuration>

    dfs.replication
    1

    < /configuration>

    哦了, 即将完工, 还剩最后一步.

    hduser@raspberrypi ~$ sudo mkdir -p /fs/hadoop/tmp
    hduser@raspberrypi ~$ sudo chown hduser:hadoop /fs/hadoop/tmp
    hduser@raspberrypi ~$ sudo chmod 750 /fs/hadoop/tmp
    hduser@raspberrypi ~$hadoop namenode -format

    注意:
    如果选用的是JDK 8, 我们需要强制在JVM client模式下运行DataNode, 因为JDK 8还不支持server模式. 进入/usr/local/hadoop/bin目录中来编辑hadoop文件(请先备份). 使用nano进行修改的步骤如下:nano hadoop, ctrl-w输入“-server”进行查找. 我们需要删除“-server”这个参数, 然后保存退出就行了.

    hadoop单节点系统就算是搭建完成了. 下面给一些有用的命令.

    1. jps // 输出本地VM标识符
    2. start-all.sh // 启动所有hadoop进程
    3. stop-all.sh // 停止所有hadoop进程
     

     

    相关文章:

    玩转树莓派之GPIO输入与输出:http://www.alsrobot.cn/article-233.html

    Raspberry Pi树莓派显示屏RCA接口:http://www.alsrobot.cn/article-211.html

    玩转树莓派 Raspberry Pi之视频输出配置:http://www.alsrobot.cn/article-208.html

    如何在windows系统下用串口通信完爆raspberry pi(树莓派):http://www.alsrobot.cn/article-141.html

    活用树莓派摄像头 小米手机变身监控利器:http://www.alsrobot.cn/article-129.html

    树莓派又有新功能:摇变网络打印机服务器:http://alsrobot.cn/article-241.html

    • 用户评价

    暂时还没有任何用户评论

    总计 0 个记录,共 1 页。 第一页 上一页 下一页 最末页
    用户名: 匿名用户
    E-mail:
    评价等级:
    评论内容:
    验证码:
    captcha

    Hi,大家好,我是小奥!

    欢迎来到奥松机器人的世界!

    需要咨询服务请点小奥哦!

    • 销售咨询: 销售咨询
    • 销售咨询: 销售咨询
    • 技术支持: 技术支持
    • 咨询电话:
      0451-86628691
    Top