国产一级簧片-国产一极毛片-国产一国产a一级毛片-国产一国产一有一级毛片-91三级视频-91大学生视频

藍鷗旗下品牌:鷗課學院
全國咨詢電話:13152008057
您的位置: 首頁 > 技術文章 > 【干貨】簡單三步在Mac上安裝Hadoop

【干貨】簡單三步在Mac上安裝Hadoop

2017-05-22 藍鷗
17320人 瀏覽:

  一、安裝Homebrew(已安裝的可以省略這一步)

  HomebrewOSX中的方便的套件管理工具。采用Homebrew安裝Hadoop非常簡潔方便(中文官網:http://brew.sh/index_zh-cn.html)

  復制下面代碼在終端中運行就可以得到安裝:

  /usr/bin/ruby -e "$(curl -fsSL https://raw.githubusercontent.com/Homebrew/install/master/install)"

  二、安裝JDK(已安裝的可以省略這一步)

  去Oracle官網下載對應的JDK

  三、SSH 免密碼的設置

  1、安裝ssh

  直接 sudo apt-get install openssh-server

  2、查看ssh運行狀態

  ps -e | grep ssh

  如果發現 sshd ssh-agent 即表明 ssh服務基本運行正常

  3、生成公鑰和私鑰

  ssh-keygen -t rsa -P ""

  4、將公鑰追加到文件

  cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

  5、測試ssh localhost

  如果發現不用輸入密碼就可以登錄那么 ssh無密碼機制就算建立成功了。

  6、失敗原因之一:.ssh及其下屬子文件的權限問題:

  首選.ssh目錄權限是700, 兩個dsa rsa的 私鑰權限是600,其余文件權限是644.

  下面列出.ssh目錄及子文件的權限表:

  drwx------ 2 hadoop hadoop 4096 2014-06-02 15:32 .

  drwxr-xr-x 34 hadoop hadoop 4096 2014-06-02 15:06 ..

  -rw-r--r-- 1 hadoop hadoop 2252 2014-06-02 15:32 authorized_keys

  -rw------- 1 hadoop hadoop 668 2014-06-02 15:11 id_dsa

  -rw-r--r-- 1 hadoop hadoop 615 2014-06-02 15:11 id_dsa.pub

  -rw------- 1 hadoop hadoop 1675 2014-06-02 15:32 id_rsa

  -rw-r--r-- 1 hadoop hadoop 407 2014-06-02 15:32 id_rsa.pub

  -rw-r--r-- 1 hadoop hadoop 442 2014-06-02 15:08 known_hosts

  7、.ssh的父目錄的權限問題(我的問題就出現在這里):

  .ssh的父目錄文件權限應該是755,即所屬用戶的 用戶文件 (/home下屬的一個用戶文件)。

  三、安裝Hadoop

  運用brew安裝hadoop代碼如下:

  $ brew install hadoop

  hadoop就安裝成功了,我安裝時最新為2.7.3。

  hadoop將按預定的路徑安裝(/usr/local/Cellar/hadoop/2.7.3)

  查看其安裝目錄可以用brew list hadoop;

  1.配置相關的環境變量

  打開終端:

  輸入 vi .bash_profile

  修改后最終樣子:

  export JAVA_HOME=/Library/Java/JavaVirtualMachines/jdk1.8.0_91.jdk/Contents/Home

  export JRE_HOME=$JAVA_HOME/jre

  export HADOOP_HOME=/usr/local/Cellar/hadoop/2.7.3

  export HADOOP_HOME_WARN_SUPPRESS=1

  export CLASS_HOME=$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH

  export PATH=$JAVA_HOME/bin:$JRE_HOME/bin:$HADOOP_HOME/bin:${PATH}

  2.配置Hadoop相關文件

  修改/usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/hadoop-env.sh 文件

  進入到 /usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop (就是Hadoop的安裝目錄下)

  vi hadoop-env.sh

  需要修改的地方:

  # The java implementation to use.

  export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_91.jdk/Contents/Home"

  # Extra Java runtime options. Empty by default.

  #export HADOOP_OPTS="$HADOOP_OPTS -Djava.net.preferIPv4Stack=true"

  export HADOOP_OPTS="-Djava.security.krb5.realm=OX.AC.UK -Djava.security.krb5.kdc=kdc0.ox.ac.uk:kdc1.ox.ac.uk"

  # The maximum amount of heap to use, in MB. Default is 1000.

  export HADOOP_HEAPSIZE=2000

  #export HADOOP_NAMENODE_INIT_HEAPSIZE=""

  修改/usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/core-site.xml 文件

  file0003.jpeg

  修改后的

  修改/usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/hdfs-site.xml 文件

file0004.jpeg

  修改/usr/local/Cellar/hadoop/2.7.3/libexec/etc/hadoop/mapred-site.xml.template 文件

file0005.jpeg

  配置完成后

  終端運行:  hadoop namenode -format

file0006.jpeg

file0007.jpeg

  運行成功效果圖

  進入:/usr/local/Cellar/hadoop/2.7.3/libexec/sbin

  運行 :

  sh start-all.sh

  或者:sh start-dfs.sh 和 sh start-yarn.sh

file0008.jpeg

file0009.jpeg

  測試命令: jps

file0010.jpeg

  成功的效果圖

  打開以下網址可以測試是否成功:

  Resource Manager : http://localhost:50070

file0011.jpeg

  正常打開的樣子

  JobTracker : http://localhost:8088

file0012.jpeg

  正常打開的樣子

  Specific Node Information : http://localhost:8042

file0013.jpeg

  正常打開的樣子


Hadoop相關課程推薦——

  大數據Hadoop入門必看

  1. 廣告1
  2. 廣告2
  3. 廣告3
  4. 廣告4
主站蜘蛛池模板: 欧美日韩一区二区三区视频在线观看 | 青青热在线精品视频免费 | 欧美一级一极性活片免费观看 | 久久精品国产亚洲高清 | 久久国产精品无码网站 | 欧美成人午夜不卡在线视频 | 黄页网站18以下禁止观看 | 久久久久久久久久久大尺度免费视频 | 美女网站18 | 性欧美久久 | 精品久久久久久久久久中文字幕 | 色综合夜夜嗨亚洲一二区 | 国产亚洲精品成人一区看片 | 三级欧美在线 | 国产亚洲欧美日韩在线观看一区二区 | 国产精自产拍久久久久久蜜 | 亚洲男人在线 | 国产欧美日韩视频在线观看一区二区 | 午夜视频在线观看一区二区 | 99精品高清视频一区二区 | 成人国产一区二区 | 日本红怡院亚洲红怡院最新 | 怡红院免费全部视频在线 | 8050网午夜一级毛片免费不卡 | 国产男女 爽爽爽爽视频 | 天堂8资源8在线 | 中国老太卖淫播放毛片 | 国产高中生粉嫩无套第一次 | 亚洲一区视频在线播放 | 亚洲国产天堂久久综合图区 | 92午夜国产福利视频1000 | 成人7777| 亚洲成人国产 | 日韩欧美视频一区二区在线观看 | 国产精品极品美女自在线看免费一区二区 | 一级特黄aaa大片在 一级特黄aaa大片在线观看 | 99色在线视频 | 午夜影院福利社 | 国产成人教育视频在线观看 | 免费欧美黄色 | 久久爽久久爽久久免费观看 |