hadoop hive cdh5 cent6.6


spatial-framework-for-hadoopでhive spatialを試したいのでHadoopとHiveを入れる。
とりあえず放置時間除く6~12時間程度で試せるだけ試すのを目標にする。
ちなみに1台環境のやり方、分散時はCDHインストールで調べりゃすぐ出てくる。

実験機なので新規インストール。
特段何も考えずに入れて使えるがとりあえずこの記事は入れるまで。
速度だすのは別の話だろうが。。

Hive自体は本家見るなり調べりゃいくらでも出てくる。
https://cwiki.apache.org/confluence/display/Hive/Home

Java入れる前に更新と名前解決できるようにしとく

yum -y upgrade

vi /etc/hosts
ホスト名をループバックに記述 

nmbでwin機から参照しやすいようにしとく(IP固定時は不要か)

yum -y install samba.x86_64

service nmb start
chkconfig nmb on

取り敢えずセキュリティ関連を全て切っておく(真面目にやる時は頑張って)

service iptables stop
chkconfig iptables off

setenforce 0
vi /etc/selinux/config
SELINUX=disabled  該当部に記述 

Javaを入れて一度再起動 (Win機の共有に置いてあるjdkのrpmをマウントして実行)

mount -t cifs //ipあどれす/shared /mnt -o username=ゆーざ,password=ぱすわーど

rpm -ivh /mnt/jdk-8u25-linux-x64.rpm

umount /mnt

export JAVA_HOME=/usr/java/default
java -version

reboot

一応Javaのパス通ってるの確認して
CDH5を取ってくる (clouderaの無償版)

java -version

cd /etc/yum.repos.d

yum -y install wget

wget http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/cloudera-cdh5.repo
rpm --import http://archive.cloudera.com/cdh5/redhat/6/x86_64/cdh/RPM-GPG-KEY-cloudera

cd

yum search hadoop

HadoopとHiveだけインストールして初期化してサービス起動

yum -y install hadoop-conf-pseudo
yum -y install hive

sudo -u hdfs hdfs namenode -format

service hadoop-hdfs-namenode start
service hadoop-hdfs-datanode start
service hadoop-yarn-resourcemanager start
service hadoop-yarn-nodemanager start
カテゴリー: 開発, 開発環境 タグ: , パーマリンク