Skip to main content

Workshop on IBM BIGDATA

Here is my shell script which i wrote to make the process of installing the IBM biginsight (hadoop) on the lab. My team installed the hadoop using this script for around 70 systems, it saved lots of time for us, and we successfully conducted the workshop on it today.

#!/bin/bash

#generating keygen for the root user with no password
ssh-keygen -f $HOME/.ssh/id_rsa -t rsa -N ''
echo "key generated in $HOME"

#append it to the authorized_keys
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
echo "appended to authorized_keys"

#create a usergroup

groupadd -g 168 biadmin
echo "group created"

#add a biadmin to the group
useradd -g biadmin -u 168 biadmin
echo "biadmin added to group"


#giving permission for the biadmin to run ssh and scp
chmod o+rx /usr/bin/ssh
chmod g+rx /usr/bin/ssh
chmod u+rx /usr/bin/scp
chmod o+rx /usr/bin/scp
echo "persmissions given"

#to edit the /etc/sudoers file
sed -e 's/# %wheel/%biadmin/g' -e 's/Defaults requiretty/#Defaults requiretty/g' /etc/sudoers >> /etc/sudoers
echo "changed to /etc/sudoers"

#add repo
rm -f /etc/yum.repos.d/*.repo
cp /root/Desktop/hadoop/new.repo /etc/yum.repos.d/
echo "added new.repo"

#preparing to install dependencies
yum clean all

#installing dependencies with(yes to all)
yum -y install tcl expect

#to disable selinux
sed -e 's/selinux=enabled/selinux=disabled/g' /etc/selinux/config >> /etc/selinux/config

#goto the bigdata directory
tar xzvf *.tar.gz
cd /root/Desktop/hadoop/biginsights-quickstart-linux64_b20130821_1818/
bash start.sh

#open firefox with the hyperlink
firefox "http://127.0.0.1:8300/Install/"

#finally append .bashrc file in biadmin
echo export PATH=$PATH:${PIG_HOME}/bin:${FLUME_HOME}/bin:${JAQL_HOME}/bin:${HIVE_HOME}/bin >> .bashrc


Comments

Popular posts from this blog

விண்டோஸை விட லினக்ஸ் சிறந்தது: பத்து காரணங்கள்

லினக்ஸ் பயன்படுத்த கடினம், விண்டோஸே சிறந்தது என கருதுபவர்களுக்காக 1. வைரஸ் அபாயம் கிடையாது: ஆம். பொரும்பாலான வைரஸ் நிரல்கள் விண்டோஸிற்காக எழுதப்படுபவை. லினக்ஸால் win32  நிரல்களை  செயல்படுத்த முடியாது. எனவே வைரஸ் வரும் என்ற கவலை வேண்டாம். 2. திற-மூலமென்பொருள் - விண்டோஸ் போல் அல்லாமல் லினக்ஸ் ஆனது திற-மூல-இயங்குதளம்(open-source).  எனவே நம்முடைய தேவைக்கு ஏற்ப நாம் இதனை மாற்றவே, பிறருக்கு அளிக்கவோ முழு சுதந்திரம் உண்டு.

சிடி/டிவிடிகளை காப்பி செய்யாதீர்கள்.

நாம் பொதுவாக டிவிடி படங்களை நம்முடைய கணினிகளில் டிவிடி டிரைவ்களில் போட்டு பார்ப்பது பழக்கம். நாம் நண்பர்களிடம் இருந்தோ அல்லது வேறுயாரிடமாவது இருந்தோ படங்களை வாங்கி உடனே பார்த்துவிட்டு தருவதற்கு முடியவில்லை என்றால் நாம் படங்களை காப்பி செய்து அதனை நம் கணினீயில் சேமிப்போம். அவ்வாறு சேமித்த படங்களை டிவிடி டிரைவில் போட்டு பார்ப்பது போன்றே சௌகரியமாக பார்ப்பது என்பது இயலாது. ஒவ்வொரு fileஐயும் நாம் விடியோ ப்ளேயரில் திறக்க வேண்டும். அதில் பலவிதமான fileகள் இருக்கும். நாம் ஒவ்வொன்றாக திறந்து நாம் பார்க்க வேண்டிய அந்த படத்தை பார்ப்பதற்குள் நேரம் ஆகிவிடும். சில fileகள் ஒழுங்காக காப்பி ஆகியிருக்காது. சில டிவிடிக்கள் காப்பி ஆக மறுக்கும்.

need your response

It has been a long time... my rest hours are reduced i only sleep for 5 to 6 hours a day.. so i can't post frequently.. sorry friends.. my university is a good place to refine myself. yes..! thoughts about my programming computers are refined there.. i always wanted share my experience.. but i feared of thinking that it will helpful for you or not.. most of us don't like to hear stories of others. so i stopped blogging and of course having less time.. i have earned some good friends there... who are interested in open-source technology.. very few of us only know the linux platform.. this semester mini project also in open softwares like mysql, postgrey sql i will start blogging my experience if you are interested.. regards, Mani G