Skip to main content

Workshop on IBM BIGDATA

Here is my shell script which i wrote to make the process of installing the IBM biginsight (hadoop) on the lab. My team installed the hadoop using this script for around 70 systems, it saved lots of time for us, and we successfully conducted the workshop on it today.

#!/bin/bash

#generating keygen for the root user with no password
ssh-keygen -f $HOME/.ssh/id_rsa -t rsa -N ''
echo "key generated in $HOME"

#append it to the authorized_keys
cat $HOME/.ssh/id_rsa.pub >> $HOME/.ssh/authorized_keys
echo "appended to authorized_keys"

#create a usergroup

groupadd -g 168 biadmin
echo "group created"

#add a biadmin to the group
useradd -g biadmin -u 168 biadmin
echo "biadmin added to group"


#giving permission for the biadmin to run ssh and scp
chmod o+rx /usr/bin/ssh
chmod g+rx /usr/bin/ssh
chmod u+rx /usr/bin/scp
chmod o+rx /usr/bin/scp
echo "persmissions given"

#to edit the /etc/sudoers file
sed -e 's/# %wheel/%biadmin/g' -e 's/Defaults requiretty/#Defaults requiretty/g' /etc/sudoers >> /etc/sudoers
echo "changed to /etc/sudoers"

#add repo
rm -f /etc/yum.repos.d/*.repo
cp /root/Desktop/hadoop/new.repo /etc/yum.repos.d/
echo "added new.repo"

#preparing to install dependencies
yum clean all

#installing dependencies with(yes to all)
yum -y install tcl expect

#to disable selinux
sed -e 's/selinux=enabled/selinux=disabled/g' /etc/selinux/config >> /etc/selinux/config

#goto the bigdata directory
tar xzvf *.tar.gz
cd /root/Desktop/hadoop/biginsights-quickstart-linux64_b20130821_1818/
bash start.sh

#open firefox with the hyperlink
firefox "http://127.0.0.1:8300/Install/"

#finally append .bashrc file in biadmin
echo export PATH=$PATH:${PIG_HOME}/bin:${FLUME_HOME}/bin:${JAQL_HOME}/bin:${HIVE_HOME}/bin >> .bashrc


Comments

Popular posts from this blog

கட்டற்றமென்பொருள் பற்றிய மாத மின்இதழ்

உலகெங்கிலும் உள்ள தமிழ் மக்களுக்கு கணினிதொழில்நுட்பத்தை பற்றி அறிமுகம் செய்யும் கணியம் என்ற புதிய மாத மின்னிதழை வெளியிடுவதில் பெருமகிழ்ச்சி அடைகிறோம். கணினி கற்க ஆங்கிலம் தடையாக இருந்த காலம் மாறி தொழில்னுட்பங்கள் யாவும் தமிழில் பெருகும் இந்த காலத்தில் மென்பொருள் பற்றிய நுட்பங்களை தமிழில் வழங்குவதில் பெருமை கொள்கிறோம். இந்த இதழின் கட்டுரைகள் : கட்டற்ற மென்பொருள் லினக்ஸ் பயனர் குழு – ஓர் அறிமுகம் உபுண்டு நிறுவுதல்

படங்களை 700mbயில் தரமாக உருமாற்றம் செய்ய

நம்மிடம் இருக்கும் டிவிடிபடங்களில் பிடித்தவற்றை அவ்வப்போது பார்த்துக்கொள்ள நாம் அவற்றை தனியாகவோ அல்லது, இமேஜாகவோ காபி செய்து வைத்துக்கொள்வோம். அவை அதிக இடத்தை பிடித்துக்கொள்ளும் ஒவ்வொன்றும் படத்திற்கேற்ற மாதிரி 2 முதல் 4 ஜிபி வரை கொள்ளளவு கொண்டிருக்கும். எனவே நாம் அவற்றை அதன் அளவில் குறைத்து அதனை வேறு உருமாட்டில் சேமித்து வைத்துக்கொள்ள விரும்புவோம். அவ்வாறு அதனை மாற்றுவதால் நம்முடைய கணினியின் இடம் மிச்சமாகிறது, மேலும் எளிதாக அவற்றை நம் நண்பர்களுடன் பகிர்ந்து கொள்ளலாம். அளவில் குறைவாக இருப்பதால் இணையத்திலும் அவற்றை ஏற்றி அதனை மற்றவர்களுடன் எளிதாக பகிர்ந்துகொள்ளலாம். ஆனால் இதில் இருக்கும் ஒரு குறைபாடு அதன் தரம். அதில் மாற்றத்தை நன்றாக பார்க்கமுடியும். சில மாற்றப்பட்ட வீடியோக்கள் தரம் குறைவாக இருக்கும். வீடியோ கன்வர்ட்டர்களை பயன்படுத்தும் பலருக்கு இது நன்கு தெரிந்திருக்கும். இணையங்களில் டோரண்ட்களை பயன்படுத்தி படம் இறக்குபவர்க்கள் 700mb களில் தரமான படங்கள் இருப்பதை பார்த்திருக்கலாம். நாம் எவ்வாறு இதுபோன்று தரமாக வீடியோக்களை மாற்றுவது என்று பார்ப்போம்.

சிடி/டிவிடிகளை காப்பி செய்யாதீர்கள்.

நாம் பொதுவாக டிவிடி படங்களை நம்முடைய கணினிகளில் டிவிடி டிரைவ்களில் போட்டு பார்ப்பது பழக்கம். நாம் நண்பர்களிடம் இருந்தோ அல்லது வேறுயாரிடமாவது இருந்தோ படங்களை வாங்கி உடனே பார்த்துவிட்டு தருவதற்கு முடியவில்லை என்றால் நாம் படங்களை காப்பி செய்து அதனை நம் கணினீயில் சேமிப்போம். அவ்வாறு சேமித்த படங்களை டிவிடி டிரைவில் போட்டு பார்ப்பது போன்றே சௌகரியமாக பார்ப்பது என்பது இயலாது. ஒவ்வொரு fileஐயும் நாம் விடியோ ப்ளேயரில் திறக்க வேண்டும். அதில் பலவிதமான fileகள் இருக்கும். நாம் ஒவ்வொன்றாக திறந்து நாம் பார்க்க வேண்டிய அந்த படத்தை பார்ப்பதற்குள் நேரம் ஆகிவிடும். சில fileகள் ஒழுங்காக காப்பி ஆகியிருக்காது. சில டிவிடிக்கள் காப்பி ஆக மறுக்கும்.