Pig installieren

erweitert Hadoop Plattform installieren Download pig-0.14.0.tar.gz tar -xzvf pig-0.14.0.tar.gz sudo mv pig-0.14.0 /usr/ sudo ln -s /usr/pig-0.14.0 /usr/pig cp /usr/pig/conf/log4j.properties.template /usr/pig/conf/log4j.properties Mit vim ~/.bashrc folgende Einträge ergänzen. [code lang=“bash“]export JAVA_HOME=“/usr/java“ export PIG_HOME=“/usr/pig“ export PIG_CONF_DIR=“$PIG_HOME/conf“ export PIG_CLASSPATH=“$PIG_CONF_DIR“ export PATH=“$PIG_HOME/bin:$PATH“[/code] Mit vim /usr/pig/conf/log4j.properties den Einträge log4j.logger.org.apache.pig=info, A ändern (Wert „info“ durch „warn“ ersetzen).

Hadoop Projekt konfigurieren

SSH-Login ohne Kennwort Als „admin“ am CentOS 7 anmelden. Anwendungen/Hilfsprogramme/Terminal ssh-keygen -t dsa -P “ -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys chmod 700 ~/.ssh chmod 600 ~/.ssh/authorized_keys weitere Details: SecuringSSH Hadoop starten cd /usr/hadoop ./sbin/start-dfs.sh (später mit ./sbin/stop-dfs.sh beenden) einmal ./bin/hdfs namenode -format ausführen ./bin/hdfs dfs -mkdir /user ./bin/hdfs dfs -mkdir /user/majo mit ./bin/hdfs dfs […]

Hadoop Plattform installieren

CentOS 7 VirtualBox 4.3.22/Neu (Aktualisierung VirtualBox 4.3.22 nötig für Gasterweiterungen vom CentOS 7) Name: CentOS 7 + Typ: Linux + Version: Red Hat (64-Bit) + Weiter 4096 MB + Weiter Festplatte erzeugen + Erzeugen VDI + Weiter feste Größe + Weiter D:\VirtualBox VMs\CentOS 7\CentOS_HDD.vdi + 8 GB + Erzeugen Festplatte wird erzeugt. Installationsmedium (DVD) einlegen. […]

Hadoop Lesestoff

Apache Hadoop 2.6.0 How To Install Hadoop on Windows with HDP 2.0 Build and Install Hadoop 2.x or newer on Windows Hadoop Tutorial: Creating MapReduce Jobs in Java 50 Mapreduce Interview Questions and Answers Hadoop Output Formats Hadoop GenericWritable sample usage