Hadoop Projekt konfigurieren

  • Beitrags-Autor:
  • Beitrags-Kategorie:Java

SSH-Login ohne Kennwort

Als „admin“ am CentOS 7 anmelden.

  • Anwendungen/Hilfsprogramme/Terminal
  • ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa
  • cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
  • chmod 700 ~/.ssh
  • chmod 600 ~/.ssh/authorized_keys
  • weitere Details: SecuringSSH

Hadoop starten

  • cd /usr/hadoop
  • ./sbin/start-dfs.sh (später mit ./sbin/stop-dfs.sh beenden)
  • einmal ./bin/hdfs namenode -format ausführen
  • ./bin/hdfs dfs -mkdir /user
  • ./bin/hdfs dfs -mkdir /user/majo
  • mit ./bin/hdfs dfs -ls / die Verzeichnisanlage kontrollieren

Eclipse vorbereiten

  • unter /usr/hadoop folgende Dateien suchen und in gemeinsamen Ordner kopieren: hadoop-common-2.6.0.jar, hadoop-common-2.6.0-sources.jar, hadoop-mapreduce-client-core-2.6.0.jar, hadoop-mapreduce-client-core-2.6.0-sources.jar
  • im Eclipse: Window/Preferences/Java/Build Path/User Libraries/New…
  • User library name: Hadoop
  • Add External JARs…
  • hadoop-common + hadoop-mapreduce-client-core hinzufügen (ohne „sources“)
  • neue Einträge öffnen + „Source attachment“ wählen + Edit…
  • External location + External File…

Projekt anlegen

  • Window/Open Perspective/Other…
  • Git Repository Exploring + OK
  • majo in Git Repositories wählen + Import Projects… (über Kontextmenü)
  • Import existing Projects + Next
  • MajoMapReduce auswählen + Finish