Apache Hadoop ist eine Open-Source-Software, die eine Infrastruktur für die Verarbeitung und Analyse von Big Data bereitstellt. Die Installation und Konfiguration von Hadoop auf einem Linux-Betriebssystem kann für Anfänger eine schwierige Aufgabe sein, aber mit unserer Schritt-für-Schritt-Anleitung können Sie diese Aufgabe erfolgreich ausführen.
Bevor Sie mit der Installation von Hadoop beginnen, benötigen Sie einen Linux-Server mit installiertem Linux-Betriebssystem und Internetzugang. Denken Sie daran, dass Hadoop das Java Development Kit (JDK) benötigt, damit es ordnungsgemäß funktioniert.
Sie benötigen außerdem ein gewisses Maß an Linux-Verwaltungswissen, da der Hadoop-Installationsprozess verschiedene Befehle an der Eingabeaufforderung ausführt. Wenn Sie mit den Grundlagen der Linux-Befehlszeile nicht vertraut sind, sollten Sie die entsprechende Dokumentation lesen und die grundlegenden Befehle lesen, bevor Sie mit der Installation von Hadoop beginnen.
Installieren von Hadoop unter Linux
1. Vorbereiten des Servers:
Stellen Sie vor der Installation von Hadoop sicher, dass Ihr Server über ausreichende Ressourcen wie RAM und CPU verfügt, um große Datenmengen ordnungsgemäß zu verarbeiten. Installieren Sie das Linux-Betriebssystem und konfigurieren Sie die Netzwerkverbindung.
2. Java installieren:
Hadoop benötigt eine installierte Java-Plattform, um zu funktionieren. Installieren Sie das Java Development Kit (JDK) auf Ihrem Server. Überprüfen Sie, ob Java erfolgreich installiert wurde, indem Sie den Befehl "java -Version" verwenden.
3. Hadoop-Vorbereitung:
Laden Sie die Hadoop-Distribution von der offiziellen Website herunter. Entpacken Sie die heruntergeladene Datei in das von Ihnen gewählte Verzeichnis auf dem Server.
4. Einrichten von Hadoop:
Konfigurieren Sie die Hadoop-Konfigurationsdateien entsprechend Ihrem System und Ihren Anforderungen. Nehmen Sie die erforderlichen Änderungen an Dateien wie hdfs-site vor.xml, core-site.xml und mapred-site.xml, um Parameter wie die Anzahl der Knoten und die Ressourcenzuweisung anzupassen.
5. Hadoop starten:
Nachdem Sie alle Dateien konfiguriert haben, führen Sie Hadoop mit dem Befehl "start-all.sh ". Überprüfen Sie die Protokolle, um sicherzustellen, dass Hadoop erfolgreich ausgeführt wird.
Die Installation von Hadoop auf einem Linux-Server besteht also aus mehreren Schritten: Vorbereitung des Servers, Installation von Java, Vorbereitung von Hadoop, Konfiguration von Hadoop und Ausführung. Wenn Sie die obigen Schritte befolgen, können Sie Hadoop erfolgreich auf Ihrem Linux-Rechner installieren und sind bereit, mit der Verarbeitung und Analyse großer Datenmengen mit diesem leistungsstarken Framework zu beginnen.
Vorbereitung für die Installation
Bevor Sie Hadoop unter Linux installieren, müssen Sie einige vorbereitende Schritte ausführen.
1. Stellen Sie sicher, dass das Java Development Kit (JDK) auf Ihrem System installiert ist. Hadoop erfordert JDK Version 8 oder höher. Überprüfen Sie die Installation, indem Sie den Befehl java -version ausführen. Wenn das JDK nicht installiert ist, kann es von der offiziellen Oracle-Website heruntergeladen und installiert werden.
2. Erstellen Sie einen Benutzer, der zum Ausführen von Hadoop verwendet wird. Sie können einen neuen Benutzer mit dem Befehl adduser erstellen. Um beispielsweise einen Benutzer mit einem Namen zu erstellen hadoop führen Sie den folgenden Befehl aus: sudo adduser hadoop .
3. Installieren Sie OpenSSH, wenn es noch nicht installiert ist. Hadoop verwendet SSH, um Daten zwischen Clusterknoten auszutauschen. Führen Sie den Befehl sudo apt-get install openssh-server aus, um OpenSSH zu installieren.
Java Development Kit (JDK) installieren
- Öffnen Sie ein Linux-Terminal und geben Sie den folgenden Befehl ein, um zu sehen, ob das JDK auf Ihrem System installiert ist:
java -version- Wenn das JDK nicht installiert ist, werden Sie aufgefordert, das JDK mit dem Batch-Manager Ihres Systems zu installieren.
- Wenn das JDK nicht installiert ist, geben Sie den folgenden Befehl ein, um das JDK mit dem Batch-Manager Ihres Systems zu installieren. Der folgende Befehl ist für Ubuntu gedacht: sudo apt-get install openjdk-8-jdk Anstelle von "openjdk-8-jdk" können Sie ein anderes Batch-Tool Ihres Systems verwenden, um das JDK zu installieren.
- Geben Sie nach der Installation des JDK den Befehl java -version ein, um sicherzustellen, dass das JDK erfolgreich installiert und ausgeführt wurde.
Nachdem Sie das JDK erfolgreich installiert haben, können Sie mit der Installation von Apache Hadoop fortfahren. Die Installation eines JDK ist ein wichtiger Schritt, um Hadoop erfolgreich unter Linux zu installieren und zu verwenden.
Installieren von Hadoop
Um Hadoop unter Linux zu installieren, folgen Sie den Anweisungen unten:
- Installieren Sie zuerst das Java Development Kit (JDK) auf Ihrem Computer. Sie können dies tun, indem Sie den folgenden Befehl ausführen: sudo apt-get install default-jdk
- Laden Sie dann das Hadoop-Archiv von der offiziellen Website herunter: wget https://www.apache.org/dist/hadoop/common/hadoop-3.2.1/hadoop-3.2.1.tar.gz
- Entpacken Sie das heruntergeladene Archiv mit dem Befehl: tar -xzf hadoop-3.2.1.tar.gz
- Wechseln Sie zum Hadoop-Verzeichnis: cd hadoop-3.2.1
- Konfigurieren Sie die Umgebungsvariablen, indem Sie der Datei ~/ die folgenden Zeilen hinzufügen.bashrc : export HADOOP_HOME=/path/to/hadoop-3.2.1
export PATH=$PATH:$HADOOP_HOME/bin - Aktualisieren Sie die Umgebungsvariablen mit dem Befehl: source ~/.bashrc
- Erstellen Sie ein Verzeichnis zum Speichern von Hadoop-Daten: mkdir /home/hadoop/data
- Konfigurieren Sie die Hadoop-Konfigurationsdateien: cd $HADOOP_HOME/etc/hadoop
cp mapred-site.xml.template mapred-site.xml
cp core-site.xml.template core-site.xml
cp hdfs-site.xml.template hdfs-site.xml
cp yarn-site.xml.template yarn-site.xml - Öffnen Sie die Datei hadoop-env.sh im Editor auskommentieren Sie die Zeile, die JAVA_HOME enthält, und setzen Sie den richtigen JDK-Pfad auf: export JAVA_HOME=/usr/lib/jvm/default-java
- Konfigurieren Sie die Hadoop-Konfigurationsdateien, indem Sie den Datenpfad und andere Einstellungen angeben: nano core-site.xml
nano hdfs-site.xml
nano mapred-site.xml
nano yarn-site.xml - Und führen Sie schließlich Hadoop aus: start-all.sh
Glückwunsch! Sie haben Hadoop erfolgreich auf Ihrem Linux-Rechner installiert und konfiguriert.
Einrichten von Hadoop
Nach der Installation von Hadoop unter Linux müssen Sie einige Einstellungen vornehmen, damit das System ordnungsgemäß funktioniert.
1. Öffnen Sie die Hadoop-Konfigurationsdatei im Verzeichnis /etc/hadoop .
2. Ändern Sie den Wert der Variablen HADOOP_HOME, indem Sie den Pfad zum installierten Hadoop festlegen.
3. Geben Sie den Pfad zum Datenverzeichnis an, das von Hadoop verwendet werden soll. Ändern Sie den Wert der Variablen dfs.name.dir und dfs.data.dir in der Konfigurationsdatei.
4. Konfigurieren Sie Systemumgebungsvariablen: Fügen Sie den Pfad des installierten Hadoop zur PATH-Variable hinzu und legen Sie die Variablen HADOOP_HOME und HADOOP_CONF_DIR fest.
6. Überprüfen Sie, ob Hadoop funktioniert, indem Sie es im Pseudo-verteilten Modus mit dem Befehl ausführen start-dfs.sh . Danach können Sie Hadoop für die Datenverarbeitung verwenden.
Nachdem Sie alle Einstellungen vorgenommen haben, ist Hadoop für die Verwendung unter Linux bereit. Sie können es jetzt für die verteilte Speicherung und Verarbeitung von Daten verwenden.
