Analisi delle caratteristiche di Java e Map Reduce su Hadoop

Hadoop, l'implementazione open source e basata su Java del framework Map/Reduce dell'Apache Software Foundation, è un framework di calcolo distribuito progettato per applicazioni distribuite ad alta intensità di dati. Fornisce gli strumenti per l'elaborazione di grandi quantità di dati utilizzando il framework Map/Reduce e, inoltre, implementa un file system distribuito simile al file system di Google. Può essere utilizzato per elaborare grandi quantità di dati in parallelo su cluster di grandi dimensioni in modo affidabile e tollerante ai guasti. Da molto tempo Java viene utilizzato da molti programmatori per l'elaborazione dei dati. In questo libro abbiamo confrontato e analizzato le prestazioni di Hadoop con Java, Hadoop con Hadoop Optimize e Hadoop Optimize con Java in termini di diversi criteri di prestazione, quali l'elaborazione (utilizzo della CPU), l'archiviazione e l'efficienza durante l'elaborazione dei dati. I risultati dei nostri esperimenti mostrano un miglioramento dei tempi di esecuzione quando si utilizza l'algoritmo Map/Reduce ottimizzato. Confrontando Hadoop e Java, Hadoop è migliore quando si dispone di un cluster multi-nodo e la dimensione dei dati è grande. Tuttavia, quando si dispone di un singolo nodo e di dati di piccole dimensioni, anche Java può funzionare meglio.