ทำความรู้จักกับ Apache Hadoop

[moo1997]

Apache Hadoop

เป็นซอฟต์แวร์ open-source ที่สร้างขึ้นมาเพื่อเป็น Framework ในการประมวลผลงานที่มีขนาดใหญ่
Hadoop ถูกออกแบบมาให้สามารถใช้กับคอมที่มีสเปคไม่สูงได้ การขยายขนาดในอนาคตก็สามารถ
เปลี่ยนเครื่องหรือเพิ่มเข้าเครื่องไปแบบง่ายๆได้เลย แถมยังมีระบบ Back up อัตโนมัติ
อีกทั้งยังสามารถใช้งานได้ทั้งบน Linux และ Microsoft Windows เรียกได้เลยว่า
ถ้าตอนนี้กำลังมองหาตัวช่วยในการจัดการ Big Data Hadoop ถือว่าน่าสนใจเป็นอย่างมาก

Hadoop แบ่งออกเป็น 2 ส่วน
1.Hadoop Distributed File System คือมีหน้าที่เก็บข้อมูลโดยการนำข้อมูลขนาดใหญ่ๆ
มาแบ่งย่อยๆ เป็นไฟล์ขนาดใหญ๋ เก็บใน Datanote
2.MapReduce เป็นการประมวลผลข้อมูลโดยประมวลผลจากข้อมูลมหาศาลที่ได้ทำการเก็บไว้

การประมวลผลข้อมูลใน Map Reduce
การทำ Map Reduce จะมีอยู่ 4 ขั้นตอน ยกตัวอย่างการทำ Map Reduce จากคนไทยหาคนที่มีอายุมากสุด

Untitled Diagram.jpg (35.83 KiB) Viewed 117 times

อนาคต Apache Hadoop อาจจะกลายเป็นสิ่งที่เข้ามามีบทบาทในระดับองค์กร มากขึ้นเรื่อยๆ โดยค่าใช้จ่ายของ Hardware โดยรวมจะประหยัดกว่าระบบจัดเก็บข้อมูลแบบในปัจจุบัน เนื่องจากการนำ Server มาใช้งานในลักษณะ Cloud ทำให้สามารถตัดค่าใช้จ่ายได้ โดยมีความสามารถในการเก็บรักษาข้อมูลในระดับที่สูงขึ้นอีกด้วย

บทความที่เกียวข้อง
file:///home/com012/Downloads/hadoop.pdf