มหาวิทยาลัยอุบลราชธานี
Ubon Ratchathani University
  www.ubu.ac.th   |   UBU Blog
สมัครเข้าใช้งาน    |   เข้าสู่ระบบ    
รู้จักกับ Apache Spark  
โพสโดย ชิตชัย เลิศศิริวัฒนวงศ์     วันที่ 10 ตุลาคม 2560 , 14:34:50 น.
หมวด : IT , เทคโนโลยี , มีผู้อ่านแล้ว 724 ครั้ง
  
Apache Hadoop คืออะไร ?
 
Apache Hadoop เป็นซอฟต์แวร์ open-source ที่สร้างขึ้นมาเพื่อเป็น framework ในการทำ distributed processing สำหรับข้อมูลขนาดใหญ่ จุดเด่นข้อนึงของ Hadoop ก็คือ ถูกออกแบบมาให้ใช้กับเครื่องคอมพิวเตอร์ที่ไม่จำเป็นต้องมีประสทิธิภาพสูง (เครื่องไม่ต้องแรงมาก) ทำให้การจะขยาย scale ในอนาคต เพิ่มเครื่องเข้าไปได้ง่าย และมีระบบสำรองข้อมูลให้โดยอัตโนมัติทำให้ในปัจุุบันนิยมใช้ในการทำ Big Data มาก
 
 
 
 
Apache Spark คืออะไร ?
 
Apache Spark  คือเครื่องมือ สำหรับทำ data processing ที่สร้างบน Hadoop อีกทีโดยมีการทำงานเหมือนกันกับ Map Reduce  โดยมีจุดเด่นอยู่ที่ความเร็วในการประมวลผล ซึ่งเร็วกว่า MapReduce ของ Hadoop ได้ถึง 10-100 เท่า และมี Spark SQL ที่จะช่วยให้เราสามารถเขียน query ได้อย่างง่ายๆ
 
 
 
 
 
ใน Apache Spark จะมี Library ให้เลือกใช้ตามแต่ชนิดของงาน มีดังนี้
      - Spark SQL ใช้สำหรับแปลง dataset ให้อยู่ในรูปแบบของ dataframe ทำให้สามารถใช้ SQL command ในการประมวลผลข้อมูลได้
      - Spark Streaming ใช้สำหรับการประมวลผลแบบ Real-Time
     - MLlib ใช้สำหรับการประมวลผล Machine Learning
     - GraphX ใช้สำหรับการประมวลผล Graph
 
และยังสามารถ Run งานบน Hadoop, Mesos, Standalone และ On Cloud   โดยมีภาษาที่รองรับต่างๆ คือ
     - Scala
     - Java
     - Python
     - R
 
Apache Spark เริ่มเป็นที่นิยมและประยุกต์ใช้ในหลายๆธุรกิจ เช่น
-การทำ stream processing เช่น วิดีโอ log file จำนวนมาก หรือ social media feed ต่างๆ
-Machine Learning (โดยใช่ MLib)
-Interactive analytics
-Data Integration (ผ่าน Spark SQL และ Streaming)
 
สาเหตุส่วนหนึ่งที่เป็นที่นิยมเนื่องจาก 
1. Simplicity (ถูกสร้างเพื่อให้ใช้ง่าย มี API มากมาย)
2. Speed (ประมวณผลใน memory ซึ่งเร็วกว่า cpu)
3. Support (เป็น opensource และมี community และ active contributors จำนวนมาก)
 
 
อ้างอิง : http://datascienceth.com 
แสดงความคิดเห็น
      เข้าสู่ระบบ
  - ต้องทำการกรอก username และ password ก่อน จึงจะทำการแสดงความคิดเห็นได้
- username และ password เป็นอันเดียวกับที่ใช้ในการ login internet ของมหาวิทยาลัยอุบลราชธานี
 

ค้นหา
 
  About Me
 
ชื่อ :  นายชิตชัย เลิศศิริวัฒนวงศ์
ตำแหน่ง :  นักวิชาการคอมพิวเตอร์
หน่วยงาน :  สำนักงานเลขานุการ
คณะ/สำนัก :  สำนักคอมพิวเตอร์
และเครือข่าย
จำนวนเรื่อง :  10
จำนวนผู้ชม :  7153
Blog :  chitchai
  เรื่องย้อนหลัง
มาสร้าง Hybrid Mobile Application ด้วย Ionic Framework กันเถ...
รู้จักกับ Apache Spark
Data Science คืออะไร
Real-time Web Application with Node.js
การจัดการข้อมูลบุคลากร ตามมาตรฐานข้อมูลอุดมศึกษา ปี 2557
มาแก้ปัญหาไวรัส shortcut ซ่อน Folder แล้วสร้าง shortcut ใน F...
ตรวจสอบขนาดกว้าง x ยาว ของไฟล์ภาพ ใน PHP
มาใช้ Array ใน PHP สร้างฟอร์มรับข้อมูลกันเถอะ
ย่อภาพถ่ายยังไงให้คมชัดบาดใจ (Photoshop ช่วยท่านได้)
ยุคนี้ในไทย อะไรอะไรก็ 3G
 
 
 
พัฒนาโดย สำนักคอมพิวเตอร์และเครือข่าย มหาวิทยาลัยอุบลราชธานี
© Copyright 2010 - 2015 UBON RATCHATHANI UNIVERSITY
สงวนลิขสิทธิ์ 2553 - 2558 มหาวิทยาลัยอุบลราชธานี