Service ที่ Data Engineer เข้ามาช่วยเพื่อสนับสนุน Data-Driven Decision Management

ในยุคปัจจุบันที่ข้อมูลมีมากขึ้นทุกวัน มีคนที่มองเห็นโอกาสในการนำข้อมูลที่มีอยู่มาใช้ในการตัดสินใจทางธุรกิจ (Data-Driven Decision Management) นั่นจึงทำให้เกิดความต้องการผู้ที่มีทักษะ ที่จะช่วยให้ธุรกิจนำข้อมูลที่มีอยู่มาใช้ประโยชน์ได้ ด้วยทักษะของ Data Engineer

ส่วนประกอบพื้นฐานที่จะต้องมี ก่อนจะเริ่มต้นนำข้อมูลมาใช้งาน นั่นก็คือต้องมี

  • ข้อมูล (รู้ว่ามี, รู้ว่าอยู่ที่ไหน, รู้ว่าจะไปเอามาอย่างไร)
  • เป้าหมาย (ต้องการตอบโจทย์อะไร, ต้องการนำเสนออย่างไร, มีทีม data scientist ทำหน้าที่ต่อ)
ข้อมูลที่มี คือต้นทาง เป้าหมายนั้น คือปลายทาง ส่วนขั้นตอนระหว่างทางนั้น ก็เป็นพื้นที่ที่เราจะใช้ทักษะของ Data Engineer ให้เป็นประโยชน์ นั่นก็คือการเตรียมระบบเพื่อรวบรวม เรียบเรียง ตัดแต่ง จัดเก็บ และส่งต่อข้อมูล ให้อยู่ในรูปแบบที่พร้อมจะใช้ประโยชน์ต่อ

หน้าที่ของ Data Engineer คือการออกแบบและสร้างระบบเพื่อจัดการข้อมูลเพื่อสนับสนุนเป้าหมายทางธุรกิจ

ส่วนประกอบที่อยู่ตรงกลาง เป็นหน้าที่ของ Data Engineer ในการออกแบบและสร้างระบบให้สามารถใช้งานได้สะดวกและปลอดภัย โดยมีหลักพิจารณาเบื้องต้นในการออกแบบระบบเพื่อจัดการข้อมูล เช่น

  • ข้อมูลต้นทางมาจากจุดไหนบ้าง (ข้อมูลบน server, จากอุปกรณ์ IoT หรือจาก mobile app)
  • ข้อมูลเป็น batch (โยนขึ้นระบบตามรอบเวลา) หรือ stream (โยนขึ้นระบบทันทีที่เกิดข้อมูล)
  • จากข้อมูลดิบ ต้องตัดแต่งข้อมูลอย่างไร (ทำ Extract, Transform and Load หรือ ETL)
  • ต้องการแสดงผลข้อมูลอย่างไร หรือต้องการจัดเก็บใน Data Warehouse อย่างไร

หากอ้างอิงเทคโนโลยีของ Google Cloud Platform จะมี reference architect ดังนี้

ภาพจาก: https://cloud.google.com/solutions/mobile/mobile-gaming-analysis-telemetry

ทั้ง Cloud Pub/Sub, Cloud Storage, Cloud Dataflow, BigQuery นั้น เป็นเทคโนโลยีบน Google Cloud Platform ที่คอยทำหน้าที่ในแต่ละส่วน ทั้งการรวบรวม เรียบเรียง ตัดแต่ง จัดเก็บ และส่งต่อข้อมูล เมื่อนำมาร้อยเรียงกันเป็นระบบ ก็จะสามารถใช้จัดการข้อมูลได้ครบวงจร

หากองค์กรของคุณ มีข้อมูล และมีเป้าหมายอยากนำข้อมูลมาทำประโยชน์ให้กับองค์กร สามารถติดต่อมาคุยกันได้ที่อีเมล google@tangerine.co.th ครับ

ความคิดเห็น

แสดงความคิดเห็น

โพสต์ยอดนิยมจากบล็อกนี้

การเรียกใช้งาน Google Apps Script

ลดเวลาการเรียก API ใน Apps Script ด้วย fecthAll

ออกแบบระบบให้คุยข้าม module กันได้ ด้วย Pub/Sub