Service ที่ Data Engineer เข้ามาช่วยเพื่อสนับสนุน Data-Driven Decision Management

ในยุคปัจจุบันที่ข้อมูลมีมากขึ้นทุกวัน มีคนที่มองเห็นโอกาสในการนำข้อมูลที่มีอยู่มาใช้ในการตัดสินใจทางธุรกิจ (Data-Driven Decision Management) นั่นจึงทำให้เกิดความต้องการผู้ที่มีทักษะ ที่จะช่วยให้ธุรกิจนำข้อมูลที่มีอยู่มาใช้ประโยชน์ได้ ด้วยทักษะของ Data Engineer

ส่วนประกอบพื้นฐานที่จะต้องมี ก่อนจะเริ่มต้นนำข้อมูลมาใช้งาน นั่นก็คือต้องมี

  • ข้อมูล (รู้ว่ามี, รู้ว่าอยู่ที่ไหน, รู้ว่าจะไปเอามาอย่างไร)
  • เป้าหมาย (ต้องการตอบโจทย์อะไร, ต้องการนำเสนออย่างไร, มีทีม data scientist ทำหน้าที่ต่อ)
ข้อมูลที่มี คือต้นทาง เป้าหมายนั้น คือปลายทาง ส่วนขั้นตอนระหว่างทางนั้น ก็เป็นพื้นที่ที่เราจะใช้ทักษะของ Data Engineer ให้เป็นประโยชน์ นั่นก็คือการเตรียมระบบเพื่อรวบรวม เรียบเรียง ตัดแต่ง จัดเก็บ และส่งต่อข้อมูล ให้อยู่ในรูปแบบที่พร้อมจะใช้ประโยชน์ต่อ

หน้าที่ของ Data Engineer คือการออกแบบและสร้างระบบเพื่อจัดการข้อมูลเพื่อสนับสนุนเป้าหมายทางธุรกิจ

ส่วนประกอบที่อยู่ตรงกลาง เป็นหน้าที่ของ Data Engineer ในการออกแบบและสร้างระบบให้สามารถใช้งานได้สะดวกและปลอดภัย โดยมีหลักพิจารณาเบื้องต้นในการออกแบบระบบเพื่อจัดการข้อมูล เช่น

  • ข้อมูลต้นทางมาจากจุดไหนบ้าง (ข้อมูลบน server, จากอุปกรณ์ IoT หรือจาก mobile app)
  • ข้อมูลเป็น batch (โยนขึ้นระบบตามรอบเวลา) หรือ stream (โยนขึ้นระบบทันทีที่เกิดข้อมูล)
  • จากข้อมูลดิบ ต้องตัดแต่งข้อมูลอย่างไร (ทำ Extract, Transform and Load หรือ ETL)
  • ต้องการแสดงผลข้อมูลอย่างไร หรือต้องการจัดเก็บใน Data Warehouse อย่างไร

หากอ้างอิงเทคโนโลยีของ Google Cloud Platform จะมี reference architect ดังนี้

ภาพจาก: https://cloud.google.com/solutions/mobile/mobile-gaming-analysis-telemetry

ทั้ง Cloud Pub/Sub, Cloud Storage, Cloud Dataflow, BigQuery นั้น เป็นเทคโนโลยีบน Google Cloud Platform ที่คอยทำหน้าที่ในแต่ละส่วน ทั้งการรวบรวม เรียบเรียง ตัดแต่ง จัดเก็บ และส่งต่อข้อมูล เมื่อนำมาร้อยเรียงกันเป็นระบบ ก็จะสามารถใช้จัดการข้อมูลได้ครบวงจร

หากองค์กรของคุณ มีข้อมูล และมีเป้าหมายอยากนำข้อมูลมาทำประโยชน์ให้กับองค์กร สามารถติดต่อมาคุยกันได้ที่อีเมล google@tangerine.co.th ครับ

Comments

  1. This comment has been removed by a blog administrator.

    ReplyDelete
  2. This comment has been removed by a blog administrator.

    ReplyDelete
  3. This comment has been removed by a blog administrator.

    ReplyDelete
  4. This comment has been removed by a blog administrator.

    ReplyDelete
  5. I have been reading for the past two days about your blogs and topics, still on fetching! Wondering about your words on each line was massively effective. Techno-based information has been fetched in each of your topics. Sure it will enhance and fill the queries of the public needs. Feeling so glad about your article. Thanks…!
    magento training course in chennai
    magento training institute in chennai
    magento 2 training in chennai
    magento development training
    magento 2 course
    magento developer training

    ReplyDelete

Post a Comment

Popular posts from this blog

ป้องกันอีเมลสวมรอย (Email spoofing) ด้วย SPF, DKIM และ DMARC

การเขียน Google Apps Script เพื่อใช้งาน Custom Function

การใช้ Google Form ในการทำแบบประเมินความรู้ (อย่างง่าย)