Personal Blog for Work Update

ในยุคปัจจุบันที่ข้อมูลมีมากขึ้นทุกวัน มีคนที่มองเห็นโอกาสในการนำข้อมูลที่มีอยู่มาใช้ในการตัดสินใจทางธุรกิจ ( Data-Driven Decision Management ) นั่นจึงทำให้เกิดความต้องการผู้ที่มีทักษะ ที่จะช่วยให้ธุรกิจนำข้อมูลที่มีอยู่มาใช้ประโยชน์ได้ ด้วยทักษะของ Data Engineer ส่วนประกอบพื้นฐานที่จะต้องมี ก่อนจะเริ่มต้นนำข้อมูลมาใช้งาน นั่นก็คือต้องมี ข้อมูล (รู้ว่ามี, รู้ว่าอยู่ที่ไหน, รู้ว่าจะไปเอามาอย่างไร) เป้าหมาย (ต้องการตอบโจทย์อะไร, ต้องการนำเสนออย่างไร, มีทีม data scientist ทำหน้าที่ต่อ) ข้อมูลที่มี คือต้นทาง เป้าหมายนั้น คือปลายทาง ส่วนขั้นตอนระหว่างทางนั้น ก็เป็นพื้นที่ที่เราจะใช้ทักษะของ Data Engineer ให้เป็นประโยชน์ นั่นก็คือการเตรียมระบบเพื่อรวบรวม เรียบเรียง ตัดแต่ง จัดเก็บ และส่งต่อข้อมูล ให้อยู่ในรูปแบบที่พร้อมจะใช้ประโยชน์ต่อ หน้าที่ของ Data Engineer คือการออกแบบและสร้างระบบเพื่อจัดการข้อมูลเพื่อสนับสนุนเป้าหมายทางธุรกิจ ส่วนประกอบที่อยู่ตรงกลาง เป็นหน้าที่ของ Data Engineer ในการออกแบบและสร้างระบบให้สามารถใช้งานได้สะดวกและปลอดภัย โดยมีหลักพิจารณาเบื้องต้นในการออกแ...

เนื่องจาก Google มีการรับรองผู้เชี่ยวชาญในสาขา Data Engineer  วันนี้ผมเลยจะอธิบายให้เข้าใจกันแบบง่ายๆ ครับ ว่า Data Engineer ทำอะไร และมีบทบาทยังไงบ้าง องค์กรต่างๆ มีการดำเนินกิจกรรมและธุรกรรมในรูปแบบต่างๆ ซึ่งจะมีข้อมูลมาเกี่ยวข้อง ไม่ว่าจะเป็นข้อมูลในกระดาษ หรือข้อมูลดิจิตอลก็ตาม แต่แนวโน้มของข้อมูลดิจิตอล มีปริมาณมากขึ้นเรื่อยๆ จากหลายๆ ปัจจัย เช่น ความก้าวหน้าทางเทคโนโลยี (เช่น การใช้งานอินเทอร์เน็ตแพร่หลายมากขึ้น) การจัดเก็บที่มีราคาถูกลง มีการใช้งานอุปกรณ์ต่างๆ ที่วัดค่าออกมาเป็นข้อมูลมากขึ้น (Internet of Things) ความสะดวกในการจัดการข้อมูลดิจิตอลที่สะดวกกว่าข้อมูลในกระดาษ เช่นการนำมาคำนวณ หรือแสดงผลในรูปแบบต่างๆ แผนภาพแสดงการประมาณข้อมูลที่มีปริมาณมากขึ้นเรื่อยๆ ภาพจาก: oreilly.com การตัดสินใจในเรื่องต่างๆ ที่เกิดขึ้น ไม่ว่าจะเรื่องเล็กหรือใหญ่ หากมีข้อมูลที่เหมาะสมมาสนับสนุน ก็น่าจะช่วยป้องกันการตัดสินใจที่ผิดพลาดได้ดี หรือแม้กระทั่งการค้นพบความสัมพันธ์ใหม่ๆ ของข้อมูลที่มีอยู่จากการวิเคราะห์ข้อมูล นำไปสู่แนวทางการตัดสินใจใหม่ๆ ได้ เปิดทางเลือกให้กับธุรกิจให้ม...