Posts

Showing posts from February, 2021

ตรวจสอบและจัดการข้อมูลบน Google Cloud Platform ง่ายๆ ด้วย Data Catalog

Image
 การนำระบบงานขึ้นไปใช้งานบน cloud มีข้อดีหลายๆ อย่าง ทั้งค่าใช้จ่ายที่ยืดหยุ่นกว่า เพราะจ่ายตามการใช้งานจริง ความรวดเร็วในการพัฒนาระบบ เนื่องจากมีบริการต่างๆ พร้อมให้เลือกมาใช้งานได้ทันที รวมถึงความปลอดภัยในการใช้งาน ที่ผู้ให้บริการมีมาตรฐานในการดูแลระบบ ในบริการแต่ละตัว เราสามารถกำหนดการเข้าถึงบริการ รวมถึงข้อมูลที่อยู่ในบริการนั้นๆ ได้ผ่าน Identity And Access Management ซึ่งเชื่อถือได้ แต่หากเรามีข้อมูลกระจายอยู่ในหลายๆ บริการ เช่น ข้อมูลลูกค้าในระบบวิเคราะห์ข้อมูล ที่จะต้องเก็บไว้ตามขั้นตอนการทำงานกับข้อมูล ทั้งบน Cloud Storage, CloudSQL, PubSub หรือ BigQuery การจัดการข้อมูลข้อมูลในภาพรวม ก็จะซับซ้อนมากขึ้น เช่น หากเราต้องการดูข้อมูลของแผนกดูแลลูกค้า ที่กระจายอยู่ในทุกๆ service เพื่อจะได้ตรวจสอบได้ครบถ้วน การไล่ดูข้อมูลทีละจุดคงไม่สะดวกนัก Data Catalog เป็นระบบที่ช่วยให้เราจัดการข้อมูลได้ง่ายขึ้น ผ่านการกำหนด metadata ให้กับข้อมูลในแต่ละจุด การเรียกดูข้อมูล สามารถระบุ metadata ที่เราสนใจ Data Catalog จะรวบรวมข้อมูลทั้งหมดที่ตรงเงื่อนไขมาแสดงให้เราเห็นในจุดเดียว แม้ว่าข้อมูลนั้นจะกระ