วิเคราะห์ผลจาก Google Form ได้ง่ายขึ้นด้วย BigQuery

Google Forms เป็นบริการทำแบบสอบถาม และยังสามารถทำเป็นแบบทดสอบความรู้ได้ด้วย ใครที่เคยลงทะเบียนเข้าร่วมงาน event ต่างๆ น่าจะได้เห็นการนำ Google Forms มาใช้เป็นแบบฟอร์มลงทะเบียน และในหลายๆ องค์กร ที่ใช้งาน G Suite ก็มีการนำ Google Forms มาใช้งานเป็น workflow ง่ายๆ สำหรับรวมรวมข้อมูลที่ต้องการ

Google Forms ใช้งานได้ง่าย จึงเป็นที่นิยมทั้งตามงาน event และใช้ภายในองค์กร

การเก็บข้อมูลจาก Google Forms นั้น โดยค่าเริ่มต้นข้อมูลจะถูกเก็บรวมอยู่ในหน้าแก้ไข form นั้นๆ เลย โดย Google Forms จะสรุปภาพรวมของข้อมูลในรูปแบบแผนภูมิไว้ให้ หากเราต้องการนำข้อมูลไปใช้งานต่อเราสามารถนำข้อมูลใน form เก็บลง Google Sheets เพื่อความสะดวกในการประมวลผลข้อมูล หรือวิเคราะห์ข้อมูลต่อไป

responses จะถูกเก็บอยู่ใน Forms พร้อมแสดงแผนภูมิ และเราสามารถเก็บ response ลง spreadsheet ได้ด้วย

ในบางกรณีที่ข้อมูลใน form นั้น มีผู้ตอบแบบฟอร์มเยอะมาก หรือฟอร์มนั้นมีการใช้งานมาระยะหนึ่งจนข้อมูลเริ่มมีปริมาณมากขึ้น การจะประมวลข้อมูลบน Google Sheets จะเริ่มไม่สะดวกและยังมีข้อจำกัดเรื่องปริมาณข้อมูลที่เก็บได้ใน Sheets อยู่ที่ 2 ล้านช่อง (ข้อมูล ณ วันที่เขียนบทความ)

BigQuery เป็นบริการสำหรับการวิเคราะห์ข้อมูล (data analytics) มีการใช้งานอย่างแพร่หลาย เนื่องจากใช้งานได้ง่าย ด้วยภาษา SQL ที่นิยมอยู่แล้ว ประมวลผลได้รวดเร็วแม้ข้อมูลจะมีขนาดใหญ่ในระดับ Petabyte และราคาไม่แพง หรือใช้งานได้ฟรีถ้าอยู่ในปริมาณที่กำหนดไว้

BigQuery เหมาะสำหรับการเก็บข้อมูลเพื่อนำมาวิเคราะห์ต่อ ด้วยความ ง่าย เร็ว ถูก

หากการใช้งาน Google Forms ดังที่กล่าวมาแล้วนั้น ติดปัญหาเรื่องปริมาณข้อมูลที่มากขึ้นและวิเคราะห์ได้ช้า เราสามารถใช้ Apps Script เพื่อป้อนข้อมูลจาก Google Forms เข้า BigQuery ทำให้สามารถวิเคราะห์ข้อมูลได้ทันที และยังรองรับข้อมูลได้ไม่จำกัดอีกด้วย

ขั้นตอนในการป้อนข้อมูลจาก Google Forms เพื่อ stream เข้า BigQuery แบบ real time มีดังนี้

  1. สร้าง table บน BigQuery และกำหนด schema ของ table ให้ตรงกับข้อมูลที่ต้องการเก็บ
  2. เปิด script editor ใน Google Forms ตัวที่ต้องการเก็บข้อมูล
  3. เขียน script เพื่อดึงข้อมูลจาก Google Forms และส่งเข้า BigQuery
  4. ตั้ง trigger ของ script ให้ทำงานเมื่อมีการ submit form เข้ามา
ตัวอย่าง code ของการ stream ข้อมูลเข้า BigQuery

เมื่อเราสามารถป้อนข้อมูลเข้า BigQuery ได้แล้ว เราสามารถนำข้อมูลมาต่อยอดได้สะดวกมากขึ้น เช่น เปิดให้ทีม Analytics เข้ามาวิเคราะห์หา insight ของข้อมูล หรือนำข้อมูลไปแสดงผลบน dashboard เพื่อติดตามข้อมูลได้แบบ real time หากใครสนใจการใช้งานในรูปแบบดังกล่าว สามารถติดต่อเข้ามาได้ที่ แทนเจอรีน ครับ

ความคิดเห็น

แสดงความคิดเห็น

โพสต์ยอดนิยมจากบล็อกนี้

การเรียกใช้งาน Google Apps Script

รูปภาพ
Google Apps Script คือวิธีการเรียกใช้งาน Google Apps อีกรูปแบบหนึ่ง ช่วยให้ผู้ใช้สามารถย้ายงานที่ต้องทำซ้ำๆ หรืองานที่มีรูปแบบตายตัว เปลี่ยนมาเป็นการสั่งงานผ่าน script ที่สามารถทำงานได้โดยอัตโนมัติ สำหรับคนที่ยังไม่รู้จัก Google Apps Script สามารถอ่านเพิ่มเติมได้จากบทความ รู้จักกับ Google Apps Script บทความตอนนี้จะพูดถึงวีธีการเรียกใช้งาน Google Apps Script เนื่องจาก Google Apps Script คือชุดของคำสั่งที่แสดงขั้นตอนการทำงาน ตามที่เราออกแบบและกำหนดไว้ การเขียน Google Apps Script เราจะเรียกกลุ่มของการทำงานว่า function (แบบเดียวกับ method ของภาษา Java) ซึ่งการทำงานของ Google Apps Script จะเกิดจากการสั่ง run function ที่เราระบุไว้ การเรียกใช้งาน Google Apps Script function การเรียกใช้งาน function ใน Google Apps Script สามารถทำได้หลายช่องทาง โดยสามารถจำแนกออกเป็น 3 วิธีการหลักๆ ได้แก่ 1. สั่ง run function ที่ระบุโดยตรง กรณีที่เราต้องการสั่ง run function ที่ต้องการ เราสามารถสั่งงานโดยตรงจากหน้า script editor หรือสั่งงานจากหน้า Script Manager ได้ดังนี้ สำหรับหน้า script editor ให้เลือกชื่อ fun
อ่านเพิ่มเติม

ลดเวลาการเรียก API ใน Apps Script ด้วย fecthAll

รูปภาพ
Apps Script มี function UrlFetchApp.fetch() สำหรับเรียก http request ไปที่ service อื่นๆ ได้ ซึ่งสามารถนำมาใช้เรียก API ภายนอกได้เช่นกัน แต่หากเรามีข้อมูลจำนวนมาก และต้องเรียก UrlFetchApp.fetch() หลายๆ ครั้ง จะทำให้ระบบทำงานช้าและเกินข้อจำกัดของ Apps Script ไป ( document ระบุไว้ว่าได้ 6 นาที) วันนี้ผมจะมาแนะนำวิธีแก้ปัญหาในกรณี้นี้กันคับ account ที่ผมใช้งาน ตกอยู่ในกลุ่มที่มีข้อจำกัด 6 min/execution เมื่อการเรียกทีละ request ไม่ตอบโจทย์ เรื่องเริ่มมาจากผมมีโปรเจกต์ที่มีข้อมูลชื่อโดเมน จำนวนประมาณ 1,400 รายการ ที่ต้องการดึงค่า DNS มาตรวจสอบอะไรบางอย่าง ด้วยการเรียก http request ไปที่ https://dns.google.com/resolve?name=%DOMAIN%  โดยการแทนค่า %DOMAIN% ด้วยโดเมนที่ต้องการ และนำค่าที่ได้จาก API มาทำงานต่อ หลังจากที่เตรียมชื่อโดเมนทั้ง 1,400 รายการลง array เรียบร้อย ก็เริ่ม process ข้อมูลใน array ทุกตัว โดยแต่ละตัวก็จะมีการเรียก UrlFetchApp.fetch() 1 ครั้ง ผลที่ได้ออกมาคือ เริ่มรันตอน 2020-03-17 17:41:48.049  script สามารถทำงานจนถึง record ที่ 1047 ที่เวลา 2020-03-17 17:4
อ่านเพิ่มเติม

ตั้ง Active Directory แบบไม่ต้องดูแล server เอง ด้วย Managed Service for Microsoft Active Directory

รูปภาพ
     Microsoft Active Directory (MS AD) เป็นบริการจัดเก็บข้อมูลทั้ง user, group, computer และอื่นๆ ที่มีการใช้งานอย่างแพร่หลายในองค์กรขนาดกลางและขนาดใหญ่ ประโยชน์ที่ได้รับคือ องค์กรสามารถจัดการ directory ส่วนกลาง ว่าตอนนี้มีใครได้สิทธิ์อะไรบ้าง รวมถึง policy ต่างๆ ที่จะถูกกระจายไปที่เครื่องปลายทาง เมื่อมีการ join domain เข้ามา ช่วยให้องค์กรสามารถควบคุม policy บนเครื่องผู้ใช้งานได้ ทั้งในแง่ความปลอดภัย (เช่น การสั่งปิดการถ่ายโอนข้อมูลลง usb drive) ความสะดวกและความเป็นมาตรฐานในการใช้งาน (เช่น การสั่งติดตั้ง software พื้นฐานในการทำงาน ให้แต่ละแผนก) และยังสามารถใช้เป็นศูนย์กลาง เพื่อให้ app ต่างๆ ในองค์กร เข้ามาใช้ยืนยันตัวตนผู้ใช้งานได้อีกด้วย      การตั้ง AD server เพื่อใช้งานบน Google Cloud สามารถติดตั้งบน Compute Engine ได้ตามปกติ โดยการ enable Domain Services บน Windows Server เราก็จะได้ AD server มาใช้งาน แต่การตั้ง AD server ในลักษณะนี้ เรายังคงต้องดูแลระบบให้ทำงานได้อย่างมีประสิทธิภาพอยู่เสมอ เช่น การ patch security, การทำ High Availability (HA) หรือ Disaster Recovery (DR)      Goo
อ่านเพิ่มเติม