บทที่ 11: The Future of Data Engineering
2 min readแนวโน้มสำคัญ
- Data Engineering Lifecycle จะไม่หายไป — เครื่องมือง่ายขึ้น แต่งาน data engineer จะ shift ไป higher-value
- SaaS (Software as a Service) & managed services (BigQuery, Snowflake, EMR — Amazon Elastic MapReduce) ลดความจำเป็นต้องเข้าใจ low-level details, รวมถึง off-the-shelf connectors (Fivetran, Airbyte) ที่ outsource งานต่อ pipe ให้
- "Enterprisey" Data Engineering — governance, DataOps, data management จะสำคัญขึ้น
- ขอบเขตบทบาทจะเลือนลาง — ML Engineer, Data Engineer, Data Scientist จะ overlap กันมากขึ้น
- Cloud-Scale Data OS — cloud data services (BigQuery, Lambda, Snowflake) เริ่มทำหน้าที่เหมือน OS services แต่ scale ข้ามหลายเครื่อง ต้องการ interoperability standards (Parquet/Avro แทน CSV/JSON) + metadata catalog กลาง (สืบทอดต่อจาก Hive Metastore) เพื่อให้ระบบต่างๆคุยกันได้
จาก Modern Data Stack → Live Data Stack
ข้อจำกัดของ Modern Data Stack:
- สร้างบน cloud data warehouse paradigm
- BI และ dashboards ตอบแค่ what/when — ควร automation สำหรับ actions ที่ซ้ำๆ
Live Data Stack:
- หลอมรวม real-time analytics + ML เข้ากับ applications
- ใช้ streaming technologies ครอบคลุมทั้ง lifecycle
Figure 11-1. In the live data stack, data and intelligence moves in real time between the application and supporting systems — ข้อมูลและ intelligence ไหลกลับไปมาระหว่าง application กับระบบ supporting แบบ real-time
- Shift จาก ELT (Extract, Load, Transform) → STL (Stream, Transform, Load) — ทำ transformation ใน stream แล้วค่อย load
- Batch จะค่อยๆลดความสำคัญ
- Real-time OLAP databases ตัวอย่างเช่น Druid, ClickHouse, Rockset, Firebolt — ออกแบบมาเพื่อ ingest เร็ว + query แบบ subsecond บนข้อมูลที่ยังเคลื่อนที่อยู่ (แทน data warehouse/lake ที่เหมาะกับ batch มากกว่า)
Dark Matter Data: ทำไม Spreadsheet ยังไม่ตาย
- Spreadsheet คือ data platform ที่มีผู้ใช้เยอะที่สุดในโลก (ประมาณ 700M–2B คน) แต่ analytics ส่วนใหญ่ในนั้นไม่เคยเข้าสู่ sophisticated data system เลย — เป็น "dark matter" ของโลก data
- คาดว่าจะมี tool รุ่นใหม่ที่ผสาน interactivity แบบ spreadsheet เข้ากับ backend power ของ cloud OLAP เพื่อเปิดให้ user ที่ไม่ใช่ engineer ทำ analytics ได้ลึกขึ้น
What Will Stay the Same (สิ่งที่ unlikely to change)
- Data ยังต้องถูก processed
- Data ยังต้องมี quality, governance, security
- Data engineers ยังต้องเข้าใจ business needs
- SQL, networking, distributed systems concepts