แนวโน้มสำคัญ

1. Data Engineering Lifecycle จะไม่หายไป — เครื่องมือง่ายขึ้น แต่งาน data engineer จะ shift ไป higher-value
2. SaaS (Software as a Service) & managed services (BigQuery, Snowflake, EMR — Amazon Elastic MapReduce) ลดความจำเป็นต้องเข้าใจ low-level details
3. "Enterprisey" Data Engineering — governance, DataOps, data management จะสำคัญขึ้น
4. ขอบเขตบทบาทจะเลือนลาง — ML Engineer, Data Engineer, Data Scientist จะ overlap กันมากขึ้น

จาก Modern Data Stack → Live Data Stack

ข้อจำกัดของ Modern Data Stack:

• สร้างบน cloud data warehouse paradigm
• BI และ dashboards ตอบแค่ what/when — ควร automation สำหรับ actions ที่ซ้ำๆ

Live Data Stack:

• หลอมรวม real-time analytics + ML เข้ากับ applications
• ใช้ streaming technologies ครอบคลุมทั้ง lifecycle
• Shift จาก ELT (Extract, Load, Transform) → STL (Stream, Transform, Load) — ทำ transformation ใน stream แล้วค่อย load
• Batch จะค่อยๆลดความสำคัญ

What Will Stay the Same (สิ่งที่ unlikely to change)

• Data ยังต้องถูก processed
• Data ยังต้องมี quality, governance, security
• Data engineers ยังต้องเข้าใจ business needs
• SQL, networking, distributed systems concepts

---

ภาคผนวก