Confluent ผู้ให้บริการ Data Streaming เปิดตัว Delta Lake และ Databricks Unity Catalog บน Confluent Tableflow อย่างเป็นทางการแบบ General Availability (GA) นอกจากนี้ยังได้เปิดให้ใช้งาน Early Access (EA) บน Microsoft OneLake ตอกย้ำการเป็นโซลูชันครบวงจรที่เชื่อมโยงระบบปฏิบัติการ, ระบบวิเคราะห์ และระบบ AI เข้าด้วยกันอย่างไร้รอยต่อในสภาพแวดล้อมแบบ Hybrid และ Multicloud
Tableflow: สะพานเชื่อม Real-Time Data สู่ AI และ Analytics
นับตั้งแต่เปิดตัว Tableflow ได้ปฏิวัติวิธีที่องค์กรจัดการ Data Streaming สำหรับงานวิเคราะห์ โดยสามารถนำข้อมูลจาก Apache Kafka® topics เข้าสู่ตาราง Delta Lake หรือ Apache Iceberg™ ได้โดยตรง พร้อมระบบควบคุมคุณภาพอัตโนมัติ การเชื่อมต่อแค็ตตาล็อก และการรักษาความปลอดภัยระดับองค์กร ซึ่งช่วย ลดความซับซ้อนของงาน ETL ที่ไม่เสถียร และการเชื่อมต่อ Lakehouse แบบแมนนวลที่เคยเป็นอุปสรรคสำคัญ
Shaun Clowes, Chief Product Officer ของ Confluent, กล่าวว่า “Tableflow เข้ามาช่วยลดช่องว่างระหว่างระบบ Streaming และการวิเคราะห์ข้อมูล ทำให้การเชื่อมต่อ Kafka เข้ากับ Lakehouse ที่มีการกำกับดูแลเป็นไปได้อย่างราบรื่น องค์กรจึงสามารถเข้าถึงข้อมูลคุณภาพสูงที่พร้อมสำหรับการวิเคราะห์และการใช้งานด้าน AI ทันทีที่ข้อมูลถูกสร้างขึ้น”
การอัปเดตเหล่านี้มอบรากฐานแบบครบวงจรสำหรับการสร้างระบบ AI และการวิเคราะห์แบบเรียลไทม์ ที่ง่ายขึ้น ภายใต้ระบบการกำกับดูแลและความยืดหยุ่นระดับองค์กร เสริมศักยภาพให้ธุรกิจสามารถก้าวหน้าเหนือคู่แข่ง
ยกระดับความสามารถระดับองค์กรด้วยฟีเจอร์ใหม่ (GA)
การเปิดตัวแบบ General Availability ได้นำเสนอคุณสมบัติใหม่ระดับองค์กรที่ทำให้ Tableflow เป็นโซลูชัน Stream-to-Table ที่สมบูรณ์แบบ น่าเชื่อถือ และปลอดภัยที่สุดในปัจจุบัน:
- ลดความซับซ้อนของการวิเคราะห์ข้อมูล: รองรับ Delta Lake (GA) เพื่อแปลง Kafka topics ให้เป็นตาราง Delta Lake ที่จัดเก็บใน Cloud Object Storage ทันที และสามารถเปิดใช้งานรูปแบบข้อมูล Delta Lake และ Iceberg พร้อมกันในแต่ละ topic
- รวมศูนย์การกำกับดูแลข้อมูล: รองรับ Unity Catalog (GA) เชื่อมต่อ Metadata, Schema และนโยบายการเข้าถึงข้อมูลระหว่าง Tableflow และ Databricks Unity Catalog โดยอัตโนมัติ เพื่อให้การกำกับดูแลข้อมูลสอดคล้องกันทั่วทั้งองค์กร
- ยกระดับความน่าเชื่อถือ: มีระบบ Dead Letter Queue แยกและจัดเก็บข้อมูลที่ผิดรูปแบบออกไป ทำให้สามารถตรวจสอบข้อผิดพลาดและฟื้นฟูระบบได้รวดเร็ว
- ประหยัดเวลาและลดความซับซ้อน: ฟังก์ชัน Upsert ทำการอัปเดตและบันทึกข้อมูลโดยอัตโนมัติ ทำให้ตาราง Delta Lake และ Iceberg คงความถูกต้องและพร้อมสำหรับการวิเคราะห์ โดยไม่ต้องมีการดูแลแบบแมนนวล
- เสริมความแข็งแกร่งด้านความปลอดภัย: ฟีเจอร์ Bring Your Own Key เปิดโอกาสให้ลูกค้านำกุญแจเข้ารหัสที่จัดการเองมาใช้กับ Tableflow เพื่อควบคุมการปกป้องข้อมูลได้อย่างเต็มรูปแบบ
ขยายขีดความสามารถสู่ Microsoft OneLake
Tableflow ได้เปิดให้ใช้งานแบบ Early Access (EA) บน Azure โดยผสานรวมกับ OneLake ซึ่งเป็นการขยายขอบเขตการทำงานในสภาพแวดล้อมมัลติคลาวด์ มอบความได้เปรียบให้กับองค์กรที่ใช้ Azure Databricks และ Microsoft Fabric ด้วยการผสานรวม Delta Lake และ Unity Catalog อย่างสมบูรณ์ ลูกค้าจะสามารถ:
- รับข้อมูลเชิงลึกได้เร็วขึ้น: แปลง Kafka topics ให้กลายเป็น Open Tables ใน Microsoft OneLake ได้ทันที และสามารถค้นข้อมูลผ่าน Microsoft Fabric หรือเครื่องมืออื่น ๆ ผ่าน OneLake Table APIs โดยไม่ต้องผ่านกระบวนการ ETL
- เชื่อมต่อบริการ Azure AI และ Analytics ได้อย่างราบรื่น: ผสานการทำงานอย่างไร้รอยต่อกับ Azure Analytics และ AI เพื่อขับเคลื่อนข้อมูลเชิงลึกแบบเรียลไทม์
Dipti Borkar, Vice President and GM ของ Microsoft OneLake, กล่าวถึงความร่วมมือนี้ว่า “ด้วย Confluent Tableflow ที่พร้อมใช้งานบน Microsoft Azure ลูกค้าสามารถขับเคลื่อนเหตุการณ์ Kafka ไปยัง OneLake ในรูปแบบตาราง Apache Iceberg หรือ Delta Lake พร้อมค้นข้อมูลได้ทันทีผ่าน Microsoft Fabric และระบบของผู้ให้บริการภายนอกรายอื่น ๆ ซึ่งช่วย ลดความซับซ้อนและเร่งการตัดสินใจทางธุรกิจได้อย่างมีประสิทธิภาพ“
