วิธีการเชี่ยวชาญการวิเคราะห์แบบเรียลไทม์ด้วย AWS: Timestream และ Beyond

ใน บทความที่แล้ว เราได้พูดถึงการเติบโตแบบก้าวกระโดดของงานอีเวนต์ในโลกที่ขับเคลื่อนด้วยข้อมูลของปัจจุบัน ด้วยแอป อุปกรณ์อัจฉริยะ และเครื่องจักรจำนวนมากที่อยู่รอบตัวเรา ปริมาณข้อมูลที่สร้างขึ้นจึงมหาศาล นอกจากนี้ เรายังสำรวจว่าแพลตฟอร์มออร์เคสตราสามารถช่วยส่งมอบงานอีเวนต์เหล่านี้ไปยังแอปพลิเคชันที่เหมาะสมได้อย่างไร อย่างไรก็ตาม การจัดงานอีเวนต์อาจไม่เพียงพอสำหรับธุรกิจที่จะสร้างผลกระทบ

การวิเคราะห์เหตุการณ์เหล่านี้เพื่อทำความเข้าใจพฤติกรรมของผู้ใช้ ช่วยให้ธุรกิจสามารถให้บริการลูกค้าได้ดีขึ้นโดยการตัดสินใจที่ชาญฉลาดขึ้น แพลตฟอร์มวิเคราะห์แบบเรียลไทม์สามารถช่วยแปลงข้อมูลของเหตุการณ์เป็นข้อมูลเชิงลึกที่มีความหมายได้

บทความนี้จะอธิบายวิธีสร้างแพลตฟอร์มการวิเคราะห์แบบเรียลไทม์โดยใช้ AWS การประเมินโซลูชันที่เป็นไปได้ และให้คำแนะนำทีละขั้นตอนในการนำแพลตฟอร์มที่ปรับขนาดได้และเชื่อถือได้มาใช้ การสร้างแพลตฟอร์มนี้เกี่ยวข้องกับสามขั้นตอน ได้แก่ การนำข้อมูลเข้ามา การประมวลผล และการสอบถาม การวิเคราะห์แบบเรียลไทม์มักมุ่งเน้นไปที่แนวโน้มและรูปแบบในช่วงเวลาหนึ่ง ไม่ว่าจะเป็นพฤติกรรมของผู้ใช้หรือประสิทธิภาพของระบบ

ข้อมูลแบบไทม์ซีรีส์จะจัดระเบียบเหตุการณ์ตามลำดับ ทำให้สามารถวิเคราะห์ข้อมูลจากช่วงเวลาหนึ่งไปยังอีกช่วงเวลาหนึ่งได้อย่างง่ายดาย การจัดเก็บแบบไทม์ซีรีส์สอดคล้องกับความต้องการนี้อย่างสมบูรณ์แบบ ช่วยให้แอปพลิเคชันสามารถคำนวณเมตริกได้ AWS นำเสนอเครื่องมือต่างๆ เช่น SQS, Lambda, Timestream และ Quicksight ที่ทำงานร่วมกันได้อย่างราบรื่นเพื่อสร้างแพลตฟอร์มนี้

มีสามส่วนหลักที่เกี่ยวข้องในการสร้างแพลตฟอร์มการวิเคราะห์แบบเรียลไทม์

• การนำข้อมูลเข้ามา : เหตุการณ์ที่เผยแพร่จากแอปพลิเคชันสามารถไหลเข้าสู่ AWS ผ่าน Amazon Kinesis หรือไปยัง SQS โดยตรงได้

• การประมวลผลข้อมูล : AWS Lambda สามารถประมวลผลข้อมูลและเขียนลงใน Timesream ได้

• การแสดงภาพและการสอบถาม : แดชบอร์ดที่กำหนดเองหรือ Quicksight สามารถบูรณาการกับ Timestream สำหรับการแสดงภาพและข้อมูลเชิงลึก

  
  

  แผนภาพด้านล่างแสดงสถาปัตยกรรมของแพลตฟอร์มการวิเคราะห์

  
  

ไทม์สตรีม

Amazon Timestream ซึ่งเป็นฐานข้อมูลลำดับเวลาของ AWS ได้รับการออกแบบมาเพื่อรับมือกับความท้าทายในการประมวลผลและวิเคราะห์ข้อมูลจำนวนมหาศาลอย่างมีประสิทธิภาพ Timestream เป็นแบบไร้เซิร์ฟเวอร์ ปรับขนาดได้ และเหมาะสำหรับแอปพลิเคชันที่ต้องการการวิเคราะห์ข้อมูลแบบเรียลไทม์ คุณสมบัติหลัก ได้แก่:

• การปรับขนาดอัตโนมัติ : สามารถประมวลผลเหตุการณ์ได้นับล้านล้านรายการต่อวัน โดยปรับขนาดโดยอัตโนมัติเพื่อตอบสนองความต้องการ
• ประสิทธิภาพ : ให้ประสิทธิภาพการค้นหาที่เร็วกว่าถึง 1,000 เท่าเมื่อเปรียบเทียบกับฐานข้อมูลเชิงสัมพันธ์
• Serverless : ได้รับการจัดการโดย AWS อย่างสมบูรณ์ จึงช่วยลดค่าใช้จ่าย
• ระดับการเก็บข้อมูลอัจฉริยะ : ระดับการเก็บข้อมูลที่ได้รับการปรับให้เหมาะสมสำหรับข้อมูลล่าสุด (ในหน่วยความจำ) และในอดีต (ที่เก็บข้อมูลแบบแม่เหล็ก)
• รองรับการค้นหา SQL : รองรับการค้นหา SQS สำหรับการดำเนินการค้นหาที่ซับซ้อน การรวมข้อมูล และการวิเคราะห์แบบอนุกรมเวลา
• การบูรณาการ : รองรับการบูรณาการอย่างราบรื่นกับบริการ AWS อื่นๆ

การนำไปปฏิบัติ

เทมเพลตการสร้างคลาวด์ (CFN) สำหรับทรัพยากรทั้งหมดที่จำเป็นสามารถพบได้ใน Github Repo

• การนำข้อมูลเข้ามา

  บริการสามารถเผยแพร่เหตุการณ์ที่เกี่ยวข้องไปยังคิว SQS ซึ่งทำหน้าที่เป็นคิวข้อความสำหรับระบบ เพื่อเพิ่มความน่าเชื่อถือ คิวจดหมายที่ส่งไม่ได้ (DLQ) จะถูกกำหนดค่าควบคู่ไปกับคิว SQS หลัก เหตุการณ์ที่ไม่สามารถประมวลผลได้จะถูกส่งไปที่ DLQ หลังจากเกณฑ์การลองใหม่ เหตุการณ์เหล่านี้ยังสามารถใช้ในการดีบัก การจัดการความล้มเหลว และการสืบสวนได้อีกด้วย

  
  

  ด้านล่างนี้เป็นตัวอย่างของเทมเพลต CFN เพื่อสร้างคิว SQS และ DLQ ที่เกี่ยวข้อง:

  
  

   EventQueueDLQ: Description: 'An DLQ queue that receives failed events' Type: AWS::SQS::Queue Properties: FifoQueue: true ContentBasedDeduplication: true QueueName: !Ref DLQQueueName SqsManagedSseEnabled: true VisibilityTimeout: 240 EventQueue: Description: 'An SQS queue that receives events' Type: 'AWS::SQS::Queue' Properties: QueueName: !Ref SQSQueueName FifoQueue: true ContentBasedDeduplication: true KmsMasterKeyId: alias/aws/sqs VisibilityTimeout: 240 RedrivePolicy: deadLetterTargetArn: !Sub ${EventQueueDLQ.Arn} maxReceiveCount: 5

• การประมวลผลข้อมูล

  ฟังก์ชัน AWS Lambda ถูกกำหนดค่าให้ทำหน้าที่เป็นตัวประมวลผลข้อมูล ซึ่งรับผิดชอบในการจัดการและประมวลผลเหตุการณ์ที่เผยแพร่ไปยังคิว SQS โดยจะส่งเหตุการณ์เป็นเมตริกไปยังฐานข้อมูล Timestream หลังจากการประมวลผล

  
  

  ด้านล่างนี้เป็นตัวอย่างเทมเพลต CFN สำหรับ Lambda และการแมปไปยัง SQS:

  
  

   EventProcessorLambda: Type: 'AWS::Lambda::Function' Description: 'Lambda function that processes events from the SQS queue and writes to Timestream.' Properties: FunctionName: !Ref LambdaFunctionName Handler: 'index.lambda_handler' Role: !GetAtt LambdaExecutionRole.Arn Runtime: 'python3.12' MemorySize: 1024 Timeout: 120 Environment: Variables: TIMESTREAM_DATABASE_NAME: !Ref EventsDatabaseName TIMESTREAM_TABLE_NAME: !Ref EventsTableName Code: ZipFile: | # Lambda function code goes here SQSToLambdaEventSourceMapping: Type: 'AWS::Lambda::EventSourceMapping' Description: 'Maps the SQS queue as the event source for the Lambda function.' Properties: BatchSize: 10 EventSourceArn: !GetAtt EventQueue.Arn FunctionName: !GetAtt EventProcessorLambda.Arn Enabled: 'True'

  
  

• คลังข้อมูล

  Amazon Timestream ทำหน้าที่เป็นที่จัดเก็บข้อมูลหลักสำหรับเหตุการณ์ทั้งหมดที่สร้างขึ้นในบริการต่างๆ การตั้งค่าประกอบด้วย:

  • ฐานข้อมูล : ทำหน้าที่เป็นคอนเทนเนอร์เชิงตรรกะสำหรับตารางหนึ่งตารางหรือมากกว่า
  • ตาราง : ภายในฐานข้อมูล ตารางจะจัดเก็บข้อมูลเมตริกที่แท้จริง

ด้านล่างนี้เป็นตัวอย่างสำหรับเทมเพลต CFN เพื่อสร้างฐานข้อมูล Timestream และตาราง:

 EventsDatabase: Description: 'Timestream database to store event data' Type: 'AWS::Timestream::Database' Properties: DatabaseName: !Ref EventsDatabaseName KmsKeyId: alias/aws/timestream EventsTable: Description: 'Timestream table that stores event metrics' Type: 'AWS::Timestream::Table' DependsOn: EventsDatabase Properties: DatabaseName: !Ref EventsDatabase TableName: !Ref EventsTableName RetentionProperties: MemoryStoreRetentionPeriodInHours: 72 MagneticStoreRetentionPeriodInDays: 365

• การแสดงภาพและการสอบถาม

  • สอบถามข้อมูล

    Timestream นำเสนอคอนโซล Query ที่ให้ผู้ใช้สามารถรันแบบสอบถามกับตารางได้ ตัวอย่างเช่น:

     -- Get the 10 most recent metrics in the past 15 minutes. SELECT * FROM "events-db"."events-metrics" WHERE time between ago(15m) and now() ORDER BY time DESC LIMIT 10

  
  

  • การสร้างภาพ

    AWS มีการบูรณาการแบบพร้อมใช้งานมากมาย (เช่น QuickSight , Grafana ) ร่วมกับ Timestream ช่วยให้วิเคราะห์ แสดงภาพ และดึงข้อมูลเชิงลึกได้อย่างง่ายดาย

การทดสอบ

บริการสามารถเผยแพร่เหตุการณ์ในรูปแบบต่อไปนี้ไปยัง SQS เพื่อกระตุ้นกระบวนการประมวลผลทั้งหมด:

 { "order_id": "test-order-1", "customer_id": "test-customer-1", "event_type": "order_success", "metric_value": 1 }

บทสรุป

สถาปัตยกรรมนี้นำเสนอวิธีการที่เรียบง่ายและมีประสิทธิภาพในการสร้างแพลตฟอร์มการวิเคราะห์ที่ปรับขนาดได้และเชื่อถือได้ มีทางเลือกอื่นๆ ขึ้นอยู่กับความต้องการเฉพาะ เช่น AWS Kinesis Streams สำหรับการประมวลผลเหตุการณ์ Prometheus สำหรับการจัดเก็บข้อมูล และ S3+Athena สำหรับการประมวลผลและการวิเคราะห์แบบแบตช์