一家金融服務公司定期從其信用卡服務合作夥伴處接收數據饋送。每 15 分鐘以明文形式發送約 5,000 條記錄,通過 HTTPS 直接傳輸到亞馬遜 S3 存儲桶中,並進行服務器端加密。該饋送包含敏感的信用卡主賬號 (PAN) 數據。公司需要在將數據發送到另一個 S3 存儲桶進行額外內部處理之前,自動屏蔽 PAN。公司還需要刪除和合併特定字段
A. 文件交付時調用 AWS Lambda 函數,提取每條記錄並將其寫入 Amazon SQS 隊列。當新消息到達 SQS 隊列時,調用另一個 Lambda 函數來處理記錄,並將結果寫入 Amazon S3 中的臨時位置。SQS 隊列清空後,調用最後一個 Lambda 函數,將記錄轉換爲 JSON 格式,並將結果發送到另一個 S3 存儲桶進行內部處理。
B. 在文件交付時調用 AWS Lambda 函數,提取每條記錄並將其寫入 Amazon SQS 隊列。配置 AWS Fargate 容器應用程序,以便在 SQS 隊列包含消息時自動擴展到單個實例。讓應用程序處理每條記錄,並將記錄轉換爲 JSON 格式。當隊列爲空時,將結果發送到另一個 S3 桶進行內部處理,然後縮減 AWS Fargate 實例。
C. 據數據源格式創建 AWS Glue 爬蟲和自定義分類器,並構建與之匹配的表定義。在文件交付時調用 AWS Lambda 函數,啓動 AWS Glue ETL 作業,根據處理和轉換要求轉換整個記錄。將輸出格式定義爲 JSON。完成後,讓 ETL 作業將結果發送到另一個 S3 存儲桶進行內部處理。
D. 據數據源格式創建 AWS Glue 爬蟲和自定義分類器,並構建與之匹配的表定義。在文件交付時執行 Amazon Athena 查詢,以啓動 Amazon EMR ETL 作業,根據處理和轉換要求轉換整個記錄。將輸出格式定義爲 JSON。完成後,將結果發送到另一個 S3 桶進行內部處理,並縮減 EMR 集羣。