Tích hợp không ETL trên Amazon Aurora với Amazon Redshift

Intuit là nền tảng công nghệ tài chính toàn cầu, mang đến sự thịnh vượng cho 100 triệu khách hàng tiêu dùng và doanh nghiệp nhỏ nhờ các sản phẩm TurboTax, Credit Karma, QuickBooks và Mailchimp. Do tính chất phức tạp của quá trình di chuyển sắp tới, Intuit đã xem xét hơn 10 triệu lượt di chuyển hồ sơ mỗi ngày, một con số đáng kinh ngạc. Intuit đã chuyển sang tích hợp không ETL của Amazon Aurora MySQL với Amazon Redshift để hợp lý hóa quy trình tải nhập dữ liệu và loại bỏ nhu cầu về công việc kỹ thuật phức tạp.

“Khối lượng dữ liệu khổng lồ và nhu cầu di chuyển liền mạch là một thách thức lớn đối với chúng tôi. Hơn nữa, chúng tôi cần có một giải pháp cho phép phân tích quá trình di chuyển một cách nhanh chóng để có thể đưa ra quyết định kịp thời, dựa trên dữ liệu. Để giải quyết những thách thức này, chúng tôi đã chuyển sang tích hợp không ETL của Amazon Aurora với Amazon Redshift để hợp lý hóa quy trình tải nhập dữ liệu và loại bỏ nhu cầu về công việc kỹ thuật phức tạp. Với khả năng tích hợp không ETL, chúng tôi có thể gửi một lượng lớn dữ liệu đến Amazon Redshift mà không cần thực hiện các công việc thu thập hoặc tải nhập dữ liệu riêng biệt. Nhờ vậy, chúng tôi sẽ thu được các thông tin chuyên sâu ngắn gọn để hỗ trợ việc đưa ra các quyết định kinh doanh và kỹ thuật quan trọng, giúp tiết kiệm rất nhiều công sức (có thể lên đến hàng tháng). Nhờ sử dụng tính năng tích hợp không ETL của Aurora với Amazon Redshift, chúng tôi đã khám phá được các mẫu hình mới tại Intuit cho việc di chuyển dữ liệu quy mô lớn và phân tích gần theo thời gian thực."

Aruna Ghiware, Giám đốc Phát triển Sản phẩm – Intuit

Tập đoàn KINTO Technologies là đơn vị đi đầu trong ngành công nghiệp nền tảng di động và cũng là công ty công nghệ chịu trách nhiệm phát triển dịch vụ KINTO với tư cách là công ty dịch vụ tài chính của Toyota. Tận dụng tính năng tích hợp không ETL của Amazon Aurora MySQL với Amazon Redshift, KINTO Technologies đã có thể đạt được quy trình dữ liệu linh hoạt hơn và hiện tại có thể áp dụng các tính năng phân tích nâng cao của Amazon Redshift cho dữ liệu hoạt động của mình gần như theo thời gian thực.

“Trước khi tính năng tích hợp không ETL ra đời, chúng tôi đã sử dụng một giải pháp được xây dựng tùy chỉnh để liên tục truyền các thay đổi từ cơ sở dữ liệu lõi sang các ứng dụng hạ nguồn, nhưng chúng tôi đã phải đối mặt với những thách thức về hiệu suất và tác động liên tục đến khối lượng công việc sản xuất. Để giải quyết tác động về hiệu suất đối với khối lượng công việc sản xuất, chúng tôi đã phải điều chỉnh quy trình dữ liệu theo cách thủ công để giảm tần suất gửi các bản cập nhật và giải quyết dữ liệu cũ trong Amazon Redshift. Nhờ sử dụng tính năng tích hợp không ETL của Aurora MySQL với Amazon Redshift, chúng tôi có thể luôn có sẵn dữ liệu gần như theo thời gian thực trong Amazon Redshift, giúp nhà phát triển không phải dành hàng giờ để quản lý thủ công các quy trình dữ liệu cho hoạt động ETL hay xử lý các tác động về hiệu suất đối với khối lượng công việc, từ đó giảm bớt gánh nặng vận hành.

Hitoshi Kageyama, Phó Chủ tịch Điều hành – Tập đoàn KINTO Technologies

MassPay là nhà cung cấp hàng đầu các giải pháp điều phối thanh toán toàn cầu cho phép thanh toán B2B và B2C liền mạch, an toàn và tuân thủ quy định ở bất kỳ quốc gia, theo bất kỳ loại tiền tệ hoặc phương thức thanh toán nào.

“Chúng tôi dựa vào Amazon Aurora MySQL-Compatible Edition và Amazon Redshift để cung cấp hạ tầng có khả năng mở rộng và hiệu năng cao cho cả xử lý giao dịch lẫn phân tích. Aurora MySQL đóng vai trò xương sống cho lớp cơ sở dữ liệu vận hành của chúng tôi, hỗ trợ các quy trình chi trả mang tính nhiệm vụ trọng yếu với giá trị xử lý lên đến hàng tỷ đô la. Amazon Redshift đảm nhiệm vai trò lưu kho dữ liệu và phân tích nâng cao, mang lại các thông tin chuyên sâu gần như theo thời gian thực về hiệu suất chi trả, xu hướng khách hàng và hiệu quả vận hành. Nhờ tích hợp không ETL trên Aurora MySQL với Amazon Redshift, chúng tôi đã loại bỏ độ trễ giữa quá trình tải nhập dữ liệu và báo cáo. Điều này giúp giảm 90% độ trễ trong việc đảm bảo dữ liệu sẵn sàng, đồng thời, giờ đây có thể truy cập dữ liệu MySQL trong Redshift nhanh hơn 1,5 lần. Nhờ đó, khả năng ra quyết định nội bộ được cải thiện, đồng thời mức độ sử dụng và tin cậy vào Amazon Redshift như nguồn báo cáo chính trong nội bộ cũng tăng 75%”.

Yossi Shlomo, Giám đốc Kiến trúc hệ thống thanh toán - MassPay

Money Forward i cố gắng nâng cao năng suất và tiềm năng sáng tạo của các nhóm CNTT trong tổ chức bằng cách hợp lý hóa các nhiệm vụ lặp đi lặp lại, cắt giảm chi phí và tăng cường bảo mật thông qua Admina, Nền tảng quản lý SaaS trực quan của họ.

"Trước khi tính năng tích hợp không ETL giữa Amazon Aurora với Amazon Redshift ra mắt, chúng tôi gặp khó khăn trong việc triển khai và duy trì các hoạt động ETL để phân tích dữ liệu sản phẩm từ Amazon Aurora MySQL trong Amazon Redshift. Tính năng tích hợp không ETL của Aurora MySQL với Amazon Redshift cho phép đồng bộ hóa dữ liệu gần như theo thời gian thực giữa cơ sở dữ liệu Aurora MySQL của chúng tôi và Amazon Redshift, giúp giảm thời gian xây dựng môi trường phân tích từ một tháng xuống còn ba giờ. Tích hợp không ETL không chỉ giảm bớt gánh nặng phát triển ban đầu mà hạn chế tác động đến môi trường sản xuất, cho phép xây dựng môi trường phân tích nhanh nhất và ít tốn kém nhất."

Katsutoshi Murakami, Giám đốc kiêm Giám đốc sản xuất – Money Forward i