Data Factory mang lại cho bạn trải nghiệm tích hợp dữ liệu hiện đại để nhập, chuẩn bị và biến đổi dữ liệu từ một bộ nguồn dữ liệu đa dạng (ví dụ: cơ sở dữ liệu, data warehouse, Lakehouse, dữ liệu thời gian thực và nhiều nguồn khác). Cho dù bạn là người dùng cá nhân hay nhà phát triển chuyên nghiệp, bạn sẽ có khả năng biến đổi dữ liệu với các biến đổi thông minh và tận dụng một loạt các hoạt động phong phú. Với Data Factory mang lại khả năng sao chép nhanh (di chuyển dữ liệu) cho cả dataflows và data pipelines. Với Fast Copy, bạn có thể di chuyển dữ liệu giữa các cơ sở dữ liệu yêu thích của mình một cách nhanh chóng. Quan trọng nhất, Fast Copy cho phép bạn đưa dữ liệu vào Lakehouse và Data Warehouse trong Microsoft Fabric để thực hiện phân tích.
Có hai tính năng chính mà Data Factory triển khai: dataflows và pipelines.
- Dataflows cho phép bạn tận dụng hơn 300 biến đổi trong trình thiết kế dataflows, giúp bạn biến đổi dữ liệu một cách dễ dàng và linh hoạt hơn bất kỳ công cụ nào khác – bao gồm cả các biến đổi dữ liệu thông minh dựa trên trí tuệ nhân tạo.
- Pipelines cho phép bạn tận dụng các khả năng tổ chức dữ liệu phong phú tích hợp sẵn để tạo các luồng công việc dữ liệu linh hoạt phù hợp với nhu cầu doanh nghiệp của bạn.
Dataflows
Dataflows cung cấp một giao diện low-code để nhập dữ liệu từ hàng trăm nguồn dữ liệu, biến đổi dữ liệu của bạn bằng cách sử dụng 300+ biến đổi dữ liệu. Sau đó, bạn có thể tải dữ liệu kết quả vào nhiều cơ sở dữ liệu, chẳng hạn như cơ sở dữ liệu Azure SQL và nhiều cơ sở dữ liệu khác. Dataflows có thể được chạy lặp đi lặp lại bằng cách sử dụng cập nhật thủ công hoặc theo lịch trình, hoặc như một phần của việc tổ chức đường ống dữ liệu.
Dataflows được xây dựng bằng trải nghiệm Power Query quen thuộc mà hiện đã có trong một số sản phẩm và dịch vụ Microsoft như Excel, Power BI, Power Platform, ứng dụng Dynamics 365 Insights và nhiều sản phẩm khác. Power Query giúp tất cả người dùng, từ người dùng cá nhân đến các chuyên gia tích hợp dữ liệu chuyên nghiệp, thực hiện nhập dữ liệu và biến đổi dữ liệu trên toàn bộ dữ liệu của họ. Thực hiện kết hợp, tổng hợp, làm sạch dữ liệu, biến đổi tùy chỉnh và nhiều hơn nữa từ giao diện người dùng low-code dễ sử dụng và trực quan cao.
Data pipelines
Data pipelines cung cấp khả năng làm việc mạnh mẽ ở quy mô đám mây. Với data pipelines, bạn có thể xây dựng các luồng công việc phức tạp có thể làm mới dữ liệu của bạn, di chuyển dữ liệu với dung lượng PB (petabytes) và xác định các pipelines phức tạp.
Sử dụng data pipelines để xây dựng các luồng công việc phức tạp ETL và data factory có thể thực hiện nhiều nhiệm vụ khác nhau ở quy mô lớn. Khả năng kiểm soát luồng được tích hợp vào các đường ống dữ liệu, giúp bạn xây dựng logic luồng công việc, cung cấp vòng lặp và điều kiện.
Thêm một hoạt động sao chép dựa trên cấu hình cùng với việc làm mới dữ liệu low-code của bạn trong một đường ống duy nhất để tạo một data pipeline ETL toàn diện từ đầu đến cuối. Bạn thậm chí có thể thêm các hoạt động code-first cho Spark Notebooks, các tập lệnh SQL, stored procs và nhiều thứ khác.
Nguồn: https://learn.microsoft.com/en-us/fabric/data-factory/data-factory-overview
