Data Factory trong Microsoft Fabric kết hợp Power Query và Azure Data Factory thành một trải nghiệm tích hợp dữ liệu đáng tin cậy hiện đại, hỗ trợ dữ liệu và các chuyên gia kinh doanh trích xuất, tải và chuyển đổi dữ liệu cho tổ chức của họ. Ngoài ra, khả năng điều phối dữ liệu mạnh mẽ cho phép bạn xây dựng các quy trình làm việc dữ liệu từ đơn giản đến phức tạp để sắp xếp các bước cần thiết cho nhu cầu tích hợp dữ liệu của bạn.
Các khái niệm chính về Data Factory trong Microsoft Fabric
- Get data and transformation – Dataflow Gen2 là sự phát triển của các luồng dữ liệu trong Power BI. Dataflow Gen2 được thiết kế lại để sử dụng các công cụ điện toán Fabric để xử lý và chuyển đổi dữ liệu. Điều này cho phép họ tiếp thu và chuyển đổi dữ liệu ở mọi quy mô.
- Data orchestration – Sử dụng các đường dẫn dữ liệu đã quen thuộc với người dùng Azure Data Factory (ADF), Microsoft Fabric cho phép các khả năng điều phối tương tự được cung cấp trong ADF. Là một phần của bản phát hành GA của Fabric, các đường dẫn dữ liệu hỗ trợ hầu hết các hoạt động có sẵn trong ADF.
Tham khảo danh sách các hoạt động này là một phần của đường dẫn dữ liệu trong Fabric. - Enterprise-ready data movement – Cho dù đó là di chuyển dữ liệu nhỏ hay quy mô petabyte, Data Factory cung cấp nền tảng di chuyển dữ liệu thông minh và không có máy chủ cho phép bạn di chuyển dữ liệu giữa các nguồn dữ liệu đa dạng và đích dữ liệu một cách đáng tin cậy. Với sự hỗ trợ cho hơn 170 trình kết nối, Data Factory trong Microsoft Fabric cho phép bạn di chuyển dữ liệu giữa nhiều đám mây, nguồn dữ liệu tại chỗ và trong mạng ảo (VNet). Tối ưu hóa thông lượng thông minh cho phép nền tảng di chuyển dữ liệu tự động phát hiện kích thước điện toán cần thiết cho việc di chuyển dữ liệu.
Di chuyển từ Azure Data Factory (ADF)
Để cho phép khách hàng nâng cấp lên Microsoft Fabric từ Azure Data Factory (ADF), chúng tôi hỗ trợ các tính năng sau:
- Data pipeline activities – Chúng tôi hỗ trợ hầu hết các hoạt động mà bạn đã sử dụng trong ADF cho Data Factory trong Fabric. Ngoài ra, chúng tôi đã thêm các hoạt động mới cho thông báo, chẳng hạn như hoạt động Nhóm và Outlook. Tham khảo danh sách các hoạt động có sẵn trong Data Factory in Fabric.
- OneLake/Lakehouse connector in Azure Data Factory – Đối với nhiều khách hàng ADF, giờ đây bạn có thể tích hợp với Microsoft Fabric và đưa dữ liệu vào Fabric OneLake.
- Azure Data Factory Mapping Dataflow to Fabric – Chúng tôi cung cấp hướng dẫn này cho những khách hàng ADF đang cân nhắc việc xây dựng các chuyển đổi dữ liệu mới trong Fabric.
Ngoài ra, đối với những khách hàng đang cân nhắc việc di chuyển luồng dữ liệu ánh xạ ADF của họ sang Fabric, bạn có thể áp dụng mã mẫu từ Nhóm tư vấn khách hàng Fabric (Fabric CAT) để chuyển đổi luồng dữ liệu ánh xạ sang mã Spark.
Là một phần trong lộ trình Data Factory trong Microsoft Fabric, chúng tôi đang nỗ lực hướng tới bản xem trước của các tính năng sau vào quý 2 năm 2024:
- Mounting of ADF in Fabric – Tính năng này sẽ cho phép khách hàng gắn ADF hiện có của họ vào Microsoft Fabric. Tất cả quy trình ADF sẽ hoạt động nguyên trạng và tiếp tục chạy trên Azure, đồng thời cho phép bạn khám phá Fabric và vạch ra kế hoạch nâng cấp toàn diện hơn.
- Upgrade from ADF pipelines to Fabric – Chúng tôi đang làm việc với khách hàng và cộng đồng để tìm hiểu cách chúng tôi có thể hỗ trợ tốt nhất cho việc nâng cấp đường ống dữ liệu từ ADF lên Fabric. Là một phần của việc này, chúng tôi sẽ cung cấp trải nghiệm nâng cấp cho phép bạn kiểm tra đường dẫn dữ liệu hiện có trong Fabric bằng cách gắn và nâng cấp đường ống dữ liệu.
Di chuyển Power BI Dataflow Gen1 sang Dataflow Gen2 trong Fabric
Dataflow Gen2 trong Fabric cung cấp nhiều ưu điểm và khả năng mới so với dataflows (Gen1) trong Power BI:
- Nhận dữ liệu quy mô cao (“Fast Copy”)
- Chuyển đổi dữ liệu quy mô cao (sử dụng công cụ SQL Fabric Lakehouse)
- Điểm đến đầu ra khác: Azure SQL DB, Lakehouse, Warehouse, SharePoint, Cơ sở dữ liệu KQL, v.v.
- Trải nghiệm giám sát và lịch sử làm mới nâng cao
- Trải nghiệm soạn thảo và xuất bản nâng cao.
Chúng tôi khuyến khích khách hàng bắt đầu dùng thử Dataflow Gen2, để tạo lại các kịch bản Dataflow Gen1 hiện có hoặc thử các kịch bản mới. Phản hồi sớm về Dataflow Gen2 sẽ giúp chúng tôi phát triển và hoàn thiện khả năng của sản phẩm.
Chúng tôi có một số tùy chọn để khách hàng tạo lại luồng dữ liệu Gen1 của bạn dưới dạng Dataflow Gen2:
- Xuất truy vấn Dataflow Gen1 và nhập chúng vào Dataflow Gen2: Giờ đây, bạn có thể xuất truy vấn trong cả trải nghiệm soạn thảo Dataflows và Dataflow Gen2, đồng thời lưu chúng vào tệp PQT mà sau đó bạn có thể nhập vào Dataflow Gen2.
- Sao chép và dán trong Power Query: Nếu có luồng dữ liệu trong Power BI hoặc Power Apps, bạn có thể sao chép các truy vấn của mình và dán chúng vào trải nghiệm chỉnh sửa của tạo phẩm Dataflow Gen2. Chức năng này cho phép bạn di chuyển luồng dữ liệu của mình sang Gen2 mà không cần phải viết lại các truy vấn của mình.
Nguồn: https://learn.microsoft.com/en-us/fabric/data-factory/upgrade-paths
