Bài viết này giúp bạn hiểu về các hoạt động trong Microsoft Fabric và sử dụng chúng để xây dựng các quy trình làm việc dữ liệu từ đầu đến cuối cho các kịch bản di chuyển và xử lý dữ liệu của bạn.
Tổng quan
Một không gian làm việc Microsoft Fabric có thể có một hoặc nhiều đường ống. Một đường ống là một nhóm hợp lý của các hoạt động thực hiện một nhiệm vụ cụ thể. Ví dụ, một đường ống có thể chứa một tập hợp các hoạt động nhập và làm sạch dữ liệu log, và sau đó khởi chạy một luồng dữ liệu ánh xạ để phân tích dữ liệu log. Đường ống cho phép bạn quản lý các hoạt động như một tập hợp thay vì từng cái riêng lẻ. Bạn triển khai và lên lịch đường ống thay vì từng hoạt động một cách độc lập.
Các hoạt động trong một đường ống xác định các hành động thực hiện trên dữ liệu của bạn. Ví dụ, bạn có thể sử dụng một hoạt động sao chép để sao chép dữ liệu từ SQL Server vào Azure Blob Storage. Sau đó, sử dụng một hoạt động Dataflow hoặc hoạt động Sổ tay để xử lý và biến đổi dữ liệu từ kho lưu trữ blob sang một hồ bơi Azure Synapse Analytics, trên đó xây dựng các giải pháp báo cáo thông tin kinh doanh.
Microsoft Fabric có ba loại hoạt động chính: hoạt động di chuyển dữ liệu, hoạt động biến đổi dữ liệu và hoạt động kiểm soát.
Hoạt động di chuyển dữ liệu
Sao chép hoạt động trong Microsoft Fabric sao chép dữ liệu từ kho dữ liệu nguồn sang kho dữ liệu chìm. Fabric hỗ trợ các kho dữ liệu được liệt kê trong bài viết tổng quan về Connector. Dữ liệu từ bất kỳ nguồn nào có thể được ghi vào bất kỳ bồn nào.
Để biết thêm thông tin, hãy xem bài viết này.
Hoạt động chuyển đổi dữ liệu
Microsoft Fabric hỗ trợ các hoạt động biến đổi sau đây, có thể được thêm vào độc lập hoặc được liên kết với một hoạt động khác.
Để biết thêm thông tin, hãy xem bài viết tại đây.
| Data transformation activity | Compute environment |
|---|---|
| Copy data | Compute manager by Microsoft Fabric |
| Dataflow Gen2 | Compute manager by Microsoft Fabric |
| Delete data | Compute manager by Microsoft Fabric |
| Fabric Notebook | Apache Spark clusters managed by Microsoft Fabric |
| Fabric Spark job definition (coming soon) | Apache Spark clusters managed by Microsoft Fabric |
| Stored Procedure | Azure SQL, Azure Synapse Analytics, or SQL Server |
| SQL script | Azure SQL, Azure Synapse Analytics, or SQL Server |
Kiểm soát hoạt động dòng chảy
Các hoạt động luồng điều khiển sau đây được hỗ trợ:
| Control activity | Description |
|---|---|
| Append variable | Add a value to an existing array variable. |
| Azure Batch activity | Runs an Azure Batch script. |
| Azure Databricks activity | Runs an Azure Databricks job (Notebook, Jar, Python). |
| Azure Machine Learning activity | Runs an Azure Machine Learning job. |
| Deactivate activity | Deactivates another activity. |
| Fail | Cause pipeline execution to fail with a customized error message and error code. |
| Filter | Apply a filter expression to an input array. |
| ForEach | ForEach Activity defines a repeating control flow in your pipeline. This activity is used to iterate over a collection and executes specified activities in a loop. The loop implementation of this activity is similar to the Foreach looping structure in programming languages. |
| Functions activity | Executes an Azure Function. |
| Get metadata | GetMetadata activity can be used to retrieve metadata of any data in a Data Factory or Synapse pipeline. |
| If condition | The If Condition can be used to branch based on condition that evaluates to true or false. The If Condition activity provides the same functionality that an if statement provides in programming languages. It evaluates a set of activities when the condition evaluates to true and another set of activities when the condition evaluates to false. |
| Invoke pipeline | Execute Pipeline activity allows a Data Factory or Synapse pipeline to invoke another pipeline. |
| KQL activity | Executes a KQL script against a Kusto instance. |
| Lookup Activity | Lookup Activity can be used to read or look up a record/ table name/ value from any external source. This output can further be referenced by succeeding activities. |
| Set Variable | Set the value of an existing variable. |
| Switch activity | Implements a switch expression that allows multiple subsequent activities for each potential result of the expression. |
| Teams activity | Posts a message in a Teams channel or group chat. |
| Until activity | Implements Do-Until loop that is similar to Do-Until looping structure in programming languages. It executes a set of activities in a loop until the condition associated with the activity evaluates to true. You can specify a timeout value for the until activity. |
| Wait activity | When you use a Wait activity in a pipeline, the pipeline waits for the specified time before continuing with execution of subsequent activities. |
| Web activity | Web Activity can be used to call a custom REST endpoint from a pipeline. |
| Webhook activity | Using the webhook activity, call an endpoint, and pass a callback URL. The pipeline run waits for the callback to be invoked before proceeding to the next activity. |
Thêm hoạt động vào quy trình bằng Microsoft Fabric UI
Hãy sử dụng các bước sau để thêm và đặt cấu hình các hoạt động trong quy trình Microsoft Fabric:
- Tạo một đường dẫn mới trong không gian làm việc của bạn.
- Trên tab Hoạt động của quy trình, duyệt qua các hoạt động được hiển thị, cuộn sang phải nếu cần để xem tất cả các hoạt động. Chọn một hoạt động để thêm nó vào trình chỉnh sửa quy trình.
- Khi bạn thêm một hoạt động và chọn hoạt động đó trong khung soạn thảo quy trình, cài đặt Chung của hoạt động đó sẽ xuất hiện trong ngăn thuộc tính bên dưới khung vẽ.
- Mỗi hoạt động cũng chứa các thuộc tính tùy chỉnh cụ thể cho cấu hình của nó trên các tab khác trong ngăn thuộc tính.
Cài đặt chung
Khi bạn thêm một hoạt động mới vào đường ống và chọn nó, bạn sẽ thấy các ô thuộc tính của nó ở khu vực dưới cùng của màn hình. Các ô thuộc tính này bao gồm chung (General), Cài đặt (Settings), và đôi khi có thể bao gồm các ô khác nữa.
Cài đặt chung sẽ luôn bao gồm các trường Tên và Mô tả cho mọi hoạt động. Một số hoạt động cũng bao gồm những điều sau đây:
| Setting | Description |
|---|---|
| Timeout | The maximum amount of time an activity can run. The default is 12 hours, and the maximum amount of time allowed is seven days. The format for the timeout is in D.HH:MM:SS. |
| Retry | Maximum number of retry attempts. |
| (Advanced properties) Retry interval (sec) | The number of seconds between each retry attempt. |
| (Advanced properties) Secure output | When checked, output from the activity isn’t captured in logging. |
| (Advanced properties) Secure input | The number of seconds between each retry attempt. |
Ghi chú Có giới hạn mặc định là tối đa 40 hoạt động trên mỗi quy trình, bao gồm các hoạt động bên trong cho vùng chứa.
Nguồn: https://learn.microsoft.com/en-us/fabric/data-factory/activity-overview
