Trong Data Pipeline, bạn có thể sử dụng hoạt động Copy để sao chép dữ liệu giữa các kho dữ liệu trên đám mây.
Sau khi sao chép dữ liệu, bạn có thể sử dụng các hoạt động khác để chuyển đổi và phân tích dữ liệu thêm. Bạn cũng có thể sử dụng hoạt động Sao chép để xuất bản kết quả chuyển đổi và phân tích cho hoạt động kinh doanh thông minh (BI) và mức tiêu thụ ứng dụng.
Để sao chép dữ liệu từ nguồn tới đích, dịch vụ chạy hoạt động Sao chép sẽ thực hiện các bước sau:
- Đọc dữ liệu từ kho lưu trữ dữ liệu nguồn.
- Thực hiện tuần tự hóa/giải tuần tự hóa, nén/giải nén, ánh xạ cột, v.v. Nó thực hiện các hoạt động này dựa trên cấu hình.
- Ghi dữ liệu vào kho lưu trữ dữ liệu đích.
Điều kiện tiên quyết
Để bắt đầu, bạn phải hoàn thành các điều kiện tiên quyết sau:
- Tài khoản đối tượng thuê Microsoft Fabric có đăng ký đang hoạt động. Tạo một tài khoản miễn phí.
- Đảm bảo bạn có không gian làm việc hỗ trợ Microsoft Fabric.
Thêm hoạt động sao chép bằng trợ lý sao chép
Hãy làm theo các bước sau để thiết lập hoạt động sao chép của bạn bằng trợ lý sao chép.
Bắt đầu với trợ lý sao chép
1. Mở đường dẫn dữ liệu hiện có hoặc tạo đường dẫn dữ liệu mới.
2. Chọn Copy data trên khung vẽ để mở công cụ Copy Assistant để bắt đầu. Hoặc chọn Use copy assistant từ danh sách thả xuống Copy data trong tab Activities trên dải băng.
Cấu hình nguồn của bạn
1. Chọn loại nguồn dữ liệu từ danh mục. Bạn sẽ sử dụng Azure Blob Storage làm ví dụ. Chọn Bộ lưu trữ Azure Blob rồi chọn Next.
2. Tạo kết nối với nguồn dữ liệu của bạn bằng cách chọn Create new connection.
Sau khi bạn chọn Create new connection, hãy điền thông tin kết nối được yêu cầu rồi chọn Next. Để biết chi tiết về việc tạo kết nối cho từng loại nguồn dữ liệu, bạn có thể tham khảo từng bài viết về trình kết nối.
Nếu bạn có các kết nối hiện có, bạn có thể chọn Existing connection và chọn kết nối của mình từ danh sách thả xuống.
3. Chọn tệp hoặc thư mục sẽ được sao chép trong bước cấu hình nguồn này, sau đó chọn Next.
Định cấu hình điểm đến của bạn
1. Chọn loại nguồn dữ liệu từ danh mục. Bạn sẽ sử dụng Azure Blob Storage làm ví dụ. Chọn Bộ nhớ Azure Blob rồi chọn Next.
2. Bạn có thể tạo kết nối mới liên kết với tài khoản Bộ nhớ Azure Blob mới bằng cách làm theo các bước trong phần trước hoặc sử dụng kết nối hiện có từ danh sách thả xuống kết nối. Các khả năng Kiểm tra kết nối và Chỉnh sửa có sẵn cho mỗi kết nối đã chọn.
3. Định cấu hình và ánh xạ dữ liệu nguồn của bạn tới đích. Sau đó chọn Next để hoàn tất cấu hình đích của bạn.
Xem lại và tạo hoạt động sao chép của bạn
- Xem lại cài đặt hoạt động sao chép của bạn ở các bước trước và chọn OK để hoàn tất. Hoặc bạn có thể quay lại các bước trước đó để chỉnh sửa cài đặt của mình nếu cần trong công cụ.
Sau khi hoàn tất, hoạt động sao chép sẽ được thêm vào khung vẽ đường dẫn dữ liệu của bạn. Tất cả cài đặt, bao gồm cả cài đặt nâng cao cho hoạt động sao chép này, đều có sẵn trong các tab khi được chọn.
Bây giờ bạn có thể lưu đường dẫn dữ liệu của mình bằng hoạt động sao chép duy nhất này hoặc tiếp tục thiết kế đường dẫn dữ liệu của mình.
Thêm hoạt động sao chép trực tiếp
Hãy làm theo các bước sau để thêm hoạt động sao chép trực tiếp.
Thêm hoạt động sao chép
1. Mở đường dẫn dữ liệu hiện có hoặc tạo đường dẫn dữ liệu mới.
2. Thêm hoạt động sao chép bằng cách chọn Add pipeline activity > Copy activity hoặc bằng cách chọn Copy data > Add to canvas trong tab Activities .
Cấu hình cài đặt chung của bạn trong tab chung
Để tìm hiểu cách định cấu hình cài đặt chung của bạn, hãy xem tại đây.
Cấu hình nguồn của bạn trong tab nguồn
1. Chọn + New bên cạnh Connection để tạo kết nối với nguồn dữ liệu của bạn.
a. Chọn loại nguồn dữ liệu từ cửa sổ bật lên. Bạn sẽ sử dụng Cơ sở dữ liệu Azure SQL làm ví dụ. Chọn Azure SQL Database rồi chọn Continue.
b. Nó điều hướng đến trang tạo kết nối. Điền thông tin kết nối được yêu cầu trên bảng, sau đó chọn Create. Để biết chi tiết về việc tạo kết nối cho từng loại nguồn dữ liệu, bạn có thể tham khảo từng bài viết về trình kết nối.
c. Khi kết nối của bạn được tạo thành công, nó sẽ đưa bạn trở lại trang đường dẫn dữ liệu. Sau đó chọn Refresh để tìm nạp kết nối bạn đã tạo từ danh sách thả xuống. Bạn cũng có thể trực tiếp chọn kết nối Cơ sở dữ liệu Azure SQL hiện có từ trình đơn thả xuống nếu bạn đã tạo kết nối đó trước đó. Các khả năng Test connection và Edit có sẵn cho mỗi kết nối đã chọn. Sau đó chọn Azure SQL Database trong Connection.
2. Chỉ định một bảng sẽ được sao chép. Chọn Preview data để xem trước bảng nguồn của bạn. Bạn cũng có thể sử dụng quy trình Query và Stored procedure để đọc dữ liệu từ nguồn của mình.
3. Mở rộng Advanced để có các cài đặt nâng cao hơn.
Cấu hình điểm đến của bạn trong tab đích
1. Chọn loại điểm đến của bạn. Đó có thể là kho lưu trữ dữ liệu nội bộ hạng nhất từ không gian làm việc của bạn, chẳng hạn như Lakehouse hoặc kho lưu trữ dữ liệu bên ngoài của bạn. Bạn sẽ lấy Lakehouse làm ví dụ.
2. Chọn sử dụng Lakehouse trong Workspace data store type. Chọn + New và nó sẽ điều hướng bạn đến trang tạo Lakehouse. Chỉ định tên Lakehouse của bạn và sau đó chọn Create.
3. Khi kết nối của bạn được tạo thành công, nó sẽ đưa bạn trở lại trang đường dẫn dữ liệu. Sau đó chọn Refresh để tìm nạp kết nối bạn đã tạo từ danh sách thả xuống. Bạn cũng có thể trực tiếp chọn kết nối Lakehouse hiện có từ trình đơn thả xuống nếu bạn đã tạo kết nối đó trước đó.
4. Chỉ định một bảng hoặc thiết lập đường dẫn tệp để xác định tệp hoặc thư mục làm đích. Ở đây chọn Tables và chỉ định một bảng để ghi dữ liệu.
5. Mở rộng Advanced để có các cài đặt nâng cao hơn.
Bây giờ bạn có thể lưu đường dẫn dữ liệu của mình bằng hoạt động sao chép duy nhất này hoặc tiếp tục thiết kế đường dẫn dữ liệu của mình.
Cấu hình ánh xạ của bạn trong tab ánh xạ
Nếu trình kết nối mà bạn áp dụng hỗ trợ ánh xạ, bạn có thể chuyển đến tab Ánh xạ để định cấu hình ánh xạ của mình.
1. Chọn Import schemas để nhập lược đồ dữ liệu của bạn.
2. Bạn có thể thấy bản đồ tự động được hiển thị. Chỉ định cột Source và cột Destination của bạn. Nếu bạn tạo một bảng mới ở đích, bạn có thể tùy chỉnh tên cột Destination tại đây. Nếu bạn muốn ghi dữ liệu vào bảng đích hiện có, bạn không thể sửa đổi tên cột Destination hiện có . Bạn cũng có thể xem cột loại nguồn và đích.
Ngoài ra, bạn có thể chọn + New mapping mới để thêm ánh xạ mới, chọn Clear để xóa tất cả cài đặt ánh xạ và chọn Reset để đặt lại tất cả cột Source ánh xạ .
Cấu hình chuyển đổi loại của bạn
Mở rộng Cài đặt chuyển đổi loại để định cấu hình chuyển đổi loại của bạn nếu cần.
Xem bảng sau để biết chi tiết cài đặt.
| Setting | Description |
|---|---|
| Allow data truncation | Allow data truncation when converting source data to destination with different type during copy. For example, from decimal to integer, from DatetimeOffset to Datetime. |
| Treat boolean as number | Treat boolean as number. For example, treat true as 1. |
| DateTime format | Format string when converting between dates without time zone offset and strings. For example, “yyyy-MM-dd HH:mm:ss.fff”. |
| DateTimeOffset format | Format string when converting between dates with time zone offset and strings. For example, “yyyy-MM-dd HH:mm:ss.fff zzz”. |
| TimeSpan format | Format string when converting between time periods and strings. For example, “dd.hh:mm:ss”. |
| Culture | Culture information to be used when convert types. For example, “en-us”, “fr-fr”. |
Cấu hình các cài đặt khác của bạn trong tab cài đặt
Tab Settings chứa các cài đặt về hiệu suất, dàn dựng, v.v.
Xem bảng sau để biết mô tả của từng cài đặt.
| Setting | Description |
|---|---|
| Intelligent throughput optimization | Specify to optimize the throughput. You can choose from: • Auto • Standard • Balanced • Maximum When you choose Auto, the optimal setting is dynamically applied based on your source-destination pair and data pattern. You can also customize your throughput, and custom value can be 2-256 while higher value implies more gains. |
| Degree of copy parallelism | Specify the degree of parallelism that data loading would use. |
| Fault tolerance | When selecting this option, you can ignore some errors occurred in the middle of copy process. For example, incompatible rows between source and destination store, file being deleted during data movement, etc. |
| Enable logging | When selecting this option, you can log copied files, skipped files and rows |
| Enable staging | Specify whether to copy data via an interim staging store. Enable staging only for the beneficial scenarios. |
| Staging account connection | When selecting Enable staging, specify the connection of an Azure storage data source as an interim staging store. Select + New to create a staging connection if you don’t have it. |
Cấu hình các tham số trong hoạt động sao chép
Các tham số có thể được sử dụng để kiểm soát hành vi của đường ống và các hoạt động của nó. Bạn có thể sử dụng Add dynamic content để chỉ định tham số cho thuộc tính hoạt động sao chép của mình. Hãy lấy việc chỉ định Lakehouse/Data Warehouse/KQL Database làm ví dụ để xem cách sử dụng nó.
1. Trong nguồn hoặc đích của bạn, sau khi chọn Workspace làm loại lưu trữ dữ liệu và chỉ định Lakehouse/Data Warehouse/KQL Database làm loại lưu trữ dữ liệu không gian làm việc, hãy chọn Add dynamic content trong danh sách thả xuống của Lakehouse hoặc Data Warehouse hoặc KQL Database.
2. Trong cửa sổ bật lên Add dynamic content, trong tab Parameters, hãy chọn + .
3. Chỉ định tên cho tham số của bạn và đặt giá trị mặc định nếu bạn muốn hoặc bạn có thể chỉ định giá trị cho tham số sau khi chọn Run trong quy trình.
Lưu ý rằng giá trị tham số phải là ID đối tượng Cơ sở dữ liệu Lakehouse/Kho dữ liệu/KQL. Để lấy ID đối tượng Cơ sở dữ liệu Lakehouse/Kho dữ liệu /Cơ sở dữ liệu KQL, hãy mở Cơ sở dữ liệu Lakehouse/Kho dữ liệu/KQL trong không gian làm việc của bạn và ID nằm sau /lakehouses/or /datawarehouses/ or /databases/ của bạn
- Lakehouse object ID:
- Data Warehouse object ID:
- KQL Database object ID:
4. Chọn Save để quay lại ngăn Add dynamic content. Sau đó chọn tham số của bạn để nó xuất hiện trong hộp biểu thức. Sau đó chọn OK . Bạn sẽ quay lại trang quy trình và có thể thấy biểu thức tham số được chỉ định sau ID đối tượng Lakehouse object ID/Data Warehouse object ID/KQL Database object ID.
Nguồn: https://learn.microsoft.com/en-us/fabric/data-factory/copy-data-activity
