Cài đặt cấu hình điện toán Spark trong môi trường Fabric

Trải nghiệm Khoa học dữ liệu và Kỹ thuật dữ liệu của Microsoft Fabric hoạt động trên nền tảng điện toán Spark được quản lý hoàn toàn. Nền tảng này được thiết kế để mang lại tốc độ và hiệu quả tuyệt vời. Nó bao gồm các nhóm khởi đầu và các nhóm tùy chỉnh.

Môi trường Fabric chứa một tập hợp các cấu hình, bao gồm các thuộc tính điện toán Spark cho phép người dùng định cấu hình phiên Spark sau khi chúng được gắn vào sổ ghi chép và công việc Spark. Với một môi trường, bạn có một cách linh hoạt để tùy chỉnh cấu hình điện toán để chạy các công việc Spark của mình. Trong môi trường, phần điện toán cho phép bạn định cấu hình các thuộc tính cấp phiên Spark để tùy chỉnh bộ nhớ và lõi của người thực thi dựa trên yêu cầu khối lượng công việc.

Quản trị viên Workspace có thể bật hoặc tắt các tùy chỉnh điện toán bằng nút chuyển Customize compute configurations for items trong tab Pool của phần Data Engineering/Science trên màn hình cài đặt Workspace.

Quản trị viên Workspace có thể ủy quyền cho các thành viên và cộng tác viên thay đổi cấu hình điện toán cấp phiên mặc định trong môi trường Fabric bằng cách bật cài đặt này.

Ảnh chụp màn hình hiển thị tùy chọn tùy chỉnh điện toán cấp mục trong cài đặt Workspace.

Nếu quản trị viên không gian làm việc tắt tùy chọn này trong cài đặt không gian làm việc, phần điện toán của môi trường sẽ bị tắt và cấu hình điện toán nhóm mặc định cho không gian làm việc sẽ được sử dụng để chạy các công việc Spark.

Tùy chỉnh các thuộc tính tính toán cấp phiên trong môi trường

Với tư cách là người dùng, bạn có thể chọn nhóm cho môi trường từ danh sách các nhóm có sẵn trong không gian làm việc Fabric. Quản trị viên không gian làm việc Fabric tạo nhóm khởi đầu mặc định và nhóm tùy chỉnh.

Ảnh chụp màn hình hiển thị vị trí chọn nhóm trong phần Điện toán môi trường.

Sau khi chọn một nhóm trong phần Compute, bạn có thể điều chỉnh các lõi và bộ nhớ cho các bộ thực thi trong giới hạn kích thước nút và giới hạn của nhóm đã chọn.

Ví dụ: Bạn chọn một nhóm tùy chỉnh có kích thước nút lớn, là 16 Spark Vcore, làm nhóm môi trường. Sau đó, bạn có thể chọn lõi trình điều khiển/thực thi là 4, 8 hoặc 16, dựa trên yêu cầu cấp độ công việc của bạn. Đối với bộ nhớ được phân bổ cho trình điều khiển và người thực thi, bạn có thể chọn 28 g, 56 g hoặc 112 g, tất cả đều nằm trong giới hạn bộ nhớ nút lớn.

Ảnh chụp màn hình hiển thị vị trí chọn số lõi trong phần Điện toán môi trường.

Nguồn: https://learn.microsoft.com/en-us/fabric/data-engineering/environment-manage-compute

spot_img

More from this stream

Recomended

Cập Nhật Google Analytics Quý 2/2024

Bài viết này cung cấp thông tin về các bản phát hành mới nhất trong Google Analytics trong quý 2 năm 2024.

[GA4] – Hiểu rõ về nguồn dữ liệu

Một nguồn dữ liệu là một nơi chứa dữ liệu bạn tải lên Analytics, bao gồm cơ sở dữ liệu, dịch vụ, hoặc tệp CSV bạn tải lên và một ánh xạ của các trường dữ liệu Analytics với các trường trong cơ sở dữ liệu, dịch vụ hoặc CSV bên ngoài của bạn.

Segment là gì?

Segment là một traditional Customer Data Platform (CDP) chuyên về việc thu thập sự kiện và kích hoạt dữ liệu.

Composable CDP là gì?

Composable CDP là một lớp kích hoạt cho phép bạn tạo ra đối tượng khán giả, điều phối hành trình, và gửi dữ liệu hiện tại của bạn đến các công cụ tiếp thị hàng đầu của bạn.

Traditional CDP và Composable CDP

Việc áp dụng rộng rãi của hệ thống lưu trữ dữ liệu đám mây đã cách mạng hóa không gian Customer Data Platform (CDP), dẫn đến sự xuất hiện của một kiến trúc CDP mạnh mẽ hơn, nguyên gốc từ hệ thống lưu trữ dữ liệu đám mây được biết đến là Composable CDP.

Customer Data Platform (CDP) là gì?

Một Customer Data Platform, hay CDP, là một giải pháp hoặc kiến trúc cho phép bạn thu thập, lưu trữ, mô hình hóa và kích hoạt dữ liệu khách hàng của bạn.