Try Databricks : Databricks-Certified-Professional-Data-Engineer Korean valid & accurate questions and answers

프로덕션 환경에 배포된 구조화된 스트리밍 작업이 하루 중 사용량이 많은 시간대에 지연 현상을 보이고 있습니다. 현재 정상적인 실행 시에는 각 마이크로배치 데이터 처리 시간이 3초 미만입니다. 하지만 사용량이 많은 시간대에는 각 마이크로배치의 처리 시간이 매우 불규칙해지며, 때로는 3초를 초과하기도 합니다.
30초. 스트리밍 쓰기는 현재 10초의 트리거 간격으로 구성되어 있습니다.
다른 모든 변수를 일정하게 유지하고 레코드를 10초 이내에 처리해야 한다고 가정할 때, 어떤 조정이 요구 사항을 충족할까요?

• A. '한 번만 트리거' 옵션을 사용하고 Databricks 작업을 구성하여 10초마다 쿼리를 실행하도록 설정하십시오. 이렇게 하면 모든 백로그 레코드가 각 배치에서 처리됩니다.
• B. 체크포인트 디렉토리를 수정하지 않고는 트리거 간격을 수정할 수 없습니다. 현재 스트림 상태를 유지하려면 셔플 파티션 수를 늘려 병렬 처리를 최대화하십시오.
• C. 트리거 간격을 5초로 줄이십시오. 배치 처리를 더 자주 실행하면 레코드가 쌓이거나 대량 배치 처리로 인해 데이터가 넘쳐나는 것을 방지할 수 있습니다.
• D. 트리거 간격을 30초로 늘리십시오. 각 배치에 대해 관찰된 최대 실행 시간에 가깝게 트리거 간격을 설정하는 것이 레코드가 누락되지 않도록 하는 가장 좋은 방법입니다.
• E. 트리거 간격을 5초로 줄이세요. 배치 처리를 더 자주 트리거하면 이전 배치의 실행 시간이 긴 작업이 완료되는 동안 유휴 실행기가 다음 배치 처리를 시작할 수 있습니다.

데이터 엔지니어 팀이 데이터 품질 검사에 대한 반복적인 요구 사항을 포함하는 테이블을 DLT 파이프라인에 추가하고 있습니다.
팀원 중 한 명이 이 파이프라인에 정의된 모든 테이블에서 이러한 데이터 품질 규칙을 재사용할 것을 제안했습니다.
그들이 이를 해낼 수 있도록 하는 접근 방식은 무엇일까요?

• A. 동일한 파이프라인에 포함된 DLT 노트북 전체에서 기대치를 확인할 수 있도록 전역 Python 변수를 사용합니다.
• B. 파이프라인의 대상 스키마 외부에 있는 델타 테이블에서 데이터 품질 규칙을 유지하고, 스키마 이름을 파이프라인 매개변수로 제공합니다.
• C. 파이프라인 구성 파일에 접근할 수 있는 외부 작업을 사용하여 이 파이프라인의 테이블에 데이터 품질 제약 조건을 추가합니다.
• D. 각 DLT 노트북 파일마다 별도의 Databricks 노트북에 데이터 품질 규칙을 유지 관리합니다.

데이터 엔지니어가 Lakeflow Declarative Pipelines의 Expectations 기능을 사용하여 수신되는 센서 데이터의 품질을 추적하고 있습니다. 센서에서 주기적으로 범위를 벗어난 잘못된 측정값이 전송되는데, 현재는 해당 행에 경고 플래그를 지정하고 정상 데이터와 함께 실버 테이블에 기록하고 있습니다. 그런데 새로운 요구 사항이 생겼습니다. 잘못된 행을 별도의 격리 테이블에 저장하고 더 이상 실버 테이블에 포함시키지 않아야 한다는 것입니다.
이것은 그들의 은색 테이블에 대한 기존 코드입니다:
@dlt.table
@dlt.expect( " valid_sensor_reading " , " reading < 120 " )
def silver_sensor_readings():
return spark.readStream.table( " bronze_sensor_readings " )
What code will satisfy the requirements?

• A. @dlt.table
  @dlt.expect( " valid_sensor_reading " , " reading < 120 " )
  def silver_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )
  @dlt.table
  @dlt.expect( " invalid_sensor_reading " , " reading > = 120 " )
  def quarantine_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )
• B. @dlt.table
  @dlt.expect_or_drop( " valid_sensor_reading " , " reading < 120 " )
  def silver_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )
  @dlt.table
  @dlt.expect( " invalid_sensor_reading " , " reading > = 120 " )
  def quarantine_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )
• C. @dlt.table
  @dlt.expect_or_drop( " valid_sensor_reading " , " reading < 120 " )
  def silver_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )
  @dlt.table
  @dlt.expect_or_drop( " invalid_sensor_reading " , " reading > = 120 " ) def quarantine_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )
• D. @dlt.table
  @dlt.expect_or_drop( " valid_sensor_reading " , " reading < 120 " )
  def silver_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )
  @dlt.table
  @dlt.expect( " invalid_sensor_reading " , " reading < 120 " )
  def quarantine_sensor_readings():
  return spark.readStream.table( " bronze_sensor_readings " )

운영 환경에서는 외부 변경 데이터 캡처(CDC) 피드의 업데이트를 Delta Lake 테이블에 상시 실행되는 구조화된 스트림 작업으로 점진적으로 적용합니다. 이 테이블의 데이터를 처음 마이그레이션했을 때 최적화(OPTIMIZE) 작업이 실행되어 대부분의 데이터 파일 크기가 1GB로 조정되었습니다. 스트리밍 운영 작업에 대해 자동 최적화(Auto Optimize)와 자동 압축(Auto Compaction) 기능이 모두 활성화되어 있었습니다. 최근 데이터 파일을 검토한 결과, 대부분의 데이터 파일 크기가 64MB 미만인 것으로 나타났지만, 테이블의 각 파티션에는 최소 1GB의 데이터가 포함되어 있고 전체 테이블 크기는 10TB를 초과합니다.
다음 중 파일 크기가 작아진 이유를 가장 잘 설명하는 것은 무엇입니까?

• A. Databricks는 MERGE 작업 시간을 단축하기 위해 대상 파일 크기를 더 작게 자동 조정했습니다.
• B. Databricks는 각 파티션의 데이터 양을 기반으로 더 작은 목표 파일 크기로 자동 조정했습니다.
• C. 테이블에서 계산된 Z 순서 인덱스가 파일 압축을 방해하고 있습니다. C: 테이블에서 계산된 Bloom 필러 인덱스가 파일 압축을 방해하고 있습니다.
• D. Databricks는 테이블의 전체 데이터 크기를 기반으로 더 작은 목표 파일 크기로 자동 조정했습니다.

Apache Kafka 프로듀서의 모든 레코드가 다음 스키마를 가진 단일 Delta Lake 테이블로 수집되고 있습니다.
키는 BINARY, 값은 BINARY, 토픽은 STRING, 파티션은 LONG, 오프셋은 LONG, 타임스탬프는 LONG 형식입니다. 수집되는 토픽은 총 5개이며, "등록" 토픽에만 개인 식별 정보(PII)가 포함되어 있습니다. 회사는 PII에 대한 접근을 제한하고자 하며, PII가 포함된 기록은 최초 수집 후 14일 동안만 보관하기를 원합니다. PII가 아닌 정보는 무기한으로 보관하고자 합니다.
다음 중 요구 사항을 충족하는 해결책은 무엇입니까?

• A. 데이터는 등록 필드를 기준으로 분할되어야 하며, 이를 통해 PII 디렉토리에 대한 ACL 및 삭제 명령을 설정할 수 있습니다.
• B. 값 필드는 이진 데이터로 저장되므로 이 정보는 개인 식별 정보(PII)로 간주되지 않으며 특별한 주의가 필요하지 않습니다.
• C. 데이터는 토픽 필드를 기준으로 분할되어야 하며, 이를 통해 ACL 및 삭제 문이 파티션 경계를 활용할 수 있습니다.
• D. 모든 데이터는 2주마다 삭제되어야 합니다. Delta Lake의 시간 여행 기능을 활용하여 개인 식별 정보가 아닌 정보의 기록을 유지해야 합니다.
• E. 파티션 필드를 기준으로 별도의 객체 저장 컨테이너를 지정하여 저장 수준에서 격리할 수 있습니다.