모든 태그

# PySpark

8개의 글

[Spark Ch-07] 시험 준비 자료와 당일 전략: 공식 자료, 바우처, Docker 실습, 기본값 체크리스트

Databricks Certified Associate Developer for Apache Spark를 2026년 10월 기준으로 준비하는 데 필요한 공식 자료, 비용과 할인 바우처, 연습 자료의 새 시험 반영 여부, Java 없이 Docker와 Colab으로 실습하는 방법, 새 시험 후기에서 겹치는 경향, 시험 전날 외울 기본값과 당일 시간 배분을 정리합니다.

[Spark Ch-00] Databricks Spark 자격증 시험 구조와 공부 계획: API 문서 없이 기본값까지 외워야 하는 시험

Databricks Certified Associate Developer for Apache Spark는 90분 동안 채점 문항 45개를 푸는 Python 전용 시험이고 2025년에 범위가 크게 바뀌었습니다. 공식 페이지와 시험 안내서(2026년 10월 8일판)로 영역별 비중과 출제 항목을 정리하고 자주 헷갈리는 동작을 Spark 공식 문서 기준으로 확인한 뒤 실습 환경의 제약과 응시 후기를 바탕으로 공부 계획을 세웁니다.

[Spark Ch-01] Spark 아키텍처와 구성 요소: 액션 하나가 Job, Stage, Task로 나뉘는 과정

Databricks Spark 자격증 1영역(아키텍처와 구성 요소, 20%)을 시험 안내서의 항목 순서대로 정리합니다. 드라이버와 익스큐터의 역할, 메모리 구조, 캐시 저장 레벨, GC, 실행 계층, 셔플과 파티션, 지연 평가를 Spark 4.2.0 공식 문서의 기본값과 함께 확인하고, 3.x와 달라진 동작을 표시합니다.

[Spark Ch-02] Spark SQL로 읽고 쓰기: 저장 모드 기본값은 errorifexists

Databricks Spark 자격증 2영역(Spark SQL 사용, 20%)을 시험 안내서의 항목 순서대로 정리합니다. JDBC와 파일 소스의 읽기·쓰기, overwrite와 partitionBy, 파일에 직접 SQL 실행, 저장 모드, bucketBy와 sortBy를 쓴 영구 테이블, 관리형과 외부 테이블, 임시 뷰를 Spark 4.2.0과 Databricks 공식 문서의 기본값으로 확인합니다.

[Spark Ch-03] DataFrame API: union은 위치로, unionByName은 이름으로 맞춘다

Databricks Spark 자격증에서 비중이 가장 큰 3영역(DataFrame/Dataset API, 30%)을 시험 안내서의 항목 순서대로 정리합니다. 컬럼 조작, 중복 제거와 null 처리, 집계, 날짜 함수, 조인과 union, 스키마 지정, 정렬과 리스트 변환, UDF, broadcast 변수와 accumulator를 PySpark 4.2.0 API 문서의 시그니처와 기본값으로 확인하고 3.x와 달라진 동작을 표시합니다.

[Spark Ch-04] 문제 해결과 튜닝: 느린 Job은 파티션 크기와 셔플 위치부터 본다

Databricks Spark 자격증 4영역(문제 해결과 튜닝, 10%)을 시험 안내서 항목 순서대로 정리합니다. repartition과 coalesce, 데이터 쏠림, 셔플 줄이기, AQE의 설정과 기본값, explain()과 Spark UI, 드라이버·익스큐터 로그로 메모리 부족과 저사용을 가르는 방법을 Spark 4.2.0 공식 문서 기준으로 확인합니다.

[Spark Ch-05] Structured Streaming: 출력 모드는 쿼리 모양이 정하고 상태 크기는 워터마크가 정한다

Databricks Spark 자격증 5영역(Structured Streaming, 10%)을 시험 안내서 항목 순서대로 정리합니다. 무한 입력 테이블 모델과 마이크로배치, 체크포인트와 재실행 가능한 소스로 만드는 exactly-once, 출력 모드와 싱크별 보장, 트리거, 이벤트 시간 윈도와 워터마크, 워터마크가 있을 때와 없을 때의 중복 제거를 Spark 4.2.0 공식 문서 기준으로 확인합니다.

[Spark Ch-06] Spark Connect와 pandas API on Spark: 클라이언트는 계획만 보내고 pandas 코드는 분산으로 돈다

Databricks Spark 자격증 6영역(Spark Connect, 5%)과 7영역(pandas API on Spark, 5%)을 시험 안내서 항목 순서대로 정리합니다. Spark Connect의 구조와 쓸 수 없는 API, 배포 모드와 master URL, pandas API on Spark의 기본 인덱스와 변환 비용, pandas UDF와 pandas Function API, Arrow 설정을 Spark 4.2.0 공식 문서 기준으로 확인하고 3.5와 달라진 기본값을 표시합니다.