대 AI시대의 이직
AI 시대를 지나고 있는 6년차 데이터 엔지니어의 커리어 고민과 이직에 대한 기록입니다.
PySpark에서 중복 제거할 때 무조건 dropDuplicates를 쓰면 안 되는 이유
이 글은 대용량 PySpark 데이터 중복 제거 시 dropDuplicates()가 느린 이유를 분석하고, 대신 row_number().over(Window) 방식을 활용하여 37% 더 빠른 성능을 달성한 최적화 사례를 공유합니다.