[PySpark] Python 내장 함수 사용시 발생하는 오류
by 딥상어동의 딥한생각TypeError : Invalid argument, not a string or column
PySpark에서 Python 내장 함수를 사용하던 도중 위와 같은 에러를 겪었다.
원인은 spark.sql 내장 함수로 덮어씌어졌기 때문! 스파크의 내장 함수는 str이나 column형태의 자료형을 파라미터로 받는다.
import builtins
abs = getattr(builtins, "abs")
이럴때는 위와 같이 python의 원래 내장 함수를 다시 선언해주면 된다!
'딥상어동의 딥한 프로그래밍 > Spark' 카테고리의 다른 글
[PySpark] 자료 구조와 연산 원리 - 스파크 누구냐 넌? (4) | 2022.06.28 |
---|---|
[mllib] Pyspark Kmeans 알고리즘 사용법 (0) | 2022.04.08 |
[Pyspark] from pyspark.sql import * VS from pyspark.sql.functions import * (0) | 2022.04.07 |
스파크의 실행 계획 (0) | 2021.04.21 |
[scalaSpark] pivot과 unpivot (0) | 2021.02.06 |
블로그의 정보
딥상어동의 딥한생각
딥상어동의 딥한생각