[PySpark] Python 내장 함수 사용시 발생하는 오류

TypeError : Invalid argument, not a string or column

 

PySpark에서 Python 내장 함수를 사용하던 도중 위와 같은 에러를 겪었다. 

원인은 spark.sql 내장 함수로 덮어씌어졌기 때문! 스파크의 내장 함수는 str이나 column형태의 자료형을 파라미터로 받는다.

 

import builtins
abs = getattr(builtins, "abs")

 

이럴때는 위와 같이 python의 원래 내장 함수를 다시 선언해주면 된다!