코알못

[EMR] Zeppelin python 버전 변경 본문

BIG DATA

[EMR] Zeppelin python 버전 변경

코린이s 2023. 2. 22. 16:04
728x90

EMR config Json 설정에 아래 설정을 추가한다.

[
  {
     "Classification": "spark-env",
     "Configurations": [
       {
         "Classification": "export",
         "Properties": {
            "PYSPARK_PYTHON": "/usr/bin/python3"
          }
       }
    ]
  }
]

만약 EMR 사용 유저가 아니라면 spark 설정 파일 경로에 가서 spark-env.sh 파일에 아래 설정을 변경하면 된다.

export PYSPARK_PYTHON=/usr/bin/python3

위와 같이 변경하면 zeppelin 에서 python 버전이 변경 된것을 확인 할 수 있다.

저자는 python 3.6 으로 변경 하였으며 정상적으로 나온다.

끝!

728x90
저작자표시

'BIG DATA' 카테고리의 다른 글

[Spark] 잡 종료되는 이슈 대응을 위한 옵션 튜닝  (0) 2023.04.03
[Spark] ExecutorLostFailure, RuntimeException  (0) 2023.03.20
[Kubernetes & Docker] Kuberneties 구성  (0) 2023.02.09
[Hive] YarnException: Download and unpack failed  (0) 2023.01.20
[Hive] Cannot recover from this error:java.lang.RuntimeException: java.lang.NoSuchMethodError: org.apache.hadoop.hive.serde2.objectinspector.primitive.TimestampObjectInspector.getPrimitiveJavaObject(Ljava/lang/Object;)Ljava/sql/Timestamp;  (0) 2023.01.19
'BIG DATA' Related Articles more
Comments