Notice
Recent Posts
Recent Comments
Link
| 일 | 월 | 화 | 수 | 목 | 금 | 토 |
|---|---|---|---|---|---|---|
| 1 | 2 | 3 | 4 | |||
| 5 | 6 | 7 | 8 | 9 | 10 | 11 |
| 12 | 13 | 14 | 15 | 16 | 17 | 18 |
| 19 | 20 | 21 | 22 | 23 | 24 | 25 |
| 26 | 27 | 28 | 29 | 30 | 31 |
Tags
- Jenkins
- 예제
- Cluster
- config
- aws
- 설정
- gradle
- ec2
- SpringBoot
- Zeppelin
- redash
- 클러스터
- 레디스
- 자바
- spring
- fastcampus
- Kafka
- java
- vue
- 젠킨스
- 자동
- 머신러닝
- 로그인
- Redis
- Mac
- Docker
- login
- EMR
- 간단
- hive
Archives
- Today
- Total
코알못
[EMR] FileFormatException: Malformed ORC file 이슈 본문
728x90
hive orc 테이블 조회시 아래 오류가 발생하며 조회되지 않았다.
Caused by: java.lang.RuntimeException: java.io.IOException: org.apache.orc.FileFormatException: Malformed ORC file s3://data-test/transform/database/tb_test/yyyy=2022/mm=7/dd=14/hh=18/000000_0. Invalid postscript length 0
at확인해보니 해당 파일을 스노우볼로 이관 작업하면서 파일이 깨진것으로 보인다.
깨진 파일을 삭제한뒤 교체하니 정상적으로 읽어 지며 해당 오류 발생하지 않았다.
728x90
'BIG DATA' 카테고리의 다른 글
| [HIVE] Caused by: org.apache.hadoop.hive.serde2.SerDeException: Row is not a valid JSON Object - JSONException: Duplicate key "name" (0) | 2022.11.19 |
|---|---|
| [EMR] hive Async Initialization failed. abortRequested=false OutOfMemoryError 오류 (0) | 2022.08.04 |
| [EMR] ORC 테이블 ClassCastException 오류 발생 (0) | 2022.08.03 |
| [EMR] Hive StatsTask 이슈 (0) | 2022.08.03 |
| [EMR] Glue > Aurora Metastore Migration (0) | 2022.07.12 |
Comments