AWS

[AWS] Athena 엔진 버전 2에서 엔진 버전 3로 갈때 문제점

AWS Athena 엔진 버전 2에서 Athena 엔진 버전 3으로 변경될 때 몇 가지 이슈가 발생할 수 있습니다. 다음은 일반적으로 발생할 수 있는 몇 가지 이슈입니다: 1. 쿼리 실행 계획 변경: Athena 엔진 버전 3은 업데이트된 실행 계획 최적화 엔진을 사용합니다. 이로 인해 쿼리 실행 계획이 이전 버전과 다를 수 있으며, 일부 쿼리의 실행 속도 및 성능이 영향을 받을 수 있습니다. 2. 쿼리의 구문 변경: Athena 엔진 버전 3은 SQL 호환성 및 기능 측면에서 몇 가지 변경 사항을 가지고 있을 수 있습니다. 따라서 몇몇 쿼리는 구문 에러를 발생시킬 수 있으며, 수정이 필요할 수도 있습니다. 3. 데이터 유형 호환성: Athena 엔진 버전 3은 데이터 유형 처리 방식에서 일부 변경 사항..

AWS Error Msg Table aws.table does not exist

[WaitForQueryToComplete] Query failed to run with Error Message: SYNTAX_ERROR: line 2:6: Table aws.table does not exist 해당 에러 메시지는 "SYNTAX_ERROR: line 2:6: Table awsdatacatalog.dmp.integrated_audience does not exist" 로 이 에러 메시지는 SQL 쿼리에서 "aws.table" 테이블을 찾을 수 없다는 것을 나타냅니다. 쿼리의 두 번째 줄 여섯 번째 문자에서 이 에러가 발생했다는 것을 알려줍니다. 이 문제를 해결하기 위해서는 해당 테이블이 실제로 존재하는지 확인한 뒤 데이터베이스나 스키마 이름을 확인하여 올바르게 지정되었는지 확인해야 합니..

[AWS] S3 to Aurora Mysql csv 파일 읽어오기

아마존 웹 서비스중 S3에서 csv 데이터를 읽어와 Aurora Mysql에 데이터를 넣는 쿼리입니다. 하위 쿼리 Mysql에서 실행해주시면 됩니다. LOAD DATA FROM S3 PREFIX 's3://test/test.csv' INTO TABLE 'table_name' FIELDS TERMINATED BY ',' ENCLOSED BY '"' LINES TERMINATED BY '\n' IGNORE 1 LINES S3 PREFIX에 S3 URL 및 csv 파일명 수정 후 'table_name' 부분에 ' ' 제거하고 테이블명 기입해주시면 됩니다. ,(콤마)로 데이터 컬럼 구분하고 "(쌍따옴표)로 컬럼 데이터 인식하고 줄바꿈도 설정했습니다. csv 첫째줄은 제외하고 데이터 읽어오게 설정했습니다.