读取包含冒号的s3路径

假设有csv的s3路径是这样的: s3n://<bucetname>/<tablename>/2018-12-13/ s3n://<bucetname>/<tablename>/2018-12-14/ s3n://<bucetname>/<tablena…

spark判断s3路径是否存在

比如s3路径是拼凑的,那么我们从s3读数据时,很可能需要先判断路径存不存在。 var s3Path_Base = "s3n://<bucektname>/" var s3Path = "s3n://<bucektname>/<tablename>/<partitionnumbe…

Scala正则匹配

用正则匹配拿到下面的数据 {"tablename":"a.student", "s3_path":"s3n://bucketname/student/","delimiter":",","partitions":""}, {"tablename":"a.tearcher", "s3_path":"s3n://bucke…

Scala读取工程中的json配置文件

def readJsonResource(file: String): List[String] = { val stream = getClass.getResourceAsStream(file) scala.io.Source.fromInputStream(stream) .getLines .toList }…

在parquet文件上创建hive表

在parquet文件上创建hive表失败,ERROR: Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.ClassCastException: org.apache…