比如s3路径是拼凑的,那么我们从s3读数据时,很可能需要先判断路径存不存在。

var s3Path_Base = "s3n://<bucektname>/"
var s3Path = "s3n://<bucektname>/<tablename>/<partitionnumber>/"
if (FileSystem.get(new URI(s3Path_Base), sc.hadoopConfiguration).exists(new Path(s3Path))) 
{
    println(s"file exists, s3Path is ${s3Path}")
}
else 
{
    println(s"no such file ${s3Path}")
}

本站所有内容均为原创,本站保留所有权利。在保留原始来源链接的情况下,允许非商业用途的转载。拒绝一切商业性转载。

picture loss