spark判断s3路径是否存在

比如s3路径是拼凑的,那么我们从s3读数据时,很可能需要先判断路径存不存在。

var s3Path_Base = "s3n://<bucektname>/"
var s3Path = "s3n://<bucektname>/<tablename>/<partitionnumber>/"
if (FileSystem.get(new URI(s3Path_Base), sc.hadoopConfiguration).exists(new Path(s3Path))) 
{
    println(s"file exists, s3Path is ${s3Path}")
}
else 
{
    println(s"no such file ${s3Path}")
}
【版权说明:仅允许非商业转载且请注明出处:Mac私塾 网址:http://macsishu.com】

发表评论

邮箱地址不会被公开。