一个专注于大数据技术架构与应用分享的技术博客

spark判断s3路径是否存在

比如s3路径是拼凑的,那么我们从s3读数据时,很可能需要先判断路径存不存在。

var s3Path_Base = "s3n://<bucektname>/"
var s3Path = "s3n://<bucektname>/<tablename>/<partitionnumber>/"
if (FileSystem.get(new URI(s3Path_Base), sc.hadoopConfiguration).exists(new Path(s3Path))) 
{
    println(s"file exists, s3Path is ${s3Path}")
}
else 
{
    println(s"no such file ${s3Path}")
}
赞(0)
版权声明:本文采用知识共享 署名4.0国际许可协议 [BY-NC-SA] 进行授权
文章名称:《spark判断s3路径是否存在》
文章链接:https://macsishu.com/spark%e5%88%a4%e6%96%ads3%e8%b7%af%e5%be%84%e6%98%af%e5%90%a6%e5%ad%98%e5%9c%a8
本站资源仅供个人学习交流,请于下载后24小时内删除,不允许用于商业用途,否则法律问题自行承担。