一个专注于大数据技术架构与应用分享的技术博客

Scala

scala安装教程(新手必备)-Mac私塾

scala安装教程(新手必备)

Scala是一种高级的多范式编程语言,它可以运行在Java虚拟机上,同时具备面向对象和函数式的特性,其运行速度快、易于开发和维护。Scala在大数据和分布式系统等领域具有广泛的应用,因此学习和掌握Scala对于程序员来说非常重要。本文将为您...

阅读(130)

读取包含冒号的s3路径

假设有csv的s3路径是这样的: s3n://<bucetname>/<tablename>/2018-12-13/ s3n://<bucetname>/<tablename>/2018-12...

阅读(2926)

spark判断s3路径是否存在

比如s3路径是拼凑的,那么我们从s3读数据时,很可能需要先判断路径存不存在。 var s3Path_Base = "s3n://<bucektname>/" var s3Path = "s3n://<bucektname&...

阅读(4281)

Scala正则匹配

用正则匹配拿到下面的数据 {"tablename":"a.student", "s3_path":"s3n://bucketname/student/","delimiter":",","partitions":""}, {"tablena...

阅读(1781)

在parquet文件上创建hive表

在parquet文件上创建hive表失败,ERROR: Failed with exception java.io.IOException:org.apache.hadoop.hive.ql.metadata.HiveException: ...

阅读(9013)