java.io.FileNotFoundException在星火
问题描述:
我是新来使用Databricks.com笔记本和集群学习Spark和Scala的,这是我非常简单的代码加载一个文件:java.io.FileNotFoundException在星火
import sys.process._
val localpath="file:/tmp/myfile.json"
dbutils.fs.mkdirs("dbfs:/datasets/")
dbutils.fs.cp(localpath, "dbfs:/datasets/")
但我得到的错误像这样:
java.io.FileNotFoundException:文件文件:/tmp/myfile.json不存在。
在org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:402)
在org.apache.hadoop.fs.FilterFileSystem.getFileStatus(FilterFileSystem.java:255)
在com.databricks.backend.daemon.dbutils.FSUtils $ .cp(DBUtilsCore.scala:82)
在com.databricks.dbutils_v1.impl.DbfsUtilsImpl.cp(DbfsUtilsImpl.scala:40)
我正在使用Ma C和我已经确定文件存在于这个绝对路径,这是一个火花错误?谢谢!
答
线:
val localpath="file:/tmp/myfile.json"
应该是:
VAL局部路径= “文件://tmp/myfile.json”
基本上所有URI是以下格式://路径请参阅RFC-3986
Databricks.com不会在您的主机上运行,所以我不确定它可以访问您的本地文件。见https://forums.databricks.com/questions/828/how-do-i-import-a-local-csv-into-databricks-cloud.html –
是的你是对的,它应该在dbfs中火花但不在我的主人 –