hdinsight动作安装火花1.2
有谁知道如何创建hdisights动作?我现在正在使用actoinscript来安装spark 1.0.2,但希望在集群上启动1.2.x以获得更多的配置单元支持。我已经阅读Script Action Development with HDInsight,当我尝试通过修改微软提供的actionscript来创建1.2的Spark集群。这样做后,我得到一个错误,火花不理解文件url'wasb://',它需要格式为'hdfs://'。在文章中也谈到Configure the custom components to use WASB和它说:hdinsight动作安装火花1.2
The custom components that you install on the cluster nodes might have a
default configuration to use HDFS storage. You should change the
configuration to use Azure Storage Blob (WASB) instead. On a cluster
re-image, the HDFS file system gets formatted and you would lose any data
that is stored there. Using WASB instead ensures that your data will be
retained.
这对我来说似乎是被谈论的是我得到的错误。有谁知道如何编译支持(WASB)的Spark或如何配置它?
试试下面的PowerShell - 它对我来说工作得很好。您可能需要先更新您的Azure PowerShell库。
New-AzureHDInsightClusterConfig -ClusterSizeInNodes $NumClusterNodes -HeadNodeVMSize $VmSize |
Set-AzureHDInsightDefaultStorage -StorageAccountName $DefaultStorageAccountFqdn -StorageAccountKey $storageAccountKey -StorageContainerName $hadoopContainer |
Add-AzureHDInsightScriptAction -Name "Install Spark" -ClusterRoleCollection HeadNode -Uri https://hdiconfigactions.blob.core.windows.net/sparkconfigactionv02/spark-installer-v02.ps1 |
New-AzureHDInsightCluster -Credential $HdInsightCreds -Name $clusterName -Location $MyClusterLocation -Version $MyClusterVersion
那么微软为Apache Spark 1.2增加了“支持”。昨天它看起来像。如果您使用HDInsight 3.2的新版本并使用这个new action script,它会为您安装1.2。我正在测试它!
他们刚刚删除你提到的动作脚本。我前一天检查过它,它可用。不幸的是,*微软*在几个小时前刚刚删除了该脚本,因为它在此时不可用。 – 2015-02-20 08:18:54
是的,这听起来是对的,脚本没有工作。 – lockwobr 2015-02-20 16:26:47
看来他们已经重新启用了脚本,他们可能在以前的版本中遇到了一些问题,这就是为什么他们暂时删除了它。 – 2015-02-27 08:49:34
这不是我想要的,那个代码会安装spark,是的,但是它安装了1.0.2版本,我想要一个安装1.2.x的脚本。我一直在努力做一个新的脚本来做到这一点,我做了一个,但它不起作用,当你在院子里启动安装的spark代码它不知道什么wasb://是 – lockwobr 2015-02-13 17:53:54