Azure SQL作为HDInsight的外部Sqoop Metastore

Question

美好的一天！

是否有任何文档说明如何将Azure SQL配置为HDInsight的外部Sqoop Metastore？

通常HDInsight集群是作为计算资源动态生成的，然后在完成工作后关闭。

这就是为什么Sqoop作业定义需要在群集重新启动或附加新群集之后生存的原因。

理想情况下，外部sqoop metastore应在其创建过程中动态地附加到新的群集。

问候，

-Yuriy

Answer 1

事实证明，如果你能在创建SQL Azure的天青或MySQL的下面这些表，然后使用Sqoop的--meta连子句连接新metastore 但那么就有这个限制Sqoop on HDInsight does not close JDBC connection properly?

CREATE TABLE SQOOP_ROOT (
version INT, 
propname VARCHAR(128) NOT NULL, 
propval VARCHAR(256), 
CONSTRAINT SQOOP_ROOT_unq UNIQUE (version, propname)) 
INSERT INTO SQOOP_ROOT 
     VALUES(
      NULL, 
      'sqoop.hsqldb.job.storage.version', 
      '0'); 

      INSERT INTO SQOOP_ROOT 
VALUES(
    0, 
    'sqoop.hsqldb.job.info.table', 
    'SQOOP_SESSIONS' 
     ); 

    CREATE TABLE SQOOP_SESSIONS(
     JOB_NAME VARCHAR(64) , 
     PROPNAME VARCHAR(128) , 
     PROPVAL VARCHAR(1024) , 
     PROPCLASS VARCHAR(32) , 
     CONSTRAINT SQOOP_SESSIONS_unq UNIQUE 
(JOB_NAME , 
PROPNAME , 
PROPCLASS) 
     );