Splunk模块化输入更新参数

Question

是否有方法使用Splunks Python SDK更新模块化输入脚本的输入参数？

def stream_events(self, inputs, ew): 
    twitter = OAuth1Session(api_key, api_secret, access_token, access_token_secret) 

    for input_name, input_item in inputs.inputs.iteritems(): 
     hashtag = input_item["hashtag"] 
     since_id = input_item["since_id"] 

     if since_id == "0": 
      url = "https://api.twitter.com/1.1/search/tweets.json?q=%%23%s" % hashtag 
     else: 
      url = "https://api.twitter.com/1.1/search/tweets.json?since_id=%s&q=%%23%s" % (since_id, hashtag) 

     r = twitter.get(url) 

     output = json.loads(r.content) 
     if len(output["statuses"]) != 0: 

      for tweet in output["statuses"]: 
       print_xml_stream(input_name, json.dumps(tweet), tweet["created_at"]) 

我将since_id参数设置为0，然后我第一次调用Twitter API。之后，我得到的结果我想更新since_id参数与Twitter搜索元数据（output["search_metadata"]["max_id"]）

感谢max_id领域的任何帮助

Answer 1

使用检查点来存储since_id你在这种情况下最好的选择。粗略地说，你的代码应该看起来很类似。我已经离开了TODO文件IO部分。对于GitHub提交C＃SDK的JavaScript &中的示例，我们在检查点文件中存储了每行1个提交。对于你的情况，你只需要在文件中存储since_id。请注意，每个输入实例都应该有它自己的检查点文件（即：每个输入都映射到一个hashtag，所以你应该为每个hashtag建立一个检查点文件）。

diff --git a/program.py b/program.py 
index 95f69de..defb535 100644 
--- a/program.py 
+++ b/program.py 
@@ -1,14 +1,17 @@ 
def stream_events(self, inputs, ew): 
    twitter = OAuth1Session(api_key, api_secret, access_token, access_token_secret) 

+ checkpoint_dir = inputs.metadata['checkpoint_dir'] 
+ 
    for input_name, input_item in inputs.inputs.iteritems(): 
     hashtag = input_item["hashtag"] 
     since_id = input_item["since_id"] 

-  if since_id == "0": 
-   url = "https://api.twitter.com/1.1/search/tweets.json?q=%%23%s" % hashtag 
-  else: 
-   url = "https://api.twitter.com/1.1/search/tweets.json?since_id=%s&q=%%23%s" % (since_id, hashtag) 
+  checkpoint_file_path = os.path.join(checkpoint_dir, hashtag + ".txt") 
+ 
+  since_id = "" # TODO: read from the file 
+   
+  url = "https://api.twitter.com/1.1/search/tweets.json?since_id=%s&q=%%23%s" % (since_id, hashtag) 

     r = twitter.get(url) 

@@ -16,4 +19,6 @@ def stream_events(self, inputs, ew): 
     if len(output["statuses"]) != 0: 

      for tweet in output["statuses"]: 
-    print_xml_stream(input_name, json.dumps(tweet), tweet["created_at"]) 
\ No newline at end of file 
+    print_xml_stream(input_name, json.dumps(tweet), tweet["created_at"]) 
+ 
+  # TODO: on success, update the contents of the checkpoint file 
\ No newline at end of file