AWS Kinesis Firehose - 使用索引旋转(Elasticsearch)
问题描述:
我建立了一个新的AWS Kinesis Firehose
流,我想每周创建一个新索引。AWS Kinesis Firehose - 使用索引旋转(Elasticsearch)
为此,我应该在配置流时使用Index Rotation
设置。
但是,我是否必须在下周即将到来的每个周末都有新的指数? 如果没有(希望不是),Firehose
如何知道要使用哪种映射?它是否使用我在Index
设置中指定的索引中定义的映射?
更多的,可以说我有旧数据,我可以让Firehose
根据我的旧数据中指定的日期创建一个带有相关时间戳的索引吗?
谢谢!
答
那么,显然答案是肯定的,,但方式不好。
如果Firehose
将数据推送到一个新的指数,不与映射预先定义的,即数据被摄入到Elasticsearch
,并自动为您创建一个映射。
这真的很糟糕。
您应该在事件发生前1-2小时自动创建索引。 我会发布一个Lambda
函数及其配置自动执行此操作。
答
您是否试图考虑在弹性搜索中创建索引模板? Thay方式新索引将选择在索引模板中定义的映射。
请参考以下链接细节
https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-templates.html
您可以使用elasticsearch索引模版,来存储您的映射。 https://www.elastic.co/guide/en/elasticsearch/reference/current/indices-templates.html – carpenterjc