如何验证发送到PubSub的所有消息是否已正确发送？

Question

我正在运行从PubSub读取并写入BigQuery的Dataflow流式管道。当我尝试验证所有消息都已写入BigQuery时，我意识到某些消息已丢失。

如何验证发送到PubSub的所有消息是否已正确发送？

Answer 1

如果您在PubSub发布者（cloud.google.com/pubsub/publisher）上收到确定的回复，则表示它们已被正确发送。您可以尝试在您的发布商处记录所有发布的消息ID，并在您的管道中记录所有收到的消息ID（例如，将它们放入BigQuery列中）。