#780·faust

尽管已成功将消息传送到 Kafka 主题,但在基于 Kafka 的系统中,用于在 MSSQL 和 MySQL 数据库之间同步数据的消息处理却存在不一致性,这是什么原因造成的?

作者: nithinmurali94创建于 2024年5月21日更新于 2024年5月21日

您好, 我遇到了一个问题, 它涉及使用 Kafka 来同步 MSSQL 和 MySQL 数据库之间的数据。具体来说, 我使用了 Kafka JDBC 连接器来从 MSSQL 中检索数据。此外, 我还开发了一个 Faust 应用程序来处理来自 Kafka 主题的消息, 该主题在此例中名为 'orderentry'。 在测试中, 我注意到当我将 100 条记录(修改 MSSQL 数据库)输入到 Kafka 主题 'orderentry' 中时, 通过在终端上监控主题来验证 100 条消息成功地到达了主题。 但是, 我发现 Faust 处理的行为不一致。有时它成功地处理了所有 100 条消息, 但有时它只处理了子集, 比如 75 或 80 条消息, 而没有任何明显的错误记录。 我不确定这种差异是为什么。下面我附上了相关代码的一部分以供参考。

内容来源: robinhood/faust