org.apache.kafka.common.errors.TimeoutException：主题在 60000 毫秒后不存在于元数据中

Question

我收到错误：

  org.apache.kafka.common.errors.TimeoutException: Topic testtopic2 not present in metadata after 60000 ms.

当尝试使用 Java 在 Windows 上的本地 kafka 实例中生成主题时。请注意，主题 testtopic2 存在，我可以使用 Windows 控制台生成器向它生成消息。

在我正在使用的代码下方：

 import java.util.Properties;

import org.apache.kafka.clients.CommonClientConfigs;
import org.apache.kafka.clients.producer.Callback;
import org.apache.kafka.clients.producer.KafkaProducer;
import org.apache.kafka.clients.producer.Producer;
import org.apache.kafka.clients.producer.ProducerConfig;
import org.apache.kafka.clients.producer.ProducerRecord;
import org.apache.kafka.clients.producer.RecordMetadata;

public class Kafka_Producer {

    public static void main(String[] args){

        Properties props = new Properties();
        props.put(ProducerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ProducerConfig.ACKS_CONFIG, "all");
        props.put(ProducerConfig.RETRIES_CONFIG, 0);
        props.put(ProducerConfig.VALUE_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");
        props.put(ProducerConfig.KEY_SERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringSerializer");

        Producer<String, String> producer = new KafkaProducer<String, String>(props);
        TestCallback callback = new TestCallback();
        for (long i = 0; i < 100 ; i++) {
            ProducerRecord<String, String> data = new ProducerRecord<String, String>(
                    "testtopic2", "key-" + i, "message-"+i );
            producer.send(data, callback);
        }

        producer.close();
    }

    private static class TestCallback implements Callback {
        @Override
        public void onCompletion(RecordMetadata recordMetadata, Exception e) {
            if (e != null) {
                System.out.println("Error while producing message to topic :" + recordMetadata);
                e.printStackTrace();
            } else {
                String message = String.format("sent message to topic:%s partition:%s  offset:%s", recordMetadata.topic(), recordMetadata.partition(), recordMetadata.offset());
                System.out.println(message);
            }
        }
    }

}

Pom依赖：

 <dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>2.6.0</version>
</dependency>

列表和描述的输出：

原文由 Gherbi Hicham 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 1

我今天遇到了同样的问题。我是 Kafka 的新手，只是想让一个示例 Java 生产者和消费者运行。我能够让消费者工作，但不断收到与生产者相同的“元数据中不存在的主题”错误。

最后，出于绝望，我向我的制作人添加了一些代码来转储主题。当我这样做时，由于缺少包 jackson-databind 和 jackson-core 中的类，我得到了运行时错误。添加它们后，我不再收到“主题不存在”错误。我删除了我临时添加的主题转储代码，它仍然有效。

原文由 Bob Dobbs 发布，翻译遵循 CC BY-SA 4.0 许可协议

Answer 2

由于目标 Kafka 实例“死亡”或指向它的 URL 错误，也会出现此错误。

在这种情况下，向 Kafka 发送消息的线程将在 max.block.ms 时间被阻塞，该时间默认为 60000 毫秒。

您可以通过传递更改的值来检查是否是因为上述属性：

 Properties props = new Properties();
...(among others)
props.put(ProducerConfig.MAX_BLOCK_MS_CONFIG, 30000); # 30 sec or any other value of your choice

如果 TimeoutException 在您指定的时间后抛出，那么您应该检查您的 Kafka URL 是否正确或 Kafka 实例是否存在。

原文由 Dmitriy Fialkovskiy 发布，翻译遵循 CC BY-SA 4.0 许可协议