查看kafka消费了哪些数据库，如何获取kafka服务器上的数据

来源：整理时间：2024-06-19 16:11:46 编辑：黑码技术手机版

1，如何获取kafka服务器上的数据

我不会~~~但还是要微笑~~~：）

如何获取kafka服务器上的数据

2，如何通过客户端查询sap使用了什么数据库

你指的是登陆了客户端？通过菜单系统，状态System - status就能看到右下角的数据库信息

搜一下：如何通过客户端查询sap使用了什么数据库？

如何通过客户端查询sap使用了什么数据库

3，Spark直连消费Kafka数据防止数据丢失问题

除非你将处理后的数据结果储存在支持事物的数据库中，比如这样：开启事物保存偏移量保存处理结果结束事物在这里事物(原子性)保证了数据处理和偏移量保存的原子性否则无法保证真正避免的数据重复消费或数据丢失。看你更倾向于是可接受重复消费或者数据丢失

前面应该还有个数据生产者，比如flume. flume负责生产数据，发送至kafka。 spark streaming作为消费者，实时的从kafka中获取数据进行计算。计算结果保存至redis，供实时推荐使用。 flume+kafka+spark+redis是实时数据收集与计算的一套经典架构...

Spark直连消费Kafka数据防止数据丢失问题

4，kafka查看消费了多少条数据

如何查看目前的消费者是否已经读到最新的数据：kafka-run-class.sh kafka.tools.ConsumerOffsetChecker#kafka查看topic各个分区的消息的信息kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --group ** --topic *** --zookeeper *:2181,*:2181,*:2181/kafka--zookeeper 那里是指kafka在zk中的path,即使zk有多个机器，如果在其中一台上执行此命令，显示连接不上，只写那台机器的地址端口+kafka的path即可指定自己的分组自己消费的topic会显示kafka总共有多少数据，以及已经被消费了多少条结果：GROUP TOPIC PID OFFSET LOGSIZE LAG消费者组话题id 分区id 当前已消费的条数总条数未消费的条数注意：以kafkaspout类作为消费者去读kafka数据，相当于直接从e5a48de588b63231313335323631343130323136353331333363373138kafka server上取文件，没有消费者组的概念每次读的数据存在自己zk的offet中所以不能通过上述命令查看

5，为什么kafka的消费分组没显示

屏幕亮度无法调节一般是由于缺少快捷键软件或者显卡驱动存在问题导致的，建议您：1.重新安装快捷键软件。（Easy Display Manager或Easy Settings）2.若更新快捷键软件无效果，则需要重新显卡驱动。早期型号笔记本的快捷键软件和显卡驱动可以通过三星官网下载，新型号的笔记本可以通过SW Update软件下载安装。为了方便您的下载，下面为您提供SW Update软件下载地址：3.若重装快捷键软件和显卡驱动无效，建议备份重要资料，将操作系统重新安装。4.若无效，建议携带购机发票，包修卡和机器到授权的服务中心检测判断。

基于0.8.0版本。##查看topic分布情况kafka-list-topic.shbin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 （列出所有topic的分区情况）bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --topic test （查看test的分区情况）其实kafka-list-topic.sh里面就一句 exec $(dirname $0)/kafka-run-class.sh kafka.admin.listtopiccommand $@实际是通过kafka-run-class.sh脚本执行的包kafka.admin下面的类##创建topic kafka-create-topic.shbin/kafka-create-topic.sh --replica 2 --partition 8 --topic test --zookeeper 192.168.197.170:2181,192.168.197.171:2181创建名为test的topic， 8个分区分别存放数据，数据备份总共2份bin/kafka-create-topic.sh --replica 1 --partition 1 --topic test2 --zookeeper 192.168.197.170:2181,192.168.197.171:2181结果 topic: test2 partition: 0 leader: 170 replicas: 170 isr: 170##重新分配分区kafka-reassign-partitions.sh这个命令可以分区指定到想要的--broker-list上bin/kafka-reassign-partitions.sh --topics-to-mo...基于0.8.0版本。##查看topic分布情况kafka-list-topic.shbin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 （列出所有topic的分区情况）bin/kafka-list-topic.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --topic test （查看test的分区情况）其实kafka-list-topic.sh里面就一句 exec $(dirname $0)/kafka-run-class.sh kafka.admin.listtopiccommand $@实际是通过kafka-run-class.sh脚本执行的包kafka.admin下面的类##创建topic kafka-create-topic.shbin/kafka-create-topic.sh --replica 2 --partition 8 --topic test --zookeeper 192.168.197.170:2181,192.168.197.171:2181创建名为test的topic， 8个分区分别存放数据，数据备份总共2份bin/kafka-create-topic.sh --replica 1 --partition 1 --topic test2 --zookeeper 192.168.197.170:2181,192.168.197.171:2181结果 topic: test2 partition: 0 leader: 170 replicas: 170 isr: 170##重新分配分区kafka-reassign-partitions.sh这个命令可以分区指定到想要的--broker-list上bin/kafka-reassign-partitions.sh --topics-to-move-json-file topics-to-move.json --broker-list "171" --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --execute cat topic-to-move.json [ "version":1}##为topic增加 partition数目kafka-add-partitions.shbin/kafka-add-partitions.sh --topic test --partition 2 --zookeeper 192.168.197.170:2181,192.168.197.171:2181 （为topic test增加2个分区）##控制台接收消息bin/kafka-console-consumer.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --from-beginning --topic test##控制台发送消息bin/kafka-console-producer.sh --broker-list 192.168.197.170:9092,192.168.197.171: 9092 --topic test ##手动均衡topic, kafka-preferred-replica-election.shbin/kafka-preferred-replica-election.sh --zookeeper 192.168.197.170:2181,192.168.197.171:2181 --path-to-json-file preferred-click.jsoncat preferred-click.json "partitions": [ ]}##删除topic,慎用，只会删除zookeeper中的元数据，消息文件须手动删除bin/kafka-run-class.sh kafka.admin.deletetopiccommand --topic test666 --zookeeper 192.168.197.170:2181 ,192.168.197.171:2181