Sélectionnez le nombre de sections dans le Kafka

J'ai lu la documentation pour apache kafka, Mais je n'ai pas pu trouver un exemple de combien de sections dois-je utiliser dans n'importe quel script.

Par exemple, disons que j'ai 5000 messages / enregistrements par minute, pour cette situation combien de sections je dois avoir (Ou vous recommandez)?

Ou y a-t-il un moyen de calculer cela? Peut-être qu'il y a une table de valeurs à laquelle je peux contacter?
Invité:

Agathe

Confirmation de:

Il n'y a pas de nombre approprié de partitions par défaut et vous devez fournir des informations supplémentaires.

Cela dépend de la taille des messages, de votre plate-forme et du modèle d'utilisation. Le serveur peut-il stocker tous les messages avec un ensemble de stockage? Sinon, vous devriez diviser les données en plusieurs sections pour des instances. Le même cas, si vous avez besoin d'une bande passante plus élevée ou si vous devez traiter des messages de manière séquentielle ou que des données peuvent être consommées sans aucune contrainte particulière. Il existe également une question sur le retard que vous attendez de recevoir un message. Si vos messages comptent, vous devrez ajouter des réplicas pour chaque partition et confirmer tous les messages sur toutes les répliques pour réduire la bande passante.

Vous devez également spécifier si le numéro que vous spécifie spécifiant ou consommé.

5000 Postes par minute - C'est très peu, étant donné que Kafka Créé pour traiter rapidement des messages. J'ai facilement atteint 10000 Posts par seconde entrés sur la taille du serveur 1 KB.

5000 messages par minute constituent 84 Messages par seconde, si une instance de votre demande de consommation peut traiter ce montant, vous pouvez également ajouter des sections et exécuter plusieurs applications de consommation en parallèle, chacune d'entre elles sera responsable de la section.

Confluent Inc Il a
http://www.confluent.io/blog/h ... ster/
Blog Publier sur la façon de choisir le nombre de sections (ainsi que le nombre de répliques).

Pour répondre aux questions, connectez-vous ou registre