Quand installé Ceph Podkachka est souvent utilisé
Actuellement, je lance l'installation Ceph sur 8 serveurs composés de 3 Moniteurs Ceph et 5 nœuds Ceph. Du point de vue des performances, le cluster fonctionne bien, mais au fil du temps, les nœuds commencent à changer de place
Écrire sur le disque. Lorsque cela se produit, je rencontre une performance de pores très élevée et même un nœud qui change de place est parfois considéré comme un groupe comme non-fonctionnement. Courir
suivie par
Résout temporairement le problème, mais avec le temps qu'il revient.
Pour autant que je comprends, utilisez Ceph En mémoire est un phénomène normal dû à la mise en cache, etc., mais on s'attend à ce que la mémoire soit libérée et que le swap commencera.
Nous avons essayé ce qui suit:
Double mémoire, il faut juste plus de temps pour faire l'expérience du problème
Mettre à jour le noyau, aucun résultat
Regardé divers paramètres dans Ceph, solutions il n'a pas trouvé
Installer swappiness sur 1, Aucun résultat n'est tout simplement pas nécessaire pour résoudre le problème
Je cherchais des insectes, tous les bugs trouvés où pour les anciennes versions Ceph
Est-ce que quelqu'un a une idée pourquoi cela se produit et comment y faire face?
Dans nos configurations, chaque serveur dispose des caractéristiques suivantes:
Mémoire actuelle lors du podache:
Swap Dump:
/ proc / meminfo:
ceph-osd
Écrire sur le disque. Lorsque cela se produit, je rencontre une performance de pores très élevée et même un nœud qui change de place est parfois considéré comme un groupe comme non-fonctionnement. Courir
swapoff -a
suivie par
swapon -a
Résout temporairement le problème, mais avec le temps qu'il revient.
Pour autant que je comprends, utilisez Ceph En mémoire est un phénomène normal dû à la mise en cache, etc., mais on s'attend à ce que la mémoire soit libérée et que le swap commencera.
Nous avons essayé ce qui suit:
Double mémoire, il faut juste plus de temps pour faire l'expérience du problème
Mettre à jour le noyau, aucun résultat
Regardé divers paramètres dans Ceph, solutions il n'a pas trouvé
Installer swappiness sur 1, Aucun résultat n'est tout simplement pas nécessaire pour résoudre le problème
Je cherchais des insectes, tous les bugs trouvés où pour les anciennes versions Ceph
Est-ce que quelqu'un a une idée pourquoi cela se produit et comment y faire face?
Dans nos configurations, chaque serveur dispose des caractéristiques suivantes:
Operating System: CentOS 7
Memory: 32GB
OSD's: 6x 900Gb
Ceph version: 13.2.5 Mimic
Swappiness set to 1
Mémoire actuelle lors du podache:
# free -m
total used free shared buff/cache available
Mem: 31960 19270 747 574 11943 11634
Swap: 2931 1500 1431
Swap Dump:
PID=9 - Swap used: 0 - (rcu_bh )
PID=11077 - Swap used: 4 - (snmpd )
PID=9518 - Swap used: 4 - (master )
PID=7429 - Swap used: 8 - (systemd-logind )
PID=7431 - Swap used: 8 - (irqbalance )
PID=7465 - Swap used: 16 - (chronyd )
PID=7702 - Swap used: 20 - (NetworkManager )
PID=7469 - Swap used: 24 - (crond )
PID=7421 - Swap used: 132 - (dbus-daemon )
PID=1 - Swap used: 140 - (systemd )
PID=3616 - Swap used: 216 - (systemd-udevd )
PID=251189 - Swap used: 252 - (ceph-mds )
PID=7412 - Swap used: 376 - (polkitd )
PID=7485 - Swap used: 412 - (firewalld )
PID=9035 - Swap used: 524 - (tuned )
PID=3604 - Swap used: 1608 - (lvmetad )
PID=251277 - Swap used: 18404 - (ceph-osd )
PID=3580 - Swap used: 31904 - (systemd-journal )
PID=9042 - Swap used: 91528 - (rsyslogd )
PID=251282 - Swap used: 170788 - (ceph-osd )
PID=251279 - Swap used: 188400 - (ceph-osd )
PID=251270 - Swap used: 273096 - (ceph-osd )
PID=251275 - Swap used: 284572 - (ceph-osd )
PID=251273 - Swap used: 333288 - (ceph-osd )
/ proc / meminfo:
MemTotal: 32694980 kB
MemFree: 2646652 kB
MemAvailable: 9663396 kB
Buffers: 7138928 kB
Cached: 545828 kB
SwapCached: 23492 kB
Active: 24029440 kB
Inactive: 5137820 kB
Active(anon): 19307904 kB
Inactive(anon): 2687172 kB
Active(file): 4721536 kB
Inactive(file): 2450648 kB
Unevictable: 0 kB
Mlocked: 0 kB
SwapTotal: 3002364 kB
SwapFree: 2220284 kB
Dirty: 8 kB
Writeback: 0 kB
AnonPages: 21459096 kB
Mapped: 31508 kB
Shmem: 512572 kB
Slab: 338332 kB
SReclaimable: 271984 kB
SUnreclaim: 66348 kB
KernelStack: 11200 kB
PageTables: 55932 kB
NFS_Unstable: 0 kB
Bounce: 0 kB
WritebackTmp: 0 kB
CommitLimit: 19349852 kB
Committed_AS: 29550388 kB
VmallocTotal: 34359738367 kB
VmallocUsed: 378764 kB
VmallocChunk: 34342174716 kB
HardwareCorrupted: 0 kB
AnonHugePages: 90112 kB
CmaTotal: 0 kB
CmaFree: 0 kB
HugePages_Total: 0
HugePages_Free: 0
HugePages_Rsvd: 0
HugePages_Surp: 0
Hugepagesize: 2048 kB
DirectMap4k: 248704 kB
DirectMap2M: 5963776 kB
DirectMap1G: 27262976 kB
Aucun résultat connexe trouvé
Invité:
Pour répondre aux questions, connectez-vous ou registre
1 réponses
Hannah
Confirmation de:
Ton
dans le système 32 Spectacles gb 26 GB de mémoire que le noyau conserve des pistes avec des pages 1 Gb (
). 18 Gb de qui - Pages anonymes actives. Après avoir lu un peu de quoi Ceph BlueStore Posséder le système de fichiers du noyau, il devient clair qu'il y aura de gros fragments de mémoire anonyme pour cela. Contrairement à l'utilisation du système de fichiers et de la permission de KER pour prendre en charge les touches de fichiers volumineuses.
Configuration OSD Il n'a pas été fourni, mais je suppose. ~ 26 Gb de mémoire pour diviser sur 6 menus à l'écran - C'est un peu plus 4 GB sur un menu à l'écran. Approximativement la valeur par défaut pour
lequel à 4 Gb
https://docs.ceph.com/docs/mim ... -ref/
note que dans la pratique le noyau (Linux) Il peut dépasser cette valeur en fonction de la façon dont il libère agressivement les pages. Il s'agit du problème dans le système de mémoire virtuelle: le noyau tente de sceze to paresseux dans le fait qu'il rétablit, la mémoire n'est pas restaurée si propre, car les gens le pensent.
24 GB et Changer uniquement pour les pages anonymes Ceph se réconcilier 75 +% En utilisant le système sur 32 Gb C'est beaucoup beaucoup. Ajoutez autre choix, telles que les clés de fichier et le noyau, et non surprenant, les gousses de gage sont observées.
Il est surprenant pour moi que vous avez doublé RAM et que vous voyez toujours le problème.
Environ comme 28 Gb il ressemble à une charge de travail dans 30 Étendu gb. Il ne sera pas chargé sur 60 Gb, si la définition automatique de la taille du cache Ceph ne fait pas quelque chose d'intelligent comme
Augmente (Je ne sais pas).
Facile à essayer de réduire
, Peut-être de 4 avant que 3 Gb Gratuit quelques Go, et éventuellement utiliser sera suffisamment basse pour éviter la mort en raison de la sortie lente des pages.
(Autres paramètres de cache Ceph Documenté, mais je ne les comprends pas suffisamment ou votre système d'offrir quoi essayer.)