Discord automatizează ScyllaDB: clustere care nu cer cafea

Discord nu e doar locul unde dezvoltatorii se ceartă despre tab-uri, ci și o infrastructură uriașă pe ScyllaDB. Echipa a decis să împărtășească rețeta pentru a nu înnebuni gestionând sute de clustere. Spoiler: automatizare și fără deploy-uri manuale la 3 noaptea.

Durerea principală — scalarea. Imaginați-vă că încercați să asamblați un raft IKEA, dar instrucțiunile sunt în chineză și piesele se pierd mereu. Cam așa arată gestionarea manuală a clusterelor. Discord și-a scris propriul instrument în Python, care prin Terraform și Ansible desfășoară, actualizează și monitorizează nodurile. Totul ca în cele mai bune case DevOps.

Inginerii Discord s-au confruntat cu greble tipice: consistența datelor, redistribuirea token-urilor și puncte fierbinți. Soluția lor — un orchestrator care mută treptat datele fără a dărâma producția. Apropo, ei folosesc protocolul gossip pentru descoperirea nodurilor — ca bârfele din birou, dar mai fiabil.

Desigur, nu au lipsit momentele haioase. De exemplu, au trebuit să se lupte cu „vecinii gălăgioși” — când un nod consumă toate resursele, iar ceilalți suferă. Au rezolvat prin cgroups și tuning compaction. Un set standard pentru cei care vor să doarmă liniștiți.

Comentariul studioului METABYTE: Discord a demonstrat că și cu o bestie precum ScyllaDB te poți împrieteni dacă configurezi corect CI/CD. Și noi avem câteva povești despre automatizare — fără sute de noduri, dar cu aceeași cantitate de cafea.