minioctt

2025-08-15 12:21:17

riempimento della squachiavanza porta la morte ad essere dischica… (Sharkey prende troppo spazio ed è un problema)

È doloroso trovarmi qui ad ammetterlo a me stessa ma, ancora una volta, scopro che i miei piani di dominazione del mondo sono stati troppo ambiziosi; almeno per ora, in questa fase più iniziale. Ovviamente tutto bene col mio codice, anche se è ancora nelle fasi iniziali… i problemi inaspettati sono piuttosto arrivati con Sharkey, che nell’arco di una settimana mi avrà sequestrato almeno 1 GB di disco col suo database di merda, e non penso di dover spiegare quali calcoli fare per capire che una situazione del genere è insostenibile. Quindi, ho dovuto per il momento abbassare il tiro, prima che il disco del server mi si riempia in misura da costringermi a levare tutto quanto… 😖

Il problema è sostanzialmente una combinazione di 3 fattori: la mole di dati in ingresso generata da migliaia di utenti di migliaia di istanze ogni giorno è gigantesca (e il mio server non ha problemi a processarla, ma ecco, sono troppi miliardi di byte), il database è strutturato di merda (con troppi dati derivati che occupano inutilmente spazio, nonché francamente colonne inutili)… e, soprattutto, il software non ha alcun meccanismo per cancellare dati vecchi, quindi per ripulire periodicamente le note di utenti di istanze terze, o comunque quei dati che sono riottenibili. E per Misskey è da anni che la gente chiede aiuto per questo problema, ma la richiesta continua a naufragare, si vedano #13157 e linkate… e per Sharkey ugualmente è da un po’ di tempo che si parla di questo schifo, ma, forse, il fato per una buona volta mi vuole bene: 3 settimane fa in #1017 qualcuno sembra aver preso interesse a lavorarci… 😨

Comunque sia, il problema per me è ora, e quindi ho come minimo dovuto disattivare i relay, che sono dei cosi che si aggiungono per far scambiare i messaggi tra la propria istanza ed altre pur senza avere relazioni di follow con migliaia di utenti (…perché non so chi cavolo seguire io, e a me pochi mi cagano), e così l’influsso di note e allegati è passato da decine di migliaia al giorno a poche decine e basta al giorno, che è persino meno di quanto ho sulla Spacc BBS… Ma questo quindi significa direttamente che, per il momento, non avrò un flusso costante estremamente sparso e variegato di conversazioni che posso passare all’intelligenza artificiale per farla funzionare in modo completamente autonomo e a dir poco extracircostanziale. (Non che io avessi finito di scrivere il codice per questa parte, eh, ma prima o poi quello sarà pronto… e i dati allora mancheranno.) 💨

Avrei quasi la mezza idea di, pur non sapendo se questa mossa potrebbe in parte rompere l’applicazione (ma, come si suol dire, cip ciop fa l’uccellino, YOLO fa il cormorano… e in ogni caso farei un backup prima), creare uno script per fare in modo grezzo la pulizia del database… ma purtroppo non è affatto una stronzata filtrare tutto per cancellare solo i dati effettivamente ridondanti, ossia le note solo da server terzi (e fin qui ok) che non hanno relazioni internamente alla mia istanza (niente reazioni o commenti o boost da parte dei miei utenti, non sono salvate tra i preferiti, e così via), e poi cancellare anche i file a queste associati dall’altra tabella (aiuto!!!). E oltre alle note, che sono rogne, e agli allegati, che invece mi fanno proprio incazzare visto quanto occupano pur essendo solo metadati (il contenuto dei file non viene scaricato!), volendo pulire pure gli utenti è la fine… 😭

Vabbè, viste le parole (…poco attendibili?) di quella persona sconosciuta di cui sopra, però, mi conviene evitare di sbattermi, e piuttosto semplicemente pregare affinché tale promessa si trasformi in codice… al più presto. Se la mia speranza (e i miei bot potentissimi…) proprio deve morire, allora lo farà solo dopo la mia istanza, non prima!!! 😾

#1017 #database #Misskey #server #Sharkey #spazio #storage

Database Retention/Purge Policies (#1017) · Issues · TransFem.org / Sharkey · GitLab

What feature would you like implemented? The problem After running an instance...

^GitLab