Wordfreq se retrage: de ce biblioteca nu va mai fi actualizată

Dezvoltatorii care lucrează cu limbaj natural cunosc cu siguranță biblioteca wordfreq – un instrument util pentru calcularea frecvenței cuvintelor în diferite limbi. Cu toate acestea, după cum a anunțat autorul proiectului Rob Speer, nu vor mai exista actualizări. Motivul nu este lenea sau oboseala, ci complicațiile legale legate de date.

Se pare că multe corpusuri de texte pe care s-a antrenat wordfreq au restricții de distribuire. Colectarea datelor de pe internet a devenit mai dificilă: site-urile blochează accesul, iar licențele devin mai stricte. Astfel, menținerea actualității bibliotecii fără riscul de a încălca drepturile de autor a devenit aproape imposibilă.

Ce înseamnă asta pentru dezvoltatori? Cei care folosesc wordfreq în proiectele lor ar trebui să se gândească la migrare. Există alternative, de exemplu spaCy sau NLTK cu propriile modele. Dacă proiectul tău depinde de versiuni specifice wordfreq, este mai bine să fixezi dependențele și să nu le actualizezi – altfel riști să rămâi fără suport.

Comentariul studioului METABYTE

Povestea wordfreq este un exemplu excelent al modului în care licențierea datelor poate afecta proiectele open-source. În dezvoltarea produselor noastre, ținem întotdeauna cont de aspectele juridice ale utilizării datelor terțe, pentru ca tu să nu te confrunți cu un „apus solar” neașteptat în cel mai nepotrivit moment.