Amazonbot respectă în sfârșit robots.txt. O victorie mică, dar semnificativă

Saga Amazonbot care ignora fișierul robots.txt a luat sfârșit. După ani de plângeri și frustrări, Amazon a anunțat că robotul lor va respecta în sfârșit regulile stabilite de webmasteri.

Până acum, Amazonbot se comporta ca acel vecin care intră în casă fără să bată la ușă, se uită prin toate sertarele și nici măcar nu spune „mulțumesc”. Ignora directivele Disallow, extrăgând conținut pentru antrenarea modelelor și indexarea produselor, lăsând serverele multor site-uri sufocate de cereri.

Acum, Amazon susține că robotul lor va respecta robots.txt. Rămâne întrebarea: ce facem cu datele deja furate? Dar, hei, e un pas înainte. Cel puțin până când Amazon decide că robots.txt e doar o sugestie, nu o lege.

Pentru dezvoltatori, asta înseamnă că pot renunța la soluțiile de tipul blocării după User-Agent în .htaccess sau nginx. Dar nu vă relaxați prea mult: alți crawleri, cum ar fi GPTBot, încă se comportă ca niște elefanți într-un magazin de porțelan.

Comentariul studioului METABYTE: Ne bucurăm că Amazon a auzit în sfârșit vocea rațiunii. Acum mai rămâne să convingem și alți giganți că robots.txt nu e doar un ornament, ci un instrument esențial al standardelor web. Dacă aveți nevoie de ajutor pentru configurarea parsării corecte sau protejarea conținutului, știm cum să facem site-ul dvs. vizibil doar pentru cei care trebuie.