FREN

#FF00AA


1 juin 2023

Why the fuck did an Amazon crawler spend an entire month loading 200,000 pages from my client’s site (which has nowhere that much content), and with a regular browser’s user-agent to boot 🤬

Edit: I'm still mystified as to what the bot was looking for here, but the user-agent bit is probably my fault, I was storing it in a field that was too short.

Vous voulez savoir quand je poste du contenu sur mon blog ? Il suffit de vous inscrire gratuitement à un agrégateur RSS (Feedly, NewsBlur, Inoreader, …) et d'ajouter www.ff00aa.com à vos flux (ou www.garoo.net pour vous abonner à tous les sujets). On n'a pas besoin de newsletters, pas besoin de Twitter, le RSS existe toujours.

Mentions légales : ce blog est hébergé par OVH, 2 rue Kellermann, 59100 Roubaix, France, www.ovhcloud.com.

Les données des visiteurs de ce blog ne sont pas utilisées ni transmises à des tiers. Les posteurs de commentaires peuvent demander leur suppression par e-mail.

Tous contenus © de l'auteur ou couverts par le droit de citation.