XF2.2 Extreme Zugriffe ... was ist da los? Wie Bots aussperren?

[smallwheels]

.. kann man auch ganze URLs ausschließen

wo kann man das?

das hier zum Beispiel:


mit *
also sperre alles mit *.bl.bot.semrush.com
oder direkt
*.semrush.com

das ist keine URL sondern ein Hostname des anfragenden Clients. Das kannst Du in der .htaccess konfigurieren. In den meisten Fällen würde bei sowas alternativ das Blocken des ASNs, zu dem die IP gehört, wirksamer sein - der Hostname ist ein ziemlich windiges Kriterium, da er von der Clientseite konfiguriert werden kann und so einer gewissen Beliebigkeit unterliegt. Die IP in Deinem Beispiel gehört in der Tat zum Netzblock von Semrush:



Den kompletten ASN AS209366 zu blockieren ist also gewiss kein Fehler. Falls die mehrere Netzblöcke haben oder aber auch Hosts in anderen Netzblöcken nutzen ist das nicht hinreichend - das merkst Du dann aber schon.

 

[smallwheels]

Die neueste Version von IP Threat Monitor (1.0.49) kann nun auch Captchas für ausgewählte Länder und ASNs ausspielen, damit ist dieses Problem gelöst und der dadurch bedingte Anlass auf Cloudflare zu wechseln entfallen. Leider führt das zu einem Konflikt mit dem Bot-Guard Add On, da nun im Captcha Fall beide Add Ons gleichzeitig versuchen einen Redirekt auf unterschiedliche Seiten zu machen - Deadlock. Ist aber wohl eine Frage der Zeit, bis das gelöst ist.

Ist nun in 1.0.50 gelöst. Allerdings funktioniert in meiner Konfiguration IP Threat Monitor nun so gut, dass ich überlege, ob ich auf Bot Guard nicht künftig ohnehin verzichten kann:
• zahlreiche Länder und böse ASNs sind ohnehin blockiert, kommen also gar nicht bis zu Bo Guard
• Länder bzw. ASNs in denen eine Mischung von residential Proxies und echten Gästen gegeben ist (also bei mir z.B. der DACH Raum, aber auch Benelux, Frankreich, Spanien und diverse andere Europäische Länder) bekommen nun standardmässig ein forced Captcha für Gäste. Also das, was Botguard nach eingehender Untersuchung ggf. auch ausspielen würde. Falls die Bots das nicht lösen können kommen sie nicht bis zu Bot Guard, können sie es lösen können sie auch das von Bot Guard lösen. Echte Gäste bekämen hingegen 2 mal hintereinander ein Captcha - ziemlich nervig. Und einen Mehrwert bzw. mehr Sicherheit erzeugt es auch nicht.

Bot Guard zusätzlich zu IP Threat Manager hätte also aktuell in zwei Situationen einen Vorteil:

• Für Länder/ASNs/Besucher, die in IP Threat Manager weder hart geblockt noch mit einer Challenge belegt sind. Aus denen bekomme ich aber kaum Besucher, ergo kein Problem.
• Falls man in Bot Guard ein anderes Captcha einstellt als in IP Threat Manager. Das it möglich: IP Threat Manager nutzt das Captcha, das in XF für die Registrierung eingestellt ist. Bot Guard kann hingegen unabhängig davon ein beliebiges der in XF grundsätzlich vorhandenen Captcha Optionen nutzen. Man könnte also nun z.B. in Bot Guard ein Text Captcha (Frage-Antwort) definieren und damit ggf. Bots abfangen, die in der Lage sind CF Turnstile zu lösen (das bei mir in IP Threat Manager genutzt wird). Ist aber vielleicht etwas over the top.

On another note: Es gibt mittlerweile ein weiteres Add On, das in die gleiche Kerbe schlägt wie IP Threat Manger und Bot Guard und eine Alternative dazu ist: Bot Schilde von XenCustomize:

https://xenforo.com/community/resources/xencustomize-bot-shield-content-protection-crawler-management-activity-monitoring.10925/

Das ist gestern erschienen, also brandneu. Erfahrungen damit gibt es entsprechend noch nicht. Da ich mit meiner bisherigen Lösung sehr zufrieden bin und bei dem Neuen keinen Vorteil sehe werde ich es btw auch nicht ausprobieren.