• Wenn du hier im Forum ein neues Thema erstellst, sind schon Punkte aufgeführt die du ausfüllen musst. Das dient im Allgemeinen dazu die notwendigen Informationen direkt mit der Frage bereitzustellen.
    Da in letzter Zeit immer wieder gerne das Formular gelöscht wurde und erst nach 3 Seiten Nachfragen die benötigten Infos für eine Hilfe kommen, werde ich nun jede Fragestellung die nicht einmal annähernd das Formular benutzt, sofort in den Sondermüll schicken.
    Füllt einfach die abgefragte Daten aus und alle können euch viel schneller helfen.

XF2.2 Extreme Zugriffe ... was ist da los? Wie Bots aussperren?

otto schrieb:
Oft kann man sagen - you get what you pay for. ;)
Zum Vergrößern anklicken....
Sorry, aber das ist Käse. Das, was Anthony da kostenlos abgeliefert hat und das Level an detailliertem und promptem Support bekommst Du bei den meisten AddOn Autoren nicht mal im Ansatz, auch nicht bei teuren Add Ons.

otto schrieb:
Die Bad Boys besser direkt und nachhaltig mit ModSecurity, Firewall und Fail2Ban beglücken - wenn du dort gescheite Regeln aufstellst, hälst du dir einiges an Unkraut draußen.
Zum Vergrößern anklicken....
Aber nicht das, was Bot Guard ausfiltern kann und genau das ist das, was das Add On interessant macht - bevorzugt als Ergänzung zu anderen Maßnahmen.
 
Bei einem meiner 6 Foren:
1787936170490.png
1787936214737.png
Aber wie geschrieben, kloppe ich da schon vorab einiges weg mit GeoIP-Blocking, ModSec, Firewall und Fail2Ban - ohne die erste Server seitige Hürde sehe das ganz anders aus. ;)
 
smallwheels schrieb:
Sorry, aber das ist Käse. Das, was Anthony da kostenlos abgeliefert hat und das Level an detailliertem und promptem Support bekommst Du bei den meisten AddOn Autoren nicht mal im Ansatz, auch nicht bei teuren Add Ons.
Zum Vergrößern anklicken....
Na da haste das aber mal 1A ausm Kontext gerissen - ich bezog mich auf den Server, den letzten Abschnitt vor meinem Post und nicht explizit auf das Addon. Meine Güte aber auch... Wie du siehst, nutz ich das selber seit etlichen Versionen und hab auch nicht geschrieben es sei Scheiße oder teuer. Bitte unterstell dann auch nicht sowas - danke. :)
 
smallwheels schrieb:
Aber nicht das, was Bot Guard ausfiltern kann und genau das ist das, was das Add On interessant macht - bevorzugt als Ergänzung zu anderen Maßnahmen.
Zum Vergrößern anklicken....
Bot Guard - das hast du doch selber festgestellt, kann auch an den Ressourcen nagen. Keiner schrieb es sei nicht hilfreich, aber warum willst du die ganze Welle der Bots bis ans Forum ran lassen, wenn du vorab Server seitige Brecher einbauen kannst. Und da er ja nen eigenen Server hatte/haben wird, ist das doch nicht von der Hand zu weisen - meinste nicht? ;)

Bei mir sind es aktuell 6 Foren und 8 Seiten (teils Wordpress) - ich denke da kannst du mir schon bisl vertrauen, wenn ich für meine Projekte Bot Guard nur noch zum Sahne abschöpfen nutze und das Grobe vorab mit zentraleren Mitteln davon abhalte Bot Guard zu belästigen. ;)

Das man nie 100% der Bots erwischen wird, weil sich immer weniger davon an die Regeln halten ist klar, aber wenn ich z.B. ein Forum rein für einen eingeschränkten Kreis an Ländern betreibe, dann kann ich Botschleudern (Regionen/Länder) auch direkt blocken um die Last zu senken und dank Fail2Ban in Kombination mit der Firewall auch gern etwas nachhaltiger.


Um es noch mal deutlichst zu sagen:
Bot Guard ist schon gut, aber auch gerade für Laien unübersichtlich. Super Sache das er es kostenlos anbietet und ich nutz es auch ganz gern und wenn ich keine Andere Möglichkeit hätte, dann auch als fast einzige Maßnahme - besser wie nichts.
Aber wenn ich Server Zugriff habe, hielte ich es für verwerflich, auf die Bordmittel zu verzichten.

In diesem Sinne - denke wir sind uns zumindest einig das Bots die unsere Server sinnlos belasten und Inhalte ungefragt komerziell nutzen einfach mal entbehrlich sind und ausgesperrt gehören. Klar nicht alle Bots, aber erschreckend viele. Unfair ist eben, das sich immer mehr Bots als normale Gäste tarnen - so was sollte unter Strafe stehen, es kostet unsere Ressourcen.
 
otto schrieb:
Na da haste das aber mal 1A ausm Kontext gerissen - ich bezog mich auf den Server, den letzten Abschnitt vor meinem Post und nicht explizit auf das Addon. Meine Güte aber auch...
Zum Vergrößern anklicken....
Damit klar ist, worauf Du Dich beziehst haben die Forengötter die Zitatfunktion erfunden. Wenn Du die nicht nutzt brauchst Du Dich nicht beschweren (ausser bei Dir selbst), wenn jemand Deine Äusserungen nicht in Deinem Sinne versteht.
otto schrieb:
warum willst du die ganze Welle der Bots bis ans Forum ran lassen, wenn du vorab Server seitige Brecher einbauen kannst.
Zum Vergrößern anklicken....
Dass es mit dem Leseverständnis bei Dir nicht allzu weit her ist hast Du schon oft genug gezeigt, das musst Du nicht jedes mal auf's Neue tun. Oder warum behauptest Du ich hätte das Gegenteil von dem geraten, was ich gesagt habe (und auch selbst nutze)?
smallwheels schrieb:
es steht bei mir in dritter Reihe der Verteidigungslinien, entsprechend kommt vergleichsweise wenig Traffic dort an (grob zwischen 10 und 60% des kompletten Traffics, abhängig von der Botaktivität im jeweiligen Zeitraum) und was dort ankommt bekomme ich mit meinem derzeitigen Vorgehen auf anderen Wegen nicht weiter ausgefiltert.
Zum Vergrößern anklicken....

smallwheels schrieb:
bei mir also ziemlich wenig Load, durch geringen Traffic einerseits und durch ziemlich rabiates Filtern des Traffics, bevor er bei Botguard ankommt, andererseits.
Zum Vergrößern anklicken....

smallwheels schrieb:
In Summe finde ich es durchaus nützlich und würde dazu raten, durch sinnvolle Vorfilterung dafür zu sorgen, dass möglichst wenig überhaupt bei dem Add On ankommt
Zum Vergrößern anklicken....

otto schrieb:
Bot Guard ist schon gut, aber auch gerade für Laien unübersichtlich.
Zum Vergrößern anklicken....
Für Laien gibt es die bamperleeinfachen Assistenten zur Einstellung. Da ist eigentlich nichts unübersichtlich dran. Ob Laien überhaupt an Netzwerksachen rumdiltettieren sollten, wenn sie keine Ahnung davon haben, was sie tun, ist eine andere Frage.

otto schrieb:
ich nutz es auch ganz gern und wenn ich keine Andere Möglichkeit hätte, dann auch als fast einzige Maßnahme - besser wie nichts.
Aber wenn ich Server Zugriff habe, hielte ich es für verwerflich, auf die Bordmittel zu verzichten.
Zum Vergrößern anklicken....
Ich halte in der Situation "shared hosting" das Add On "IP Threat Monitor" für wesentlich wirksamer und sowohl effektiver wie auch effizienter als Bot Guard - passende Situation vorausgesetzt. Auch das hat den architektonischen Nachteil, direkt an XF angeflanscht zu sein mit Effekten für Load und DB Grösse. Es ist aber wesentlich transparenter und einfacher konfigurierbar. Aber halt dumm. Die Kombination aus beiden Add Ons funktioniert bei mir hervorragend. Bis eine wirksame Konfiguration für Threat Monitor steht dauert es aber eine ganze Weile und man muss viel Zeit investieren - dann ist es aber ziemlich rock solid, gerade bei einem regionalen Forum, wenn man auf Länder und ASNs filtern kann ohne die legitimen Nutzer zu beeinträchtigen. Kann man das nicht ist der Nutzen limitiert. Bot Guard knuspert dann noch Teile des verbleibenden Rests weg - was bei mir im Wesentlichen resident Proxies aus Clientnetzwerken aus Ländern sind, die ich nicht sperren kann bzw. will.
 
Zuletzt bearbeitet:
OK, du bist offenbar auf Krawall gebürstet und/oder dir ist langweilig... akzeptiere ich.
Aber ich bin für so einen präpupertären Zank-Kindergarten mittlerweile zu alt und zu lange dabei, als mich da weiter drauf einzulassen.
 
otto schrieb:
du bist offenbar auf Krawall gebürstet
Zum Vergrößern anklicken....
Du bist lustig: Postest steile Statements ohne klaren Bezug und beschwerst Dich dann, wenn der Bezug missverstanden wird. Unterstellst mir Aussagen, die ich nie getroffen habe (sondern das exakte Gegenteil davon und zwar mehrfach, sogar in dem Teil meines Posts, den Du gequotet hast) und wenn man Dich fragt, was das soll beschwerst Du Dich, ich sei "auf Krawall gebürstet". Du bist lustig. Nicht.
 
Ich habe gerade knapp 100k Hurensohn-Bots in der Gästeliste online... (absoluter Rekord!)

Der "Rekord" lag gestern noch bei 20k.

Änderungen in der htaccess haben bislang nichts bewirkt.

Anmerkung: ich nutze seit knapp einem Monat einen Managed-Server bei Hetzner und die neueste XF-Version.

Bei Ionos hatte ich in all den Jahren zuvor niemals ein solch extrem hohes Aufkommen.
 
Denke das werden auch massivst AI-Trainingsdatenbots sein, getarnt als normale Nutzer, mit ständig wechselnden IPs.
Eigentlich steht hier im Thema schon alles drinn, was man tun kann, was man sollte und wo die Grenzen des vertretbaren sind.

Was konkret an Gegenmaßnahmen hast du denn aktuell laufen und wie konfiguriert?

Bin auch bei Hetzner, schon einige Jahre und mit aktuell 7 Xenforo Foren und locker noch mal sovielen Wordpress Installationen. Bei mir ist bis dato alles halbwegs ruhig, allerdings fahr ich schon ein breites Gegenmaßnahmenprogramm, nach dem es mich im August auch mal erwischt hatte mit unzähligen "Gastzugriffen".
 
otto schrieb:
Denke das werden auch massivst AI-Trainingsdatenbots sein, getarnt als normale Nutzer, mit ständig wechselnden IPs.
Eigentlich steht hier im Thema schon alles drinn, was man tun kann, was man sollte und wo die Grenzen des vertretbaren sind.

Was konkret an Gegenmaßnahmen hast du denn aktuell laufen und wie konfiguriert?

Bin auch bei Hetzner, schon einige Jahre und mit aktuell 7 Xenforo Foren und locker noch mal sovielen Wordpress Installationen. Bei mir ist bis dato alles halbwegs ruhig, allerdings fahr ich schon ein breites Gegenmaßnahmenprogramm, nach dem es mich im August auch mal erwischt hatte mit unzähligen "Gastzugriffen".
Zum Vergrößern anklicken....
Servus, Otto.

Ich arbeite natürlich mit KI und diese teilte mir zu diesem Thread hier Folgendes mit:

2. Die JavaScript-Challenge von Kirby ist interessant, aber nicht risikofrei​

In Beitrag #29 stellt Kirby eine einfache Schutzlösung vor, die ohne Cloudflare auskommt:

  • Auffällige Besucher werden auf eine Prüfseite umgeleitet.
  • JavaScript setzt ein Cookie.
  • Besucher mit diesem Cookie dürfen anschließend normal auf das Forum zugreifen.
Das Verfahren soll insbesondere einfache Bots aussortieren, die kein JavaScript ausführen. Kirby bezeichnet es ausdrücklich als einfache Lösung ohne Erfolgsgarantie.

favicons

XenDACH - Die deutschsprachige XenForo-Community


Meine Bewertung: Für MySite.de ist die Idee technisch interessant, weil die Prüfung vor der eigentlichen XenForo-Seitenverarbeitung stattfinden kann. Die vorgeschlagene Umsetzung verwendet allerdings PHP für die Prüfseite und kann legitime Besucher mit deaktiviertem JavaScript oder Cookies ausschließen. Außerdem ist ein einfaches Cookie für fortgeschrittene Bots leicht nachzuahmen.

Ich würde diesen Code deshalb nicht unverändert übernehmen.

3. Der wichtigste technische Beitrag stammt von „otto“​

In Beitrag #34 vom 24. August 2026 beschreibt otto seinen aktualisierten Schutzansatz:

  • ModSecurity: User-Agents frühzeitig blockieren.
  • Nginx: bekannte Bots direkt mit HTTP 403 oder durch Verbindungsabbruch abweisen.
  • Firewall und GeoIP: problematische IP-Netze und gegebenenfalls Länder sperren.
  • Nginx limit_req: besonders intensive Anfragen einzelner IPs begrenzen.
Er weist ausdrücklich darauf hin, dass Bots mit wechselnden IP-Adressen und unauffälligen Browserkennungen die schwierigsten Fälle sind.

favicons

XenDACH - Die deutschsprachige XenForo-Community


Das passt zu unserer Logauswertung mit den zahlreichen IP-Adressen aus Hosting- und Proxy-Netzwerken.

Für MySite.de ist insbesondere limit_req beziehungsweise eine vergleichbare serverseitige HTTP-Ratenbegrenzung interessant. Ob Hetzner diese Funktion auf unserem Managed Server anbietet, ist allerdings noch offen. Genau deshalb war unsere Supportanfrage sinnvoll.
Zum Vergrößern anklicken....
Nachfolgend meine aktuelle Htaccess (relevante Auszüge):

Code: 
# =====================================================================
# MYSITE.DE - BOT- UND CRAWLER-SCHUTZ
# AKTUALISIERTE BOT- UND CRAWLER-SCHUTZVERSION MIT CHROME-HEADER-PRUEFUNG
# Stand: 10.10.2026
# =====================================================================
# WICHTIGE HINWEISE
#
# Dies ist ausschliesslich der Bot- und Crawler-Schutz-Ausschnitt
# meiner .htaccess, nicht die vollstaendige Serverkonfiguration.
#
# Die Regeln wurden speziell fuer die Zugriffsmuster meines
# XenForo-Forums erstellt und sollten nicht ungeprueft auf
# andere Websites uebernommen werden.
#
# Insbesondere die Chrome-Header-Pruefung in Abschnitt 0C
# kann unter bestimmten Umstaenden auch legitime Browser
# (z. B. WebViews oder Browser mit Datenschutzeinstellungen)
# blockieren.
#
# Vor dem Einsatz unbedingt die bestehende .htaccess sichern
# und die Erreichbarkeit der Website testen.
# =====================================================================
# =====================================================================
#
# Grundprinzip:
# - .htaccess blockiert nur noch eindeutig identifizierbare Bots/Crawler.
# - Nur eng begrenzte Chrome-Header-Heuristik neu aktiv (Abschnitt 0C).
# - Auffaellige Fake-Browser / Proxy-Automation wird nur mit eng geprueften Regeln behandelt.
#
# =====================================================================

<IfModule mod_rewrite.c>
    RewriteEngine On

    # =================================================================
    # 0. GEZIELTE IP-NETZSPERREN - 10.10.2026
    # 15 auffaellige /24-Netze aus dem Access-Log vom 09.10.2026
    # Zusaetzliche 43.173.173-178: Tencent/Aceville AS132203, SG
    # =================================================================
    RewriteCond %{REMOTE_ADDR} ^43\.173\.(17[3-9]|18[0-2])\.[0-9]{1,3}$ [OR]
    RewriteCond %{REMOTE_ADDR} ^43\.172\.(19[4-8])\.[0-9]{1,3}$
    RewriteRule ^ - [F,L]



    # =================================================================
    # 0A. SCHUTZ INTERNER XENFORO-VERZEICHNISSE - 10.10.2026
    # Keine legitimen oeffentlichen Webpfade; direkte HTTP-Zugriffe sperren.
    # =================================================================
    RewriteRule ^(internal_data|src)(/|$) - [F,L,NC]

    # =================================================================
    # 0B. HOST-PRUEFUNG - VORBEREITET, NICHT AKTIV
    # Erst nach Pruefung aller verwendeten Hostnamen aktivieren.
    # RewriteCond %{HTTP_HOST} !^(www\.)?mysite\.de(?::[0-9]+)?$ [NC]
    # RewriteRule ^ - [F,L]

    # =================================================================
    # 0C. BROWSER-IMITATION: HEADER-PRUEFUNG (XENFORO THREAD S. 86)
    # Stand: 10.10.2026. Nur angebliche Chrome-Desktop/Android-Browser.
    # Echte Browser-Sonderfaelle (WebViews, Privacy-Tools) sind moeglich.
    # XF-Cookies ausnehmen; Cookies sind kein sicherer Bot-Nachweis.
    # =================================================================
    RewriteCond %{HTTP_COOKIE} !(^|;[[:space:]]*)xf_(user|session)= [NC]
    RewriteCond %{HTTP_USER_AGENT} Chrome/1 [NC]
    RewriteCond %{HTTP:Sec-CH-UA} ^$
    RewriteRule ^ - [F,L]

    # =================================================================
    # 0D. WEITERE THREAD-HEURISTIKEN (NOCH NICHT AKTIV)
    # Firefox/Safari ohne Sec-Fetch-Mode bzw. Accept-Language:
    # Risiko fuer echte Browser mit Datenschutz-Erweiterungen.
    # Zunaechst Header-Logging bei Hetzner abwarten.
    # =================================================================

    # =================================================================
    # 1. EINDEUTIGER MASSEN-CRAWLER AUS DEN ACCESS-LOGS
    # =================================================================
    #
    # Sehr auffälliges, massiv verteiltes Profil aus den Logs.
    # Diese Signatur kann weiterhin vor XenForo abgefangen werden.
    #
    # =================================================================

    RewriteCond %{HTTP_USER_AGENT} "Nexus 5 Build/MRA58N" [NC]
    RewriteCond %{HTTP_USER_AGENT} "Chrome/65\.0\.3325\.181" [NC]
    RewriteRule ^ - [F,L]


    # =================================================================
    # 2. KI-/AI-CRAWLER
    # =================================================================

    RewriteCond %{HTTP_USER_AGENT} "(GPTBot|ChatGPT-User|OAI-SearchBot|ClaudeBot|claude-web|anthropic-ai|PerplexityBot|Perplexity-User|Bytespider|CCBot|Meta-ExternalAgent|meta-externalagent|meta-webindexer|MistralAI-User|DeepSeekBot|Google-CloudVertexBot)" [NC]
    RewriteRule ^ - [F,L]


    # =================================================================
    # 3. APPLE-CRAWLER
    # =================================================================
    #
    # Bewusst komplett blockiert.
    #
    # =================================================================

    RewriteCond %{HTTP_USER_AGENT} "(Applebot|Applebot-Extended)" [NC]
    RewriteRule ^ - [F,L]


    # =================================================================
    # 4. AMAZONBOT
    # =================================================================

    RewriteCond %{HTTP_USER_AGENT} "Amazonbot" [NC]
    RewriteRule ^ - [F,L]


    # =================================================================
    # 5. UM-IC / UBERMETRICS
    # =================================================================

    RewriteCond %{HTTP_USER_AGENT} "um-IC" [NC]
    RewriteRule ^ - [F,L]


    # =================================================================
    # 6. SEO-, DATA-MINING- UND MASSEN-CRAWLER
    # =================================================================

    RewriteCond %{HTTP_USER_AGENT} "(AhrefsBot|AhrefsSiteAudit|SemrushBot|MJ12bot|DotBot|BLEXBot|DataForSeoBot|Dataprovider\.com|SearchmetricsBot|SiteExplorer|linkdexbot|ZoominfoBot|PetalBot|Baiduspider|Sogou|YandexBot|SeznamBot|coccocbot)" [NC]
    RewriteRule ^ - [F,L]


# =================================================================
# 7. WEITERE EINDEUTIG IDENTIFIZIERTE CRAWLER
# =================================================================

RewriteCond %{HTTP_USER_AGENT} "(ReflectionBot|AionBot|QlyzeBot|AteveSearchSourceUrlDiscovery|trendictionbot|SemanticVisionsBot|SERankingBacklinksBot|SeekportBot|Diffbot|ExaSearchBot|YaK/|webzio|GenomeCrawler|MachineWitnessBot|Barkrowler|ForumSpider|ShapBot|Scrapy)" [NC]
RewriteRule ^ - [F,L]


    # =================================================================
    # 8. WEITERE UNERWUENSCHTE CRAWLER
    # =================================================================

    RewriteCond %{HTTP_USER_AGENT} "(archive\.org_bot|ia_archiver|Nutch|Feedly|Inoreader|Krzana|LexxeBot|CipaCrawler|EasouSpider|GarlikCrawler|PaperLiBot|SurveyBot|DeuSu|Dispatch|Mail\.RU_Bot|Mail\.RU)" [NC]
    RewriteRule ^ - [F,L]


    # =================================================================
    # 8A. TEST - AUFFAELLIGE WHATS-NEW PROXY-/BROWSER-AUTOMATION
    # =================================================================
    #
    # Datenbasis: Access-Log 23.09.2026
    #
    # Blockiert AUSSCHLIESSLICH:
    # - numerische XenForo-URLs /whats-new/posts/<ID>/
    # - ohne HTTP-Referrer
    # - Desktop Chrome 148, 149 oder 150
    # - Windows 10 oder macOS 10.15.7
    #
    # KEINE allgemeine Chrome-Sperre.
    # KEINE allgemeine /whats-new-Sperre.
    #
    # =================================================================

    RewriteCond %{REQUEST_URI} ^/whats-new/posts/[0-9]+/?$ [NC]
    RewriteCond %{HTTP_REFERER} ^$
    RewriteCond %{HTTP_USER_AGENT} "Chrome/(148|149|150)\." [NC]
    RewriteCond %{HTTP_USER_AGENT} "(Windows NT 10\.0|Macintosh; Intel Mac OS X 10_15_7)" [NC]
    RewriteRule ^ - [F,L]


    # =================================================================
    # 9. OPTIONAL - AUTOMATISIERTE SCRIPT-CLIENTS
    # =================================================================
    #
    # Weiterhin bewusst DEAKTIVIERT.
    #
    # RewriteCond %{HTTP_USER_AGENT} "(python-httpx|aiohttp|python-requests|Go-http-client|libwww-perl)" [NC]
    # RewriteRule ^ - [F,L]


</IfModule>

Die letzten Eingriffe/Änderungen (10.10.26) haben dann den Bot-Ansturm bei über 100k gestoppt und zwischenzeitlich auf knapp 3k gedrückt.
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Zurück
Oben