XF2.2 Extreme Zugriffe ... was ist da los? Wie Bots aussperren?

[smallwheels]

Oft kann man sagen - you get what you pay for.

Sorry, aber das ist Käse. Das, was Anthony da kostenlos abgeliefert hat und das Level an detailliertem und promptem Support bekommst Du bei den meisten AddOn Autoren nicht mal im Ansatz, auch nicht bei teuren Add Ons.

Die Bad Boys besser direkt und nachhaltig mit ModSecurity, Firewall und Fail2Ban beglücken - wenn du dort gescheite Regeln aufstellst, hälst du dir einiges an Unkraut draußen.

Aber nicht das, was Bot Guard ausfiltern kann und genau das ist das, was das Add On interessant macht - bevorzugt als Ergänzung zu anderen Maßnahmen.

 

[otto]

Bei einem meiner 6 Foren:


Aber wie geschrieben, kloppe ich da schon vorab einiges weg mit GeoIP-Blocking, ModSec, Firewall und Fail2Ban - ohne die erste Server seitige Hürde sehe das ganz anders aus.

 

[otto]

Sorry, aber das ist Käse. Das, was Anthony da kostenlos abgeliefert hat und das Level an detailliertem und promptem Support bekommst Du bei den meisten AddOn Autoren nicht mal im Ansatz, auch nicht bei teuren Add Ons.

Na da haste das aber mal 1A ausm Kontext gerissen - ich bezog mich auf den Server, den letzten Abschnitt vor meinem Post und nicht explizit auf das Addon. Meine Güte aber auch... Wie du siehst, nutz ich das selber seit etlichen Versionen und hab auch nicht geschrieben es sei Scheiße oder teuer. Bitte unterstell dann auch nicht sowas - danke.

 

[otto]

Aber nicht das, was Bot Guard ausfiltern kann und genau das ist das, was das Add On interessant macht - bevorzugt als Ergänzung zu anderen Maßnahmen.

Bot Guard - das hast du doch selber festgestellt, kann auch an den Ressourcen nagen. Keiner schrieb es sei nicht hilfreich, aber warum willst du die ganze Welle der Bots bis ans Forum ran lassen, wenn du vorab Server seitige Brecher einbauen kannst. Und da er ja nen eigenen Server hatte/haben wird, ist das doch nicht von der Hand zu weisen - meinste nicht?

Bei mir sind es aktuell 6 Foren und 8 Seiten (teils Wordpress) - ich denke da kannst du mir schon bisl vertrauen, wenn ich für meine Projekte Bot Guard nur noch zum Sahne abschöpfen nutze und das Grobe vorab mit zentraleren Mitteln davon abhalte Bot Guard zu belästigen.

Das man nie 100% der Bots erwischen wird, weil sich immer weniger davon an die Regeln halten ist klar, aber wenn ich z.B. ein Forum rein für einen eingeschränkten Kreis an Ländern betreibe, dann kann ich Botschleudern (Regionen/Länder) auch direkt blocken um die Last zu senken und dank Fail2Ban in Kombination mit der Firewall auch gern etwas nachhaltiger.


Um es noch mal deutlichst zu sagen:
Bot Guard ist schon gut, aber auch gerade für Laien unübersichtlich. Super Sache das er es kostenlos anbietet und ich nutz es auch ganz gern und wenn ich keine Andere Möglichkeit hätte, dann auch als fast einzige Maßnahme - besser wie nichts.
Aber wenn ich Server Zugriff habe, hielte ich es für verwerflich, auf die Bordmittel zu verzichten.

In diesem Sinne - denke wir sind uns zumindest einig das Bots die unsere Server sinnlos belasten und Inhalte ungefragt komerziell nutzen einfach mal entbehrlich sind und ausgesperrt gehören. Klar nicht alle Bots, aber erschreckend viele. Unfair ist eben, das sich immer mehr Bots als normale Gäste tarnen - so was sollte unter Strafe stehen, es kostet unsere Ressourcen.

 

[smallwheels]

Na da haste das aber mal 1A ausm Kontext gerissen - ich bezog mich auf den Server, den letzten Abschnitt vor meinem Post und nicht explizit auf das Addon. Meine Güte aber auch...

Damit klar ist, worauf Du Dich beziehst haben die Forengötter die Zitatfunktion erfunden. Wenn Du die nicht nutzt brauchst Du Dich nicht beschweren (ausser bei Dir selbst), wenn jemand Deine Äusserungen nicht in Deinem Sinne versteht.

warum willst du die ganze Welle der Bots bis ans Forum ran lassen, wenn du vorab Server seitige Brecher einbauen kannst.

Dass es mit dem Leseverständnis bei Dir nicht allzu weit her ist hast Du schon oft genug gezeigt, das musst Du nicht jedes mal auf's Neue tun. Oder warum behauptest Du ich hätte das Gegenteil von dem geraten, was ich gesagt habe (und auch selbst nutze)?

es steht bei mir in dritter Reihe der Verteidigungslinien, entsprechend kommt vergleichsweise wenig Traffic dort an (grob zwischen 10 und 60% des kompletten Traffics, abhängig von der Botaktivität im jeweiligen Zeitraum) und was dort ankommt bekomme ich mit meinem derzeitigen Vorgehen auf anderen Wegen nicht weiter ausgefiltert.

bei mir also ziemlich wenig Load, durch geringen Traffic einerseits und durch ziemlich rabiates Filtern des Traffics, bevor er bei Botguard ankommt, andererseits.

In Summe finde ich es durchaus nützlich und würde dazu raten, durch sinnvolle Vorfilterung dafür zu sorgen, dass möglichst wenig überhaupt bei dem Add On ankommt

Bot Guard ist schon gut, aber auch gerade für Laien unübersichtlich.

Für Laien gibt es die bamperleeinfachen Assistenten zur Einstellung. Da ist eigentlich nichts unübersichtlich dran. Ob Laien überhaupt an Netzwerksachen rumdiltettieren sollten, wenn sie keine Ahnung davon haben, was sie tun, ist eine andere Frage.

ich nutz es auch ganz gern und wenn ich keine Andere Möglichkeit hätte, dann auch als fast einzige Maßnahme - besser wie nichts.
Aber wenn ich Server Zugriff habe, hielte ich es für verwerflich, auf die Bordmittel zu verzichten.

Ich halte in der Situation "shared hosting" das Add On "IP Threat Monitor" für wesentlich wirksamer und sowohl effektiver wie auch effizienter als Bot Guard - passende Situation vorausgesetzt. Auch das hat den architektonischen Nachteil, direkt an XF angeflanscht zu sein mit Effekten für Load und DB Grösse. Es ist aber wesentlich transparenter und einfacher konfigurierbar. Aber halt dumm. Die Kombination aus beiden Add Ons funktioniert bei mir hervorragend. Bis eine wirksame Konfiguration für Threat Monitor steht dauert es aber eine ganze Weile und man muss viel Zeit investieren - dann ist es aber ziemlich rock solid, gerade bei einem regionalen Forum, wenn man auf Länder und ASNs filtern kann ohne die legitimen Nutzer zu beeinträchtigen. Kann man das nicht ist der Nutzen limitiert. Bot Guard knuspert dann noch Teile des verbleibenden Rests weg - was bei mir im Wesentlichen resident Proxies aus Clientnetzwerken aus Ländern sind, die ich nicht sperren kann bzw. will.

 

[otto]

OK, du bist offenbar auf Krawall gebürstet und/oder dir ist langweilig... akzeptiere ich.
Aber ich bin für so einen präpupertären Zank-Kindergarten mittlerweile zu alt und zu lange dabei, als mich da weiter drauf einzulassen.

 

[smallwheels]

du bist offenbar auf Krawall gebürstet

Du bist lustig: Postest steile Statements ohne klaren Bezug und beschwerst Dich dann, wenn der Bezug missverstanden wird. Unterstellst mir Aussagen, die ich nie getroffen habe (sondern das exakte Gegenteil davon und zwar mehrfach, sogar in dem Teil meines Posts, den Du gequotet hast) und wenn man Dich fragt, was das soll beschwerst Du Dich, ich sei "auf Krawall gebürstet". Du bist lustig. Nicht.

 

[Silmarillion]

Ich habe gerade knapp 100k Hurensohn-Bots in der Gästeliste online... (absoluter Rekord!)

Der "Rekord" lag gestern noch bei 20k.

Änderungen in der htaccess haben bislang nichts bewirkt.

Anmerkung: ich nutze seit knapp einem Monat einen Managed-Server bei Hetzner und die neueste XF-Version.

Bei Ionos hatte ich in all den Jahren zuvor niemals ein solch extrem hohes Aufkommen.

 

[otto]

Denke das werden auch massivst AI-Trainingsdatenbots sein, getarnt als normale Nutzer, mit ständig wechselnden IPs.
Eigentlich steht hier im Thema schon alles drinn, was man tun kann, was man sollte und wo die Grenzen des vertretbaren sind.

Was konkret an Gegenmaßnahmen hast du denn aktuell laufen und wie konfiguriert?

Bin auch bei Hetzner, schon einige Jahre und mit aktuell 7 Xenforo Foren und locker noch mal sovielen Wordpress Installationen. Bei mir ist bis dato alles halbwegs ruhig, allerdings fahr ich schon ein breites Gegenmaßnahmenprogramm, nach dem es mich im August auch mal erwischt hatte mit unzähligen "Gastzugriffen".

 

[Silmarillion]

Denke das werden auch massivst AI-Trainingsdatenbots sein, getarnt als normale Nutzer, mit ständig wechselnden IPs.
Eigentlich steht hier im Thema schon alles drinn, was man tun kann, was man sollte und wo die Grenzen des vertretbaren sind.

Was konkret an Gegenmaßnahmen hast du denn aktuell laufen und wie konfiguriert?

Bin auch bei Hetzner, schon einige Jahre und mit aktuell 7 Xenforo Foren und locker noch mal sovielen Wordpress Installationen. Bei mir ist bis dato alles halbwegs ruhig, allerdings fahr ich schon ein breites Gegenmaßnahmenprogramm, nach dem es mich im August auch mal erwischt hatte mit unzähligen "Gastzugriffen".

Servus, Otto.

Ich arbeite natürlich mit KI und diese teilte mir zu diesem Thread hier Folgendes mit:

2. Die JavaScript-Challenge von Kirby ist interessant, aber nicht risikofrei​

In Beitrag #29 stellt Kirby eine einfache Schutzlösung vor, die ohne Cloudflare auskommt:

• Auffällige Besucher werden auf eine Prüfseite umgeleitet.
• JavaScript setzt ein Cookie.
• Besucher mit diesem Cookie dürfen anschließend normal auf das Forum zugreifen.

Das Verfahren soll insbesondere einfache Bots aussortieren, die kein JavaScript ausführen. Kirby bezeichnet es ausdrücklich als einfache Lösung ohne Erfolgsgarantie.

XenDACH - Die deutschsprachige XenForo-Community


Meine Bewertung: Für MySite.de ist die Idee technisch interessant, weil die Prüfung vor der eigentlichen XenForo-Seitenverarbeitung stattfinden kann. Die vorgeschlagene Umsetzung verwendet allerdings PHP für die Prüfseite und kann legitime Besucher mit deaktiviertem JavaScript oder Cookies ausschließen. Außerdem ist ein einfaches Cookie für fortgeschrittene Bots leicht nachzuahmen.

Ich würde diesen Code deshalb nicht unverändert übernehmen.

3. Der wichtigste technische Beitrag stammt von „otto“​

In Beitrag #34 vom 24. August 2026 beschreibt otto seinen aktualisierten Schutzansatz:

• ModSecurity: User-Agents frühzeitig blockieren.
• Nginx: bekannte Bots direkt mit HTTP 403 oder durch Verbindungsabbruch abweisen.
• Firewall und GeoIP: problematische IP-Netze und gegebenenfalls Länder sperren.
• Nginx limit_req: besonders intensive Anfragen einzelner IPs begrenzen.

Er weist ausdrücklich darauf hin, dass Bots mit wechselnden IP-Adressen und unauffälligen Browserkennungen die schwierigsten Fälle sind.

XenDACH - Die deutschsprachige XenForo-Community


Das passt zu unserer Logauswertung mit den zahlreichen IP-Adressen aus Hosting- und Proxy-Netzwerken.

Für MySite.de ist insbesondere limit_req beziehungsweise eine vergleichbare serverseitige HTTP-Ratenbegrenzung interessant. Ob Hetzner diese Funktion auf unserem Managed Server anbietet, ist allerdings noch offen. Genau deshalb war unsere Supportanfrage sinnvoll.

Nachfolgend meine aktuelle Htaccess (relevante Auszüge):

# =====================================================================
# MYSITE.DE - BOT- UND CRAWLER-SCHUTZ
# AKTUALISIERTE BOT- UND CRAWLER-SCHUTZVERSION MIT CHROME-HEADER-PRUEFUNG
# Stand: 10.10.2026
# =====================================================================
# WICHTIGE HINWEISE
#
# Dies ist ausschliesslich der Bot- und Crawler-Schutz-Ausschnitt
# meiner .htaccess, nicht die vollstaendige Serverkonfiguration.
#
# Die Regeln wurden speziell fuer die Zugriffsmuster meines
# XenForo-Forums erstellt und sollten nicht ungeprueft auf
# andere Websites uebernommen werden.
#
# Insbesondere die Chrome-Header-Pruefung in Abschnitt 0C
# kann unter bestimmten Umstaenden auch legitime Browser
# (z. B. WebViews oder Browser mit Datenschutzeinstellungen)
# blockieren.
#
# Vor dem Einsatz unbedingt die bestehende .htaccess sichern
# und die Erreichbarkeit der Website testen.
# =====================================================================
# =====================================================================
#
# Grundprinzip:
# - .htaccess blockiert nur noch eindeutig identifizierbare Bots/Crawler.
# - Nur eng begrenzte Chrome-Header-Heuristik neu aktiv (Abschnitt 0C).
# - Auffaellige Fake-Browser / Proxy-Automation wird nur mit eng geprueften Regeln behandelt.
#
# =====================================================================

<IfModule mod_rewrite.c>
    RewriteEngine On

    # =================================================================
    # 0. GEZIELTE IP-NETZSPERREN - 10.10.2026
    # 15 auffaellige /24-Netze aus dem Access-Log vom 09.10.2026
    # Zusaetzliche 43.173.173-178: Tencent/Aceville AS132203, SG
    # =================================================================
    RewriteCond %{REMOTE_ADDR} ^43\.173\.(17[3-9]|18[0-2])\.[0-9]{1,3}$ [OR]
    RewriteCond %{REMOTE_ADDR} ^43\.172\.(19[4-8])\.[0-9]{1,3}$
    RewriteRule ^ - [F,L]



    # =================================================================
    # 0A. SCHUTZ INTERNER XENFORO-VERZEICHNISSE - 10.10.2026
    # Keine legitimen oeffentlichen Webpfade; direkte HTTP-Zugriffe sperren.
    # =================================================================
    RewriteRule ^(internal_data|src)(/|$) - [F,L,NC]

    # =================================================================
    # 0B. HOST-PRUEFUNG - VORBEREITET, NICHT AKTIV
    # Erst nach Pruefung aller verwendeten Hostnamen aktivieren.
    # RewriteCond %{HTTP_HOST} !^(www\.)?mysite\.de(?::[0-9]+)?$ [NC]
    # RewriteRule ^ - [F,L]

    # =================================================================
    # 0C. BROWSER-IMITATION: HEADER-PRUEFUNG (XENFORO THREAD S. 86)
    # Stand: 10.10.2026. Nur angebliche Chrome-Desktop/Android-Browser.
    # Echte Browser-Sonderfaelle (WebViews, Privacy-Tools) sind moeglich.
    # XF-Cookies ausnehmen; Cookies sind kein sicherer Bot-Nachweis.
    # =================================================================
    RewriteCond %{HTTP_COOKIE} !(^|;[[:space:]]*)xf_(user|session)= [NC]
    RewriteCond %{HTTP_USER_AGENT} Chrome/1 [NC]
    RewriteCond %{HTTP:Sec-CH-UA} ^$
    RewriteRule ^ - [F,L]

    # =================================================================
    # 0D. WEITERE THREAD-HEURISTIKEN (NOCH NICHT AKTIV)
    # Firefox/Safari ohne Sec-Fetch-Mode bzw. Accept-Language:
    # Risiko fuer echte Browser mit Datenschutz-Erweiterungen.
    # Zunaechst Header-Logging bei Hetzner abwarten.
    # =================================================================

    # =================================================================
    # 1. EINDEUTIGER MASSEN-CRAWLER AUS DEN ACCESS-LOGS
    # =================================================================
    #
    # Sehr auffälliges, massiv verteiltes Profil aus den Logs.
    # Diese Signatur kann weiterhin vor XenForo abgefangen werden.
    #
    # =================================================================

    RewriteCond %{HTTP_USER_AGENT} "Nexus 5 Build/MRA58N" [NC]
    RewriteCond %{HTTP_USER_AGENT} "Chrome/65\.0\.3325\.181" [NC]
    RewriteRule ^ - [F,L]


    # =================================================================
    # 2. KI-/AI-CRAWLER
    # =================================================================

    RewriteCond %{HTTP_USER_AGENT} "(GPTBot|ChatGPT-User|OAI-SearchBot|ClaudeBot|claude-web|anthropic-ai|PerplexityBot|Perplexity-User|Bytespider|CCBot|Meta-ExternalAgent|meta-externalagent|meta-webindexer|MistralAI-User|DeepSeekBot|Google-CloudVertexBot)" [NC]
    RewriteRule ^ - [F,L]


    # =================================================================
    # 3. APPLE-CRAWLER
    # =================================================================
    #
    # Bewusst komplett blockiert.
    #
    # =================================================================

    RewriteCond %{HTTP_USER_AGENT} "(Applebot|Applebot-Extended)" [NC]
    RewriteRule ^ - [F,L]


    # =================================================================
    # 4. AMAZONBOT
    # =================================================================

    RewriteCond %{HTTP_USER_AGENT} "Amazonbot" [NC]
    RewriteRule ^ - [F,L]


    # =================================================================
    # 5. UM-IC / UBERMETRICS
    # =================================================================

    RewriteCond %{HTTP_USER_AGENT} "um-IC" [NC]
    RewriteRule ^ - [F,L]


    # =================================================================
    # 6. SEO-, DATA-MINING- UND MASSEN-CRAWLER
    # =================================================================

    RewriteCond %{HTTP_USER_AGENT} "(AhrefsBot|AhrefsSiteAudit|SemrushBot|MJ12bot|DotBot|BLEXBot|DataForSeoBot|Dataprovider\.com|SearchmetricsBot|SiteExplorer|linkdexbot|ZoominfoBot|PetalBot|Baiduspider|Sogou|YandexBot|SeznamBot|coccocbot)" [NC]
    RewriteRule ^ - [F,L]


# =================================================================
# 7. WEITERE EINDEUTIG IDENTIFIZIERTE CRAWLER
# =================================================================

RewriteCond %{HTTP_USER_AGENT} "(ReflectionBot|AionBot|QlyzeBot|AteveSearchSourceUrlDiscovery|trendictionbot|SemanticVisionsBot|SERankingBacklinksBot|SeekportBot|Diffbot|ExaSearchBot|YaK/|webzio|GenomeCrawler|MachineWitnessBot|Barkrowler|ForumSpider|ShapBot|Scrapy)" [NC]
RewriteRule ^ - [F,L]


    # =================================================================
    # 8. WEITERE UNERWUENSCHTE CRAWLER
    # =================================================================

    RewriteCond %{HTTP_USER_AGENT} "(archive\.org_bot|ia_archiver|Nutch|Feedly|Inoreader|Krzana|LexxeBot|CipaCrawler|EasouSpider|GarlikCrawler|PaperLiBot|SurveyBot|DeuSu|Dispatch|Mail\.RU_Bot|Mail\.RU)" [NC]
    RewriteRule ^ - [F,L]


    # =================================================================
    # 8A. TEST - AUFFAELLIGE WHATS-NEW PROXY-/BROWSER-AUTOMATION
    # =================================================================
    #
    # Datenbasis: Access-Log 23.09.2026
    #
    # Blockiert AUSSCHLIESSLICH:
    # - numerische XenForo-URLs /whats-new/posts/<ID>/
    # - ohne HTTP-Referrer
    # - Desktop Chrome 148, 149 oder 150
    # - Windows 10 oder macOS 10.15.7
    #
    # KEINE allgemeine Chrome-Sperre.
    # KEINE allgemeine /whats-new-Sperre.
    #
    # =================================================================

    RewriteCond %{REQUEST_URI} ^/whats-new/posts/[0-9]+/?$ [NC]
    RewriteCond %{HTTP_REFERER} ^$
    RewriteCond %{HTTP_USER_AGENT} "Chrome/(148|149|150)\." [NC]
    RewriteCond %{HTTP_USER_AGENT} "(Windows NT 10\.0|Macintosh; Intel Mac OS X 10_15_7)" [NC]
    RewriteRule ^ - [F,L]


    # =================================================================
    # 9. OPTIONAL - AUTOMATISIERTE SCRIPT-CLIENTS
    # =================================================================
    #
    # Weiterhin bewusst DEAKTIVIERT.
    #
    # RewriteCond %{HTTP_USER_AGENT} "(python-httpx|aiohttp|python-requests|Go-http-client|libwww-perl)" [NC]
    # RewriteRule ^ - [F,L]


</IfModule>

Die letzten Eingriffe/Änderungen (10.10.26) haben dann den Bot-Ansturm bei über 100k gestoppt und zwischenzeitlich auf knapp 3k gedrückt.

 

[Hohleweg]

... was stört den mehr

Gäste oder Robots
(Robots ca. 40 Stück und ca. 5570 Gäste)

und wer sind die Gäste??

 

[Silmarillion]

... was stört den mehr

Gäste oder Robots
(Robots ca. 40 Stück und ca. 5570 Gäste)

und wer sind die Gäste??

Anhang anzeigen 12807

Servus Joachim.

Mich stören die bösen/schädlichen/unnützen/content-klauenden/traffic-verursachenden Bots - nichts anderes. Gestern waren in den Spitze über 100k gleichzeitig in der Onlineliste. Ich habe dann die Reißleine gezogen, auch wenn die KI stets versucht suuuuper vorsichtig vorzugehen und bloß keine echten User oder gute Bots auszuschließen...

Ergebnis: von 100k auf zwischenzeitlich 2,5k runter. Hat also direkt und massiv etwas gebracht. Was haben wir getan: asiatische Netze großzügig ausgesperrt. Ich brauche/habe keine echten Besucher/Mitglieder aus Asien, Amerika etc....ergo nehme ich da zukünftig auch keinerlei Rücksicht mehr.

Hier die Log-Auswertug NACH dem Extrem-Ansturm und den htaccess-Änderungen:

Ergebnis der Log-Auswertung​

10.10.2026 · ab 12:22 Uhr bis Mitternacht

HTTP-Anfragen

658.155​

Unterschiedliche IPs

198.928​

HTTP 403

95.425​

Das auffälligste Ergebnis: Die verbliebene Aktivität stammt nicht überwiegend von klassischen Bots, die sich als solche zu erkennen geben. Sehr viele Zugriffe verwenden gewöhnliche Chrome-, Safari- oder Firefox-Kennungen. Gerade darin liegt die Schwierigkeit, automatisierte Anfragen zuverlässig von echten Besuchern zu unterscheiden.

Besonders auffällige IP-Netze​

IP-Bereich	Anfragen nach 12:22 Uhr	Davon 403
87.83.12.*	15.710	2.642
146.103.54.*	14.918	2.498
87.85.235.*	14.650	2.544
87.86.188.*	14.476	2.427
87.82.253.*	14.284	2.420
87.84.208.*	13.777	2.329
46.18.90.*	13.175	2.318
162.141.68.*	12.970	2.209

Diese acht /24-Netze verursachten zusammen 113.960 Anfragen – rund 17,3 % aller Zugriffe im untersuchten Zeitraum.

Die ähnlichen Zugriffszahlen und 403-Anteile sind auffällig und können auf koordinierte Automatisierung hindeuten. Sie beweisen aber noch nicht, dass alle Anfragen aus diesen Netzen Bots sind.

Was die acht Netzwerke besonders verdächtig macht​

Die vertiefte Prüfung zeigt ein bemerkenswert einheitliches Muster:

• Pro Netzwerk sind ungefähr 240 bis 250 verschiedene IP-Adressen aktiv.
• Überall dominiert derselbe Linux-Chrome-User-Agent: Chrome/146.0.0.0.
• Die Netzwerke laden in auffällig ähnlicher Häufigkeit dieselben CSS-, JavaScript-, Schrift- und Logo-Dateien.
• Das Muster wiederholt sich über mehrere voneinander getrennte IP-Bereiche.

Das spricht stärker für koordinierte, browserähnliche Automatisierung als die reinen Anfragezahlen.

Daneben fallen zwei weitere Gruppen auf:

Bekannte Suchmaschinen-Crawler: Im untersuchten Zeitraum gab es 1.806 HTTP-403-Antworten mit Googlebot-Kennung und 2.061 mit Bingbot-Kennung. Diese Kennungen sind noch kein Identitätsnachweis. Die Googlebot-Problematik bleibt deshalb ein eigener Prüfpunkt.

Einzelne sehr aktive IP-Adressen: Beispielsweise erzeugte 217.232.229.12 allein 21.489 Anfragen. Darunter befinden sich viele Firefox-Zugriffe auf XenForo-Dateien und den Service Worker. Das ist ungewöhnlich viel, kann aber auch durch wiederholte Browseraktivitäten entstehen. Ich würde diese Adresse keinesfalls ohne weitere Prüfung sperren.

Ergebnis: Die acht auffälligen Netzwerke gehören tatsächlich zusammen​

Ich habe die Netzbetreiber recherchiert und die Zugriffsmuster direkt mit unserem Access-Log vom 10. Oktober abgeglichen.

Der entscheidende Fund: Alle acht untersuchten IP-Netze werden demselben autonomen System zugeordnet: AS401560 – OneCable Network LLC. Das bestätigen die BGP-Daten und Netzverzeichnisse.

WorldIP.io
+2


Das erklärt, warum wir in acht scheinbar unterschiedlichen Netzwerken nahezu identische Zugriffsmuster beobachten.

IP-Netz	Anfragen am 10.10.	Aktive IPs
87.83.12.0/24	43.894	255
146.103.54.0/24	42.546	254
87.85.235.0/24	42.979	254
87.86.188.0/24	42.886	254
87.82.253.0/24	42.365	254
87.84.208.0/24	40.672	255
46.18.90.0/24	40.046	254
162.141.68.0/24	41.406	254
Gesamt	336.794	2.034

Die Anfragezahlen stammen aus dem hochgeladenen Access-Log, die ASN-Zuordnung aus öffentlichen Netzverzeichnissen.

Das sind rund 15,5 % sämtlicher HTTP-Anfragen des Tages, verursacht durch nur acht /24-Netzwerke.

Was verraten die Zugriffsmuster?​

Die Log-Analyse zeigt vier besonders aussagekräftige Merkmale:

1. Fast vollständige Nutzung der IP-Bereiche: Je Netzwerk sind 254 oder 255 Adressen aktiv. Das ist für gewöhnliche Besucher eines deutschsprachigen Fußballforums höchst ungewöhnlich.
2. Nahezu identische Browserkennung: Über 80 % der Anfragen in jedem dieser Netze verwenden denselben Linux-User-Agent mit Chrome/146.0.0.0.
3. Auffällig gleichförmige Seitenabrufe: Die Netze laden XenForo-JavaScript, CSS, Schriftdateien, Logos und Webmanifest in nahezu identischen Verhältnissen.
4. Synchroner zeitlicher Verlauf: In allen acht Netzen brechen die Zugriffe um 13 Uhr stark ein, steigen ab 14 Uhr erneut an und enden im vorliegenden Log nach 18 Uhr.

Zeitlicher Verlauf aller acht Netzwerke zusammen


Das ist ein starkes Indiz für eine koordinierte, automatisierte Zugriffsinfrastruktur. Ein endgültiger Nachweis der dahinterstehenden Organisation oder ihres Zwecks ist es nicht. Der gemeinsame Netzbetreiber bedeutet auch nicht zwangsläufig, dass alle Anfragen vom selben Auftraggeber stammen.

Wer steckt hinter OneCable?​

OneCable Network LLC ist als US-amerikanischer Netzbetreiber unter AS401560 registriert. Die einzelnen IP-Blöcke sind teilweise anderen Organisationen beziehungsweise privaten Kunden zugeordnet. Beispielsweise finden sich Einträge zu Equidity Technologies und Internet Utilities Europe and Asia.

Ipregistry
+1


Das ist mit einer vermieteten Proxy- oder Hosting-Infrastruktur vereinbar, belegt aber noch keinen konkreten Proxy-Dienst.

 

[Hohleweg]

Hallo
Ich habe diese Seite gefunden:

Webrobots von A-Z - WebRobots

webrobots.de

dort sind alle Bots aufgelistet mit weiteren Infos!

wenn ich zum Beispiel den nicht haben möchte


reicht es wirklich das in die robots.txt einzufügen

User-agent: facebot
Disallow: /

was ja viel einfacher wäre als das komplexe in der .htaccess

habs getestet und NEIN in der robots.txt reicht es nicht

Gruß Joachim

 

[smallwheels]

Gäste oder Robots
(Robots ca. 40 Stück und ca. 5570 Gäste)

und wer sind die Gäste??

Scrapingbots.

dort sind alle Bots aufgelistet mit weiteren Infos!

alle sicher nicht. Solche Botverzeichnisse gibt es einige, andere sind mE besser als dieses.

wenn ich zum Beispiel den nicht haben möchte


reicht es wirklich das in die robots.txt einzufügen

Für den vielleicht (angeblich respektiert er die robots.txt), insgesamt klar nein.