XF2.3 [Interessenabfrage] LinkGuard – Eigenständiges Anti-Spam-Add-on für XenForo 2.3

[spiderman]

Hallo zusammen,

ich entwickle aktuell ein eigenes Anti-Spam-Add-on für XenForo 2.3 mit dem Namen LinkGuard.

Die Idee entstand durch wiederkehrende Werbebeiträge in meinem eigenen Forum. Dabei geht es weniger um klassische Spam-Bots, sondern vor allem um Benutzer, die sich registrieren und teilweise erst nach längerer Zeit Beiträge mit versteckten Werbelinks, SEO-Backlinks oder themenfremden Empfehlungen veröffentlichen.

Da die vorhandenen Spam-Schutzfunktionen solche Beiträge nicht immer zuverlässig erkennen, habe ich begonnen, eine eigene Erweiterung zu entwickeln.

Aktueller Entwicklungsstand: LinkGuard v1.3.1 Beta 1

Das Add-on läuft derzeit unter XenForo 2.3.6 und wird auf meinem Forum im Livebetrieb getestet.

Was LinkGuard bisher kann​

• Neue Themen und Antworten auf verdächtige externe Links untersuchen.
• Nachträglich bearbeitete Beiträge erneut prüfen.
• Auch ältere Benutzerkonten berücksichtigen.
• Versteckte Werbung, SEO-Linkbuilding und typische Backlink-Muster erkennen.
• XenForo-BBCode-Links analysieren.
• Externe Domains anhand konfigurierbarer Regeln bewerten.
• Vertrauenswürdige Domains über eine Whitelist ausnehmen.
• Auffällige Domains gezielt beobachten.
• Eine Spam-Bewertung anhand verschiedener Erkennungsmerkmale vergeben.
• Bereits vorhandene Forenbeiträge über einen historischen Scan untersuchen.
• Historische Prüfungen in kleinen Stapeln mit Fortschrittsanzeige durchführen.
• Verdächtige Beiträge direkt im Administrationsbereich anzeigen.
• Treffer mit den Status „Offen“, „Spam bestätigt“ oder „Kein Spam“ bewerten.
• Benutzerprofile und betroffene Beiträge direkt aufrufen.

Das System arbeitet aktuell vollständig ohne externe API oder Cloud-Dienst. Die Analyse erfolgt auf dem eigenen Server.

Bisherige Erfahrungen​

Auf meinem Forum habe ich den historischen Scan bereits mit dem vorhandenen Beitragsbestand getestet.

Dabei wurden 20 Treffer erfasst, einschließlich zweier eigens angelegter Testbeiträge.

Besonders interessant war, dass das Add-on auch ältere Beiträge mit versteckten Werbelinks gefunden hat. Gleichzeitig gab es Fehlalarme bei technischen Beiträgen, die zahlreiche externe Quellen enthielten.

Genau an dieser Unterscheidung arbeite ich derzeit.

Was noch geplant ist​

• Weitere Reduzierung von Fehlalarmen.
• Bessere Erkennung wiederholter Werbemuster.
• Übersicht über mehrfach auffällige Benutzer.
• Konfigurierbare Erkennungsregeln für unterschiedliche Forenthemen.
• Optionales Zurückhalten verdächtiger Beiträge zur manuellen Moderation.
• Benachrichtigung betroffener Benutzer mit Verweis auf die Forenregeln.
• Deutsche und englische Sprachdateien.
• Universelle Nutzung auf unterschiedlichen XenForo-Foren.

Automatische Löschungen und Benutzersperren sind aktuell bewusst nicht Bestandteil der aktiven Erkennung.

Jetzt würde mich eure Meinung interessieren​

Besteht grundsätzlich Interesse an einem solchen Add-on?

Mich würden insbesondere folgende Punkte interessieren:

1. Welche Arten von Spam bereiten euch in euren Foren die größten Probleme?
2. Welche Funktionen würdet ihr von einem Anti-Spam-Add-on erwarten?
3. Wäre euch eine rein lokale Spam-Erkennung ohne externe Dienste wichtig?
4. Würdet ihr eine automatische Moderation bevorzugen oder lieber zunächst einen reinen Beobachtungsmodus?
5. Welche Funktionen oder Verbesserungen fehlen euch bei den vorhandenen XenForo-Spam-Schutzmöglichkeiten?

Mein Ziel ist, LinkGuard langfristig zu einer eigenständigen, universell einsetzbaren XenForo-Erweiterung weiterzuentwickeln.

Eine öffentliche Testversion gibt es aktuell noch nicht. Zunächst möchte ich Erfahrungen und Wünsche aus der Community sammeln, bevor ich eine Version für andere Foren bereitstelle.

Ich freue mich über konstruktive Kritik, technische Anregungen und eure Einschätzungen.

Viele Grüße

 

[otto]

Was LinkGuard bisher kann​

• Neue Themen und Antworten auf verdächtige externe Links untersuchen.
• Nachträglich bearbeitete Beiträge erneut prüfen.
• Auch ältere Benutzerkonten berücksichtigen.
• Versteckte Werbung, SEO-Linkbuilding und typische Backlink-Muster erkennen.
• XenForo-BBCode-Links analysieren.
• Externe Domains anhand konfigurierbarer Regeln bewerten.
• Vertrauenswürdige Domains über eine Whitelist ausnehmen.
• Auffällige Domains gezielt beobachten.
• Eine Spam-Bewertung anhand verschiedener Erkennungsmerkmale vergeben.
• Bereits vorhandene Forenbeiträge über einen historischen Scan untersuchen.
• Historische Prüfungen in kleinen Stapeln mit Fortschrittsanzeige durchführen.
• Verdächtige Beiträge direkt im Administrationsbereich anzeigen.
• Treffer mit den Status „Offen“, „Spam bestätigt“ oder „Kein Spam“ bewerten.
• Benutzerprofile und betroffene Beiträge direkt aufrufen.

Auf Links prüfen kann auch Xenforo, einfach frisch registrierten nicht das setzen von Links erlauben ohne das Beiträge mit Links moderiert wurden, eher diese nicht mindestens 2 Beiträge geschrieben haben und Zeit x registriert sind. Klappt eigentlich sehr zuverlässig.
Nachträglich bearbeitete Inhalte prüfen geht damit freilich nicht.
Dazu die Zensur und was Xenforo von Haus aus bietet - hab damit seit Xenforo 2.2 eigentlich nie wieder Probleme gehabt.

Welche Arten von Spam bereiten euch in euren Foren die größten Probleme?

Mittlerweile nur noch KI-Datensammler Bots, die den Server belasten.

Wäre euch eine rein lokale Spam-Erkennung ohne externe Dienste wichtig?

Nur wenn diese ebenso gut wie die Clouddienste läuft aber auch den eigenen Server nicht übermäßig belastet (das tun ja schon KI-Bots genug)

Würdet ihr eine automatische Moderation bevorzugen oder lieber zunächst einen reinen Beobachtungsmodus?

Wozu Moderation, wenn dies automatisch läuft? Entweder ne Meldung und man kanns manuell prüfen oder bei Foren mit extrem vielen neuen Beiträgen was mit gutem Regelwerk, was Abläufe automatisiert.

Welche Funktionen oder Verbesserungen fehlen euch bei den vorhandenen XenForo-Spam-Schutzmöglichkeiten?

Hmm, wenn dann ein Algorythmus, der KI-Trainingsdaten Bots mit normaler Nutzerkennung von realen menschlichen Gästen unterscheiden kann. Für alles andere gibts schon Mittel und Wege die leicht einsetzbar und bezahlbar oder kostenlos sind.


Gestatte ein paar Fragen:
Programmierst du noch klassisch oder setzt du KI-Brocken zusammen?
Oder anders, kennst du deinen Anwendungscode vollständig oder sind Teile daraus aus KI-Hand und deren wirken eine Blackbox?

Lässt sich das Addon rückstandsfrei (!!) wieder entfernen? Also löscht es dann auch Dinge die es in der Datenbank angelegt hat sowie Dateien vom Server? Oder hinterlässt es Datenmüll (wie leider nicht wenige Xenforo Add-ons)?

Wohin soll die Reise preislich gehen?

Telefoniert dein Add-on nach hause?


Und sonst so:
An sich find ich die Ideen erstmal nicht verkehrt, bin gespannt wie du das am Ende dann umgesetzt haben wirst und wie es monetarisiert wird.

 

[toffee]

KI-Datensammler Bots

Dafür würde erst einmal Anubis reichen. Und ja für Webhosting und Managed Server ist ein XF Add-on vielleicht sinnig aber es geht immer darum die Last auf dem Netzwerkstack zu nehmen damit der Server gar nicht erst anlaufen muss...

Daher sind die einzig sinnigen Lösungen
Cf
oder aber selbst richtig arbeiten mit F2B etc. Auch Anubis kann einen erheblichen teil... Nur hier stellt sich die Frage wie lange.

 

[smallwheels]

1. Welche Arten von Spam bereiten euch in euren Foren die größten Probleme?

Eigentlich gar keine. Durch diverse Massnahmen und add ons gibt es schon seit langem schlicht keine Registrierungen mehr von Spammern. Theoretisch denkbar wäre, dass sich ein Spammer aus einem erlaubten Land manuell registiert und unauffällig einen versteckten Spamlink postet bzw. innerhalb des erlaubten Editierfensters einen Link nachträglich umwandelt. Ist aber soweit bekannt alles nicht vorgekommen.
Ein einziges mal hatte ich vor Jahren den Fall, dass jemand ein einem Zitat einen Link editiert und als Backlink zu seiner Seite umgewandelt hat.
Ergo: Für mich ist Spam kein relevantes Problem.

1. Welche Funktionen würdet ihr von einem Anti-Spam-Add-on erwarten?

Was ich tatsächlich gerne hätte ist eine automatische Linksäuberung: Viele User posten ohne bösen Willen Links, die mit Trackingparamteren und/oder Affiliatecodes verseucht sind. Passiert z.B. standardmässig bei Links zu Amazon oder Aliexpress, aber auch bei vielen anderen Plattforumen und nahezu immer, wenn links über die "Teilen" Funktion einer Webseite oder App kopiert werden. Gerne auch in Form von Shortlinks über Linkshortener oder von der jeweiligen Plattform selbst erstellt, die die besagten Tracking- und Affiliateparameter erst beim Aufrufen des Links danach in der Browseradressleiste zeigen.

Ein AddOn, dass da verlässlich aufräumen würde ohne die Links zu zerstören würde ich als hilfreich erachten und installieren.

1. Wäre euch eine rein lokale Spam-Erkennung ohne externe Dienste wichtig?

ja, das wäre bevorzugt. Hängt aber auch ein bisschen von dem externen Dienst ab.

1. Würdet ihr eine automatische Moderation bevorzugen oder lieber zunächst einen reinen Beobachtungsmodus?

ein Beobachtungsmodus wäre auf jeden Fall sinnvoll und nötig, um erst mal Vertrauen zu der Lösung aufzubauen, bevor man dem Teil autonome "destruktive" Änderungserlaubnis gibt.

1. Welche Funktionen oder Verbesserungen fehlen euch bei den vorhandenen XenForo-Spam-Schutzmöglichkeiten?

siehe oben. Von Haus aus ist der Spamschutz von XF nicht besonders brilliant - sieht man ja auch daran, dass im XF eigenen Forum x-fach täglich Spampostings veröffentlicht werden, die dann händisch nachträglich entsorgt werden. Mit Hilfe von ein paar Add Ons und passender Konfiguration lässt sich das aber recht problemlos vermeiden. Hängt aber sicherlich von Grösse und Ausrichtung des Forums ab und auch davon, ob "spamintensive Länder" zum Bereich der regulären User gehören.

 

[ehd]

Das reicht bei mir zu 99%:

 

[smallwheels]

Daher sind die einzig sinnigen Lösungen
Cf
oder aber selbst richtig arbeiten mit F2B etc. Auch Anubis kann einen erheblichen teil... Nur hier stellt sich die Frage wie lange.

Das hat Beides aber mit dem geplanten Add On nicht das Geringste zu tun - oder zumindest wüsste ich nicht wie das das ggf. Nachträgliche Verändern von Links in Postings in Werbelinks verhindern können oder erkennen können sollte.

 

[Walter]

Das reicht bei mir zu 99%:

Dein regulärer Ausdruck hat ein paar Schwachstellen, zB rutscht

[url=http://spam.com]meinforum.de[/url]

durch...

 

[otto]

Das reicht bei mir zu 99%:

Und das hält Spam-Bots von Zugriffen auf deine Seiten ab? Aber darum gehts ja hier gerade - nicht so sehr um das setzen von Links, sondern um massive Seitenaufrufe.

Daher sind die einzig sinnigen Lösungen
Cf
oder aber selbst richtig arbeiten mit F2B etc

Eben - oder einfach beides kombinieren, wenn man es hat/nutzen kann, schadet auch nicht.

Seit dem Peak Mitte August, hab ichs derzeit bei meinem Server halbwegs im Griff.

ps. Heute haben hoffentlich alle PHP geupdatet... (siehe auch Email von Xenforo von heut Nachmittag 17:17 Uhr)

 

[ehd]

Und das hält Spam-Bots von Zugriffen auf deine Seiten ab? Aber darum gehts ja hier gerade - nicht so sehr um das setzen von Links, sondern um massive Seitenaufrufe.

Cloudflare bei mir.

 

[smallwheels]

Aber darum gehts ja hier gerade - nicht so sehr um das setzen von Links, sondern um massive Seitenaufrufe.

Nö, darum geht es hier gerade nicht. Vielleicht liest Du noch mal das Thema des Threads, in den Du postest. Das lautet:

[Interessenabfrage] LinkGuard – Eigenständiges Anti-Spam-Add-on für XenForo 2.3​

 

[spiderman]

Hallo zusammen,

zunächst einmal vielen Dank an alle, die sich bisher an der Diskussion beteiligt haben und ihre Erfahrungen, Fragen und Verbesserungsvorschläge eingebracht haben!

Ich möchte gerne auf die verschiedenen Punkte eingehen und gleichzeitig etwas genauer erklären, wohin die Entwicklung von LinkGuard gehen soll.

1. Warum überhaupt ein weiteres Anti-Spam-Add-on?

Ihr habt natürlich recht: XenForo bringt bereits einige gute Funktionen zur Spamabwehr mit. Gerade Einschränkungen für neue Benutzer, die Spam-Phrasen und die vorhandenen Moderationsmöglichkeiten können viele Probleme zuverlässig verhindern.

LinkGuard soll diese Funktionen deshalb nicht ersetzen, sondern sinnvoll ergänzen.

Auf meinem eigenen Forum hatte ich vor allem mit einer anderen Art von Spam zu kämpfen:

• Ältere Benutzerkonten, über die plötzlich Werbung veröffentlicht wird.
• Scheinfragen, bei denen später gezielt ein bestimmter Anbieter empfohlen wird.
• SEO-Linkbuilding und versteckte Backlinks.
• Werbung für Shops, Agenturen und Dienstleistungen.
• Nachträglich bearbeitete Beiträge, in denen Werbelinks eingefügt werden.
• Kommerzielle Werbetexte, die überhaupt keinen direkten Link enthalten.

Gerade die letzte Variante lässt sich mit einer reinen Linkprüfung nicht zuverlässig erkennen.

Mittlerweile habe ich LinkGuard deshalb um eine deutsch- und englischsprachige Inhaltsprüfung erweitert.

2. Zur Frage, ob ich klassisch programmiere oder KI verwende

Ja, ich nutze KI-Unterstützung bei der Entwicklung. Daraus mache ich auch kein Geheimnis.
Mir ist allerdings bewusst, dass KI-generierter Code Fehler enthalten kann und keinesfalls automatisch als sicher oder fehlerfrei betrachtet werden sollte.
Der vollständige PHP-Quellcode ist vorhanden und überprüfbar. Mein Ziel ist eine nachvollziehbare, wartbare Erweiterung ohne undurchsichtige Komponenten.
Deshalb gehören weitere Codeprüfungen, Sicherheits- und Funktionstests ausdrücklich zur Entwicklung, bevor ich eine öffentliche Version freigebe.

3. Telefoniert LinkGuard nach Hause?

Nein, eine solche Funktion ist nicht vorgesehen.

LinkGuard ist als lokal arbeitendes XenForo-Add-on konzipiert.
Die Erkennung und Bewertung verdächtiger Inhalte erfolgt direkt auf dem Server des jeweiligen Forums.
Es werden dafür weder eine externe KI-API noch ein Cloud-Spamdienst benötigt.
Im bisher geprüften Quellcode wurden keine offensichtlichen externen Telemetrie-, Lizenzserver- oder API-Aufrufe gefunden.
Eine automatische Übermittlung von Forenbeiträgen, Benutzerdaten oder Nutzungsstatistiken an mich als Entwickler ist nicht vorgesehen.

Vor einer öffentlichen Veröffentlichung soll zusätzlich ein Laufzeit- und Netzwerktest erfolgen, um das Verhalten auch praktisch zu überprüfen.

4. Wie sieht es mit der Serverbelastung aus?

Auch das ist ein berechtigter Punkt.
Die eigentliche Spamerkennung arbeitet derzeit mit lokalen Prüfregeln und einem Punktesystem.
Bereits vorhandene Beiträge werden über einen historischen Scan untersucht. Dieser verarbeitet die Beiträge in begrenzten Stapeln, anstatt das gesamte Forum auf einmal zu prüfen.
Zusätzlich werden Treffer in der Administration serverseitig paginiert angezeigt.
Das bedeutet allerdings nicht automatisch, dass LinkGuard bereits für jede Forengröße ausreichend optimiert ist.
Vor einer öffentlichen Veröffentlichung möchte ich deshalb auch Performance-Tests mit größeren Datenbeständen durchführen. Besonders wichtig sind mir dabei Datenbankbelastung, Arbeitsspeicher und Ausführungszeit.

5. Wird LinkGuard bei der Deinstallation vollständig entfernt?

LinkGuard besitzt bereits eine Deinstallationsroutine, die seine eigenen Datenbanktabellen entfernt.
Trotzdem möchte ich nicht behaupten, dass bereits eine vollständig rückstandsfreie Deinstallation nachgewiesen wurde.
Vor der öffentlichen Freigabe werde ich deshalb eine vollständige Neuinstallation und anschließende Deinstallation prüfen.
Dazu gehören insbesondere Datenbanktabellen, Einstellungen, Sprachphrasen, Templates und sonstige Add-on-Registrierungen.
Es soll nach der Deinstallation kein unnötiger Datenmüll zurückbleiben.

6. Beobachtungsmodus oder automatische Moderation?

Hier möchte ich bewusst beide Möglichkeiten anbieten.

Nicht jeder Forenbetreiber hat dieselben Anforderungen.
Manche möchten verdächtige Beiträge zunächst lediglich protokollieren und selbst entscheiden.
Andere möchten auffällige neue Themen und Antworten automatisch in XenForos Moderationswarteschlange zurückhalten lassen.
Beides ist in LinkGuard vorgesehen beziehungsweise bereits teilweise praktisch erprobt.
Die Schwellenwerte können angepasst werden, und verdächtige Beiträge werden anhand verschiedener Merkmale bewertet.
Eine automatische Löschung allein aufgrund eines unsicheren Verdachts ist nicht das Ziel.

Fehlalarme sollen möglichst vermieden werden.

7. Tracking- und Affiliateparameter entfernen

Den Vorschlag finde ich durchaus interessant.

Eine optionale Funktion, die unnötige Trackingparameter aus Links entfernt, könnte einen zusätzlichen Mehrwert bieten.
Wichtig wäre dabei allerdings, dass die eigentlichen Links weiterhin funktionieren und notwendige Parameter nicht versehentlich entfernt werden.
Ich würde eine solche Funktion deshalb zunächst als separates, abschaltbares Modul umsetzen und entsprechend testen.

8. Irreführende BBCode-Links

Auch der Hinweis auf BBCode-Links ist wichtig.

Beispielsweise kann ein Link im Beitrag eine vertrauenswürdige Website anzeigen, obwohl das tatsächliche Linkziel auf eine völlig andere Domain verweist.
Solche Abweichungen sollten erkannt und entsprechend bewertet werden können.
Dabei muss natürlich berücksichtigt werden, dass unterschiedliche Linktexte nicht grundsätzlich verdächtig sind.

9. KI-Crawler und Datensammler-Bots

Das ist tatsächlich ein zunehmendes Problem, gehört meiner Meinung nach aber in einen anderen technischen Bereich.
LinkGuard konzentriert sich derzeit auf verdächtige Forenbeiträge und Benutzeraktivitäten.
Die Abwehr von Crawlern, die große Mengen an Seiten abrufen und dadurch Serverlast verursachen, sollte eher durch geeignete Webserver- oder Firewall-Lösungen erfolgen.
Ich möchte LinkGuard nicht unnötig mit Funktionen überladen, die bereits von spezialisierten Lösungen besser abgedeckt werden.

10. Was kann LinkGuard aktuell?

Der derzeitige Entwicklungsstand umfasst unter anderem:

• Prüfung neuer und bearbeiteter Beiträge.
• Erkennung verdächtiger externer Links.
• Erkennung deutscher und englischer Werbemuster.
• Erkennung bestimmter Werbeformen ohne externe Links.
• Konfigurierbares Spam-Punktesystem.
• Eigene Erkennungsregeln.
• Whitelist für vertrauenswürdige Domains.
• Beobachtung bestimmter Domains.
• Automatisches Zurückhalten auffälliger neuer Inhalte.
• Historische Prüfung vorhandener Forenbeiträge.
• Administrationsdashboard und Benutzerübersicht.
• Trefferfilter und Mehrfachbearbeitung.
• CSV-Export.
• Getrennte Anzeige von Beitragszustand und Spamentscheidung.
• Optionale Regelhinweise und Wiederholungstäter-Funktionen, die noch weiter getestet werden.

Eine vollständige Gesprächsanalyse, bei der mehrere zusammenhängende Beiträge auf koordinierte Werbung untersucht werden, gehört ebenfalls zu den geplanten Erweiterungen.

11. Wie sieht es preislich aus?

Eine endgültige Entscheidung gibt es dazu noch nicht.

Aktuell steht für mich im Vordergrund, LinkGuard technisch weiterzuentwickeln, ausreichend zu testen und möglichst universell für XenForo 2.3 einsetzbar zu machen.
Ob das Add-on später kostenlos, kostenpflichtig oder in einer Kombination angeboten wird, möchte ich erst entscheiden, wenn der Funktionsumfang und die laufenden Kosten besser feststehen.

12. Wie geht es weiter?

LinkGuard befindet sich aktuell weiterhin in der Beta-Entwicklung.
Auf meinem eigenen XenForo-Forum konnte ich bereits verschiedene Funktionen praktisch testen, darunter die Spamerkennung, das Zurückhalten verdächtiger Themen und die Moderation erkannter Beiträge.
Für eine öffentliche Veröffentlichung fehlen aber noch einige wichtige Tests, insbesondere bei Sicherheit, Performance, Benachrichtigungen, automatischen Sperren und der vollständigen Deinstallation.
Ich möchte lieber etwas länger entwickeln, als eine unfertige Erweiterung als stabile Version anzubieten.

---

Abschließend nochmals vielen Dank an otto, toffee, smallwheels, ehd, Walter und alle anderen, die sich bisher beteiligt haben.
Die Rückmeldungen helfen mir dabei, die Entwicklung auf Funktionen zu konzentrieren, die tatsächlich einen Nutzen bringen.
Mir geht es nicht darum, XenForos vorhandene Möglichkeiten neu zu erfinden, sondern um eine sinnvolle Ergänzung – vor allem bei versteckter Werbung, älteren Benutzerkonten und nachträglich veränderten Beiträgen.
Weitere sachliche Kritik, Ideen und Verbesserungsvorschläge sind ausdrücklich willkommen!

Viele Grüße
Spiderman