Suchmaschinen mittels robot.txt eingrenzen

[MotMann]

HiHo...

wie kann ich die Suchmaschinen daran hindern, bestimmte Seiten zu indexieren, damit die User vor willkürlichen Veröffentlichungen geschützt sind, wie die Mitglieder Seite, oder Impressum usw?

User-agent: *
Disallow: /members.php

Wobei ich diese php nirgends finde... müsste also anders lauten.

---------------------------------------------------------------------
EDIT:

Aktuell habe ich mal Folgendes genommen:

User-agent: *
Disallow: /misc
Disallow: /help
Disallow: /search
Disallow: /members
Disallow: /register
Disallow: /login
Disallow: /online
Disallow: /lost-password
Disallow: /recent-activity
Disallow: /admin.php

Wäre das ok so, wenn ich SEO URL nutze, oder ist das nicht ausreichend? Oder muss ich die deutschen Phrasen nutzen? Fragen über Fragen ...

Oder geht das von Seitens XF einzustellen?
Need help

 

[MotMann]

Hallo XFler..

ich fand mein post wieder..nix gelöscht hier. genial

Um nun von dem Addon DSGVO von XenDach das Impressum durch Suchmaschinen asuzuschliessen.. muss da folgender Text in die robot.txt rein?

Disallow: /index.php?imprint/


Oder kann ich das jetzt in der Xf 1.5 xxx intern einstellen?

Und was mache ich, um die Beitragsersteller und User in den Threads aus den Suchmaschinen rauszulassen?

Wie schaut Eure robot.txt aus?

 

[Tamara-Jasmin]

Vielleicht ergibt sich hier noch was:
Header ändern von Pages und privacy_policy

Denn dieses Thema wurde von mir erstellt mit dem selben Hintergedanken die Rechtstexte mit dem Metatext "nofollow" zu versehen, damit die Suchmaschinen das nicht indexieren.
Denn damit arbeiten die Abmahnanwälte.

Bin also auch noch am suchen (hab nur wenig Zeit) - und vielleicht tut sich ja noch was
Derzeit such ich mich tot was in Pages die Anzeigebedingungen bedeuten und ob man mit der Funktion was anfangen kann.

Anzeigebedingung - Dies sollte als Ausdruck im Template-Style eingegeben werden.

Vielleicht bist Du schon drauf gekommen?

LG: Tammy

 

[MotMann]

Ich arbeite da mit robot.txt. Das klappte bisher woanders immer gut. Nur bei XF ist mir das noch nicht so geheuerlich.

Hat jemand eine Idee was da rein muss? Reicht mein Eintrag aus?

Raus sollen Userprofile
die DSGVO
Impressum
kontakt
Mitglieder
wer antwortete und Verfasser des Beitrages
login
suche
wer ist online

etc..

 

[nocte]

Du kannst ganze Seiten (bzw. virtuelle "Ordner") mit der robots.txt von der Indexierung ausschließen.

Was verstehst du aber unter:

wer antwortete und Verfasser des Beitrages

?

Falls ich das richtig verstehe, versuchst du einzelne Teile einer Seite vor Suma's zu verstecken. Das geht nicht (zumindest nicht mit einer robots.txt).

Wenn du die Benutzernamen neben den Beiträgen nicht in Google haben willst, müsstest du diese für alle Gäste ausblenden.

 

[Tamara-Jasmin]

Die Datei gehört ja eigentlich ins Root Verzeichnis. Aufgrund der XF Struktur muss ich trotzdem gerade mal fragen ob das hier auch der Fall ist, oder diese eher ins SRC Verzeichnis gehört?

LG: Tammy

 

[nocte]

Die Datei gehört ja eigentlich ins Root Verzeichnis.

ja, immer ins Root Verzeichnis. Sie muss via https://www.domain.tld/robots.txt aufrufbar sein. Wo anders sehen die Suchmaschinen nicht nach.

 

[otto]

Nur mal so als Randnotiz:
Die Robots.txt ist nur eine "Empfehlung" und hat keinerlei bindenden Character bezüglich der darin enthaltenen Regeln. Will man Bots/Spider/Crawler von Seiten tatsächlich ausschließen, und zwar auch die welche die Robots.txt ignorieren oder sogar als Leitfaden für besonders interessante (weil verboten) Seiten ansehen, dann zB. bei Apache2 über eine gescheite .htaccess im Root oder ggf. in Unterverzeichnissen bzw. performantere Lösungen auf die ich hier jetzt nicht weiter eingehe.

Die robots.txt ist für das Ranking nicht komplett unwichtig, aber zum aussperren taugt die kaum.

 

[Tamara-Jasmin]

Einer der Gründe warum ich die robots.txt nur selten verwendet habe und eher auf die Meta-Tags in den Seiten setze.
Mit der .htaccess muss ich ehrlich gestehen hab ich mich in den letzten Jahren nur sehr dürftig beschäftigt und nutze gerade mal so die Grundfunktionen die in Onlineshops z.B. empfohlen werden.
Oft kopiert man sogar nur eine Vorlage und passt die halt geringfügig an seine bedürfnisse an. Hier hätte ich mal nachholbedarf .. ja ...

LG: Tammy

 

[otto]

Dringend, denn Metat-Tags können eine htaccess nicht komplett ersetzen. Und bezogen auf böse Bots bringen die auch herzlich wenig.
Wobei wie schon angedeutet die htaccess auch ein kleiner Performance-GAU ist, dessen man sich klar ist wenn man weiß wie das System htaccess funktioniert.

Aber dazu gibts ja unzählige Anleitungen, auch auf deutsch.