1. Wenn du hier im Forum ein neues Thema erstellst, sind schon Punkte aufgeführt die du ausfüllen musst. Das dient im Allgemeinen dazu die notwendigen Informationen direkt mit der Frage bereitzustellen.
    Da in letzter Zeit immer wieder gerne das Formular gelöscht wurde und erst nach 3 Seiten Nachfragen die benötigten Infos für eine Hilfe kommen, werde ich nun jede Fragestellung die nicht einmal annähernd das Formular benutzt, sofort in den Sondermüll schicken.
    Füllt einfach die abgefragte Daten aus und alle können euch viel schneller helfen.
    Information ausblenden

Suchmaschinen mittels robot.txt eingrenzen

Dieses Thema im Forum "Fehler, Fragen und Antworten" wurde erstellt von MotMann, 28. März 2012.

  1. MotMann

    MotMann Mitglied Lizenzinhaber

    HiHo...

    wie kann ich die Suchmaschinen daran hindern, bestimmte Seiten zu indexieren, damit die User vor willkürlichen Veröffentlichungen geschützt sind, wie die Mitglieder Seite, oder Impressum usw?


    Wobei ich diese php nirgends finde... müsste also anders lauten.

    ---------------------------------------------------------------------
    EDIT:

    Aktuell habe ich mal Folgendes genommen:
    Wäre das ok so, wenn ich SEO URL nutze, oder ist das nicht ausreichend? Oder muss ich die deutschen Phrasen nutzen? Fragen über Fragen ...

    Oder geht das von Seitens XF einzustellen?
    Need help :)
     
  2. MotMann

    MotMann Mitglied Lizenzinhaber

    Hallo XFler..

    ich fand mein post wieder..nix gelöscht hier. genial :)

    Um nun von dem Addon DSGVO von XenDach das Impressum durch Suchmaschinen asuzuschliessen.. muss da folgender Text in die robot.txt rein?

    Disallow: /index.php?imprint/


    Oder kann ich das jetzt in der Xf 1.5 xxx intern einstellen?

    Und was mache ich, um die Beitragsersteller und User in den Threads aus den Suchmaschinen rauszulassen?

    Wie schaut Eure robot.txt aus?
     
  3. Tamara-Jasmin

    Tamara-Jasmin Aktives Mitglied Lizenzinhaber

    Vielleicht ergibt sich hier noch was:
    Header ändern von Pages und privacy_policy

    Denn dieses Thema wurde von mir erstellt mit dem selben Hintergedanken die Rechtstexte mit dem Metatext "nofollow" zu versehen, damit die Suchmaschinen das nicht indexieren.
    Denn damit arbeiten die Abmahnanwälte.

    Bin also auch noch am suchen (hab nur wenig Zeit) - und vielleicht tut sich ja noch was ;)
    Derzeit such ich mich tot was in Pages die Anzeigebedingungen bedeuten und ob man mit der Funktion was anfangen kann.
    Vielleicht bist Du schon drauf gekommen?

    LG: Tammy
     
  4. MotMann

    MotMann Mitglied Lizenzinhaber

    Ich arbeite da mit robot.txt. Das klappte bisher woanders immer gut. Nur bei XF ist mir das noch nicht so geheuerlich.

    Hat jemand eine Idee was da rein muss? Reicht mein Eintrag aus?

    Raus sollen Userprofile
    die DSGVO
    Impressum
    kontakt
    Mitglieder
    wer antwortete und Verfasser des Beitrages
    login
    suche
    wer ist online

    etc..
     
  5. nocte

    nocte Mitglied Lizenzinhaber

    Du kannst ganze Seiten (bzw. virtuelle "Ordner") mit der robots.txt von der Indexierung ausschließen.

    Was verstehst du aber unter:
    ?

    Falls ich das richtig verstehe, versuchst du einzelne Teile einer Seite vor Suma's zu verstecken. Das geht nicht (zumindest nicht mit einer robots.txt).

    Wenn du die Benutzernamen neben den Beiträgen nicht in Google haben willst, müsstest du diese für alle Gäste ausblenden.
     
  6. Tamara-Jasmin

    Tamara-Jasmin Aktives Mitglied Lizenzinhaber

    Die Datei gehört ja eigentlich ins Root Verzeichnis. Aufgrund der XF Struktur muss ich trotzdem gerade mal fragen ob das hier auch der Fall ist, oder diese eher ins SRC Verzeichnis gehört?

    LG: Tammy
     
  7. nocte

    nocte Mitglied Lizenzinhaber

    ja, immer ins Root Verzeichnis. Sie muss via https://www.domain.tld/robots.txt aufrufbar sein. Wo anders sehen die Suchmaschinen nicht nach.
     
    Tamara-Jasmin gefällt das.
  8. otto

    otto Bekanntes Mitglied Lizenzinhaber

    Nur mal so als Randnotiz:
    Die Robots.txt ist nur eine "Empfehlung" und hat keinerlei bindenden Character bezüglich der darin enthaltenen Regeln. Will man Bots/Spider/Crawler von Seiten tatsächlich ausschließen, und zwar auch die welche die Robots.txt ignorieren oder sogar als Leitfaden für besonders interessante (weil verboten) Seiten ansehen, dann zB. bei Apache2 über eine gescheite .htaccess im Root oder ggf. in Unterverzeichnissen bzw. performantere Lösungen auf die ich hier jetzt nicht weiter eingehe.

    Die robots.txt ist für das Ranking nicht komplett unwichtig, aber zum aussperren taugt die kaum.
     
    mph gefällt das.
  9. Tamara-Jasmin

    Tamara-Jasmin Aktives Mitglied Lizenzinhaber

    Einer der Gründe warum ich die robots.txt nur selten verwendet habe und eher auf die Meta-Tags in den Seiten setze.
    Mit der .htaccess muss ich ehrlich gestehen hab ich mich in den letzten Jahren nur sehr dürftig beschäftigt und nutze gerade mal so die Grundfunktionen die in Onlineshops z.B. empfohlen werden.
    Oft kopiert man sogar nur eine Vorlage und passt die halt geringfügig an seine bedürfnisse an. Hier hätte ich mal nachholbedarf .. ja ...

    LG: Tammy
     
  10. otto

    otto Bekanntes Mitglied Lizenzinhaber

    Dringend, denn Metat-Tags können eine htaccess nicht komplett ersetzen. Und bezogen auf böse Bots bringen die auch herzlich wenig.
    Wobei wie schon angedeutet die htaccess auch ein kleiner Performance-GAU ist, dessen man sich klar ist wenn man weiß wie das System htaccess funktioniert.

    Aber dazu gibts ja unzählige Anleitungen, auch auf deutsch.
     
    Tamara-Jasmin gefällt das.
  1. Diese Seite verwendet Cookies, um Inhalte zu personalisieren, diese deiner Erfahrung anzupassen und dich nach der Registrierung angemeldet zu halten.
    Wenn du dich weiterhin auf dieser Seite aufhältst, akzeptierst du unseren Einsatz von Cookies.
    Information ausblenden