Frage zur robots.txt

Maestro2k5

Maestro2k5

Bekanntes Mitglied
Lizenzinhaber
Registriert
28. März 2013
Beiträge
3.237
Punkte
178
XF Version
XF Instanz
Hosting
PHP-Version
8.3,x
MySQL/MariaDB
10.11.x
Provider/Hoster
Alfahosting
Hallo,

meine robots.txt sieht noch so aus:


User-agent: *
Disallow: /find-new/
Disallow: /account/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /login/
Disallow: /admin.php
Allow: /

Sitemap: https://www.android-port.de/sitemap.php
Zum Vergrößern anklicken....

Nach dem Vorbild von Xenforo.com. Die Frage ist nun muss ich eigentlich die /find-new/ z.B umbenennen wie ich es im route filter habe?
 
Zuletzt bearbeitet:
Ja, solltest du, und am besten zusätzlich.
 
so sieht das nun aus:

User-agent: *
Disallow: /find-new/
Disallow: /finde-neue/
Disallow: /account/
Disallow: /profil/
Disallow: /attachments/
Disallow: /goto/
Disallow: /posts/
Disallow: /beitraege/
Disallow: /login/
Disallow: /admin.php
Allow: /

Sitemap: https://www.android-port.de/sitemap.php
Zum Vergrößern anklicken....



Noch Vorschläge was ich daran optimieren könnte?
 
Ich bin mir nicht sicher ob dein letzter Allow Eintrag alles disallows wieder aufhebt. Ich würde das mal lieber prüfen in den Webmaster Tools.

Mit /beitraege/ schliesst du die direkt indexierung von den Beiträgen hier aus:

upload_2014-10-10_19-18-36.png

Ich glaube es war mal Matt Cutts von Google, der gesagt hat das man so wenig wie möglich in der Robots.txt sperren soll und Sachen die man nicht indexieren will lieber mit Noindex im Template ausschließen sollte.

Meine sieht so aus:

Code: 
User-agent: *
Disallow: /

User-agent: Googlebot
Disallow: /account/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /aboutus/
Disallow: /misc/contact
Disallow: /misc/
Disallow: /posts/


User-Agent: Googlebot-Mobile
Disallow: /account/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /aboutus/
Disallow: /misc/contact
Disallow: /misc/
Disallow: /posts/


User-agent: msnbot
Disallow: /account/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /aboutus/
Disallow: /misc/contact
Disallow: /misc/
Disallow: /posts/

User-agent: bingbot
Disallow: /account/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /aboutus/
Disallow: /misc/contact
Disallow: /misc/
Disallow: /posts/

User-agent: Slurp
Disallow: /account/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /aboutus/
Disallow: /misc/contact
Disallow: /misc/
Disallow: /posts/
 
Danke, das schaue ich mir nochmal an. Im Zweifelsfalls würde ich gerne teile deiner Übernehmen, bzw für mich abändern.
 
Das mit den

Disallow: /posts/
Disallow: /beitraege/


habe ich halt nur reingenomen weil ich den routefilter dazu aktiv habe.
 
ja, diese post Sachen haben mich auch genervt. Darum habe ich mir auch ein addon schreiben lassen, das die Beiträge direkt verlinkt für Gäste und Bots.
In meiner robots.txt schliesse ich erst mal alles aus und lasse dann zu, was ich will.
 
So das hier ist nun meine aktuelle.

Ob das so richtig ist, echt keine Ahnung.

User-agent: *
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-agent: Googlebot
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-Agent: Googlebot-Mobile
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-agent: msnbot
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-agent: bingbot
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-agent: Slurp
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-agent: strucr
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-agent: strucr-phone
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-agent: strucr-tablet
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

Sitemap: https://www.android-port.de/sitemap.php

so sollte es aber auch reichen oder?

User-agent: *
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

Sitemap: https://www.android-port.de/sitemap.php

Das letzte

Allow: /

sollte unwichtig sein, da ja scheinbar alles was nicht verboten ist, erlaubt ist.
 
Zuletzt bearbeitet:
Nachtrag was ich aber nicht verstehe:


Wieso steht da zugelassen, das doch eigentlich untersagt.
 

Anhänge

  • Webmaster-Tools - robots.txt-Tester - https www.android-port.de .png
    Webmaster-Tools - robots.txt-Tester - https www.android-port.de .png
    75,1 KB · Aufrufe: 22
Die Scrollbar ist lang, ich kann nicht sehen was da noch alles steht.
 
Es ist genau der Inhalt von oben:

User-agent: *
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-agent: Googlebot
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-Agent: Googlebot-Mobile
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-agent: msnbot
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-agent: bingbot
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-agent: Slurp
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-agent: strucr
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-agent: strucr-phone
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

User-agent: strucr-tablet
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt

Sitemap: https://www.android-port.de/sitemap.php
 
Gib mal nur das Verzeichnis in das Eingabefeld ein. Die Domain ist bereits vorgegeben.
Also: profil/
 
Ah alles klar, Danke euch. Dann reicht der erste Block. Könnt ich noch was optimieren?
 
Disallow: /data/
und wenn der internal_data Ordner noch original ist, dann den auch aufnehmen.
 
Daran habe ich nichts gemacht. Also nehme ich das mit auf. Aber schließt das nicht auch die Bilder aus für die Google Bildersuche? Die liege da doch mit drinne.
 
Die werden über den attachmets Controller ausgeliefert. Musst du mal in deine Sitemap schauen.
 
Ah verstehe. Danke Dir.
 
Ich würde folgendes noch an den Anfang stellen:

Code: 
User-agent: *
Disallow: /

So wie du es jetzt machst sagst du den wichtigsten Bot´s was sie tun haben.

Alle anderen, teilweise trafficsaugenden Bots, dürfen aber weiterhin tun und lassen bei dir, was sie wollen.
Irgendwie blöde oder? ;)
 
Das hatte ich aber hatte ja die sachen zusammengefügt so:

User-agent: *
Disallow: /account/
Disallow: /profil/
Disallow: /goto/
Disallow: /login/
Disallow: /admin.php
Disallow: /js/
Disallow: /help/
Disallow: /hilfe/
Disallow: /misc/
Disallow: /misc/contact
Disallow: /misc/kontakt
Disallow: /data/
Disallow: /internal_data/
Allow: /

Sitemap: https://www.android-port.de/sitemap.php
 
Du musst dich einloggen oder registrieren, um hier zu antworten.
Zurück
Oben