Ich nutze Laravel Forge während der Entwicklung von Websites und für das Hosting von Websites. Da ich teilweise Kopien von Live-Seiten unter einer Test-URL ablege, kann es zu Problemen mit der Google Indizierung (bzw. der Indizierung durch andere Suchmaschinen) kommen. Es gilt in jedem Fall zu vermeiden, dass die Kopie der Website oder der Entwicklungsstatus einer Website von Google indiziert wird.
Früher machte man dies häufig über eine robots.txt – eine kleine Datei im Root-Verzeichnis der Website, die Crawlern mitteilt, welche URLs indexiert werden dürfen und welche nicht. Allerdings gilt dieser Mechanismus nicht mehr als zuverlässig, empfohlen wird mittlerweile das Einfügen eines X-Robots-Tags in den HTTP-Header oder eines Meta-Tags in den Head-Bereich einer Website (siehe (link: https://developers.google.com/search/docs/advanced/crawling/block-indexing text: entsprechende Dokumentation von Google)). Da der Meta-Tag im Code eingefügt werden muss und eine Anpassung des Codes oftmals unerwünscht ist, ist der HTTP-Header normalerweise die „bessere“ Wahl.
Um den Header einzufügen muss die Webserver-Konfiguration angepasst werden. Laravel Forge erlaubt das einfache Bearbeiten der nginx Konfiguration von jeder Website / Webapplikation. Um auszuschließen, dass Google die Seite indexiert, muss in der nginx Konfiguration nach dem Eintrag add_header X-Frame-Options "SAMEORIGIN"; folgende Zeile hinzugefügt werden:
add_header X-Robots-Tag "noindex, nofollow, nosnippet, noarchive";Da das Ganze innerhalb des Server-Blocks in der Konfiguration eingetragen ist, werden die entsprechenden X-Robots-Tags für alle URLs ausgegeben. Google (und andere Suchmaschinen) werden somit davon abgehalten, URLs der entsprechenden Seite zu indexieren.