Suchmaschinen indexieren Unterseiten einer Domain normalerweise mittels des Weiterverfolgens von internen Links (Verweisen). Unterseiten, die nicht intern über einen direkten Link mit anderen indexierten Inhalten verknüpft sind, laufen Gefahr nicht indexiert zu werden. Mit Hilfe von Google Sitemaps kann die Suchmaschine darin unterstützt werden, auch diese Inhalte aufzufinden und zu indexieren.
Die Sitemap selbst wird über die robots.txt Datei bekannt gemacht. Durch einen bei Google ausgelösten http-Request kann das Crawling der Suchmaschine manuell gestartet werden. Auch über die Google Webmaster Tools kann die Google Sitemap eingereicht werden. Innerhalb der Sitemap können optional Prioritäten festgelegt werden. Mittlerweile unterstützt Google Sitemaps nicht nur URLs, sondern auch Bilder und Videos. Die Google Sitemap wird in einem XML-Format gespeichert.
Mögliche Fehler innerhalb der Sitemap werden dabei schon vor dem eigentlichen Crawling Vorgang von Google gemeldet. Google Sitemaps können auch eingesetzt werden, um neue Websites oder neu veröffentlichte Inhalte auf Unterseiten schneller von der Suchmaschine indexieren zu lassen.
Für kleinere statische Websites empfiehlt Suchmaschinen-Experte.de den Online-Generator unter https://www.xml-sitemaps.com/. Die XML-Sitemap für Google von Suchmaschinen-Experte.de ist über das WordPress-Plugin von Yoast generiert und Sie finden diese hier. Darin finden Sie eine Variante, wo anstatt alle URLs in einer Sitemap, Index-Sitemaps der verschiedenen Bereiche angelegt sind.
Die Anwendung von Google Sitemaps ersetzt nicht den Aufbau einer klaren Linkstruktur innerhalb der Website, die maßgeblichen Einfluss nicht nur auf die Indexierung der Einzeldokumente, sondern auch auf die Relevanz und Gewichtung der Inhalte hat.