Das Wichtigste in Kürze
- robots.txt steuert, was gecrawlt wird – nicht, was im Index landet; um eine Seite aus der Suche herauszuhalten, brauchst du noindex oder einen Zugriffsschutz.
- Ein rel=canonical im head, 301-Weiterleitungen und Sitemap-Einträge sind Signale für die bevorzugte URL und sollten sich nicht widersprechen.
- Google empfiehlt JSON-LD für strukturierte Daten, garantiert aber keine Rich Results.
- Crawl-Budget ist nach Googles Angaben vor allem für sehr große oder sehr häufig aktualisierte Websites ein Thema.
Was technisches SEO umfasst
Technisches SEO ist alles, was Suchmaschinen den Zugriff auf deine Inhalte und das Verständnis davon erleichtert: Crawling, Indexierung, saubere URLs, korrekte Statuscodes, Duplikatbehandlung, strukturierte Daten und eine Seitenstruktur, die sich über Links erschließen lässt. Mit Texten und Keywords hat das erst einmal nichts zu tun – ohne diese Basis nützen aber auch die besten Inhalte wenig, wenn Google sie nicht abrufen oder nicht indexieren kann.
Der Weg einer URL läuft in drei Stufen: Google entdeckt sie (meist über Links oder eine Sitemap), ruft sie ab und rendert sie, und entscheidet dann, ob sie in den Index kommt. An jeder Stelle kannst du etwas falsch konfigurieren. Die folgenden Abschnitte gehen die Stellschrauben in dieser Reihenfolge durch. Wie du das alles systematisch prüfst, steht im SEO-Audit Schritt für Schritt.
Crawling steuern: robots.txt
Die robots.txt liegt im Root der jeweiligen Host-Domain (zum Beispiel /robots.txt), ist eine UTF-8-Textdatei und sagt Crawlern, welche URLs sie abrufen dürfen. Jeder Host – auch jede Subdomain – braucht eine eigene Datei.
User-agent: *
Disallow: /warenkorb/
Disallow: /intern/
Allow: /intern/presse/
Sitemap: https://www.example.com/sitemap.xmlJede Gruppe beginnt mit User-agent, darunter stehen Allow- und Disallow-Regeln. Pfade beginnen mit /, bei Regeln gilt Groß- und Kleinschreibung, * dient als Platzhalter. Die Sitemap-Zeile verlangt eine vollständige URL.
Auch CSS- und JavaScript-Dateien solltest du nur dann sperren, wenn die Darstellung der Seite dadurch nicht wesentlich leidet. Google braucht diese Ressourcen, um Seiten so zu sehen wie ein Nutzer.
robots.txt oder noindex?
Beide Mittel lösen unterschiedliche Probleme:
| Ziel | Mittel | Wichtig |
|---|---|---|
| URLs gar nicht erst abrufen lassen (z. B. Filterkombinationen) | Disallow in der robots.txt |
Die URL kann trotzdem indexiert werden, wenn sie verlinkt ist |
| Eine abrufbare Seite aus dem Index halten | noindex (Meta-Tag oder HTTP-Header) |
Die Seite darf nicht per robots.txt gesperrt sein, sonst wird das noindex nie gelesen |
| Nicht-HTML-Dateien (PDF, Bilder) aus dem Index halten | X-Robots-Tag: noindex im Header |
Wird serverseitig gesetzt |
So sieht ein noindex aus:
<meta name="robots" content="noindex">Für Dateien ohne HTML-Kopf sendest du den Header X-Robots-Tag: noindex. Eine noindex-Regel innerhalb der robots.txt unterstützt Google nicht. Und: Setze noindex nicht ein, um Crawling zu steuern – Google ruft die Seite dann trotzdem ab und verwirft sie anschließend.
Canonical-Tags und Duplicate Content
Duplicate Content entsteht schnell: dieselbe Seite mit und ohne www, mit Tracking-Parametern, per HTTP und HTTPS oder über mehrere Kategoriepfade. Google fasst solche Varianten zusammen und wählt eine kanonische URL. Du kannst diese Wahl beeinflussen, und zwar in absteigender Stärke über:
- 301-Weiterleitungen von den Duplikaten auf die bevorzugte URL
rel="canonical"im<head>der Seite- Sitemap-Einträge der bevorzugten URLs (schwächstes Signal)
<head>
<link rel="canonical" href="https://www.example.com/schuhe/laufschuhe/" />
</head>Praktische Regeln aus Googles Dokumentation: Gib eine absolute URL an, setze einen selbstreferenzierenden Canonical auf die bevorzugte Seite selbst, verlinke intern auf die kanonische Variante und halte die Signale konsistent. Der Canonical wird nur im <head> ausgewertet. Ein noindex ist dagegen ausdrücklich kein Mittel, um innerhalb der eigenen Website eine kanonische Variante zu bestimmen, weil die Seite komplett aus der Suche verschwindet.
Duplicate Content ist nach Googles SEO-Starter-Guide kein Spam-Verstoß und wird nicht „bestraft“. Das Problem ist ein anderes: Google crawlt unnötig viele URLs und wählt womöglich eine Variante als kanonisch, die du nicht wolltest. Bei Online-Shops ist das ein Dauerthema – mehr dazu im Beitrag zu E-Commerce-SEO.
XML-Sitemaps
Eine Sitemap ist eine Liste der URLs, die Google kennen soll. Sie ersetzt keine interne Verlinkung, hilft aber beim Entdecken. Nach Googles Angaben ist sie vor allem bei großen Websites, neuen Websites mit wenigen externen Links und Websites mit vielen Medien- oder News-Seiten nützlich; bei etwa 500 Seiten oder weniger und guter interner Verlinkung ist sie meist verzichtbar.
Die wichtigsten Regeln:
- Eine Sitemap darf höchstens 50 MB (unkomprimiert) oder 50.000 URLs enthalten; darüber hinaus teilst du auf und verknüpfst per Sitemap-Index.
- Die Datei muss UTF-8-kodiert sein, URLs müssen vollständig und absolut sein.
- Nimm nur die kanonischen URLs auf, die du in der Suche sehen willst – keine Weiterleitungen, keine noindex-Seiten.
lastmodnutzt Google nur, wenn es nachweislich stimmt (letzte wesentliche Änderung).priorityundchangefreqignoriert Google.
<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
<url>
<loc>https://www.example.com/schuhe/laufschuhe/</loc>
<lastmod>2026-11-10</lastmod>
</url>
</urlset>Die meisten Content-Management-Systeme erzeugen Sitemaps automatisch. Reiche sie in der Search Console ein und kontrolliere dort, welche URLs tatsächlich indexiert werden.
Statuscodes und Weiterleitungen
Der HTTP-Statuscode verrät Google, was mit einer URL los ist. Laut Google-Dokumentation gilt:
| Code | Wirkung |
|---|---|
| 200 | Inhalt wird weiterverarbeitet; Indexierung ist damit nicht garantiert |
| 301, 308 | Starkes Signal, dass das Ziel die bevorzugte URL ist |
| 302, 303, 307 | Schwaches Signal; die Ausgangs-URL bleibt eher bestehen |
| 404, 410 | URL wird (falls indexiert) aus dem Index entfernt; Google behandelt beide gleich |
| 5xx, 429 | Google drosselt das Crawling; dauerhafte Fehler führen zum Verlust indexierter URLs |
Googlebot folgt standardmäßig bis zu zehn Weiterleitungsschritten. Halte Ketten deshalb kurz und leite direkt auf das Ziel. Serverseitige Weiterleitungen sind laut Google die bevorzugte Variante; JavaScript-Weiterleitungen sind ein letzter Ausweg, weil das Rendering scheitern kann.
Crawl-Budget: wann es wirklich zählt
Crawl-Budget meint die URLs, die Google abrufen kann und will. Nach Googles Angaben müssen sich damit vor allem Websites mit über einer Million Seiten und wöchentlichen Änderungen, Websites mit über 10.000 Seiten und täglichen Änderungen oder Websites mit vielen Einträgen im Status „Gefunden – zurzeit nicht indexiert“ beschäftigen. Die meisten kleinen Websites müssen sich keine Sorgen machen.
Wo es relevant wird, helfen diese Hebel:
- Duplikate zusammenführen und Soft-404-Seiten beheben
- unwichtige URLs (Sortierungen, Filter) per robots.txt sperren
- Weiterleitungsketten verkürzen
- Sitemaps aktuell halten, Antwortzeiten verbessern
Nicht sinnvoll ist, noindex als Crawling-Bremse zu nutzen oder die robots.txt kurzfristig umzubauen, um „Budget freizumachen“.
Seitenarchitektur und interne Links
Google entdeckt Seiten hauptsächlich über Links. Ein Link muss ein <a>-Element mit href sein, damit er zuverlässig gefunden wird. Klick-Handler auf <span> oder <a> ohne echte URL gelten als unzuverlässig. Jede Seite, die indexiert werden soll, braucht mindestens einen Link von einer anderen Seite – andernfalls ist sie eine „verwaiste“ Seite.
Unsere Empfehlung: Halte wichtige Seiten über wenige Klicks von der Startseite erreichbar, nutze beschreibende Linktexte statt „hier klicken“ und verlinke thematisch verwandte Beiträge im Fließtext. Die URL-Struktur selbst ist für Google dagegen weniger entscheidend als die tatsächliche Verlinkung.
Strukturierte Daten
Strukturierte Daten beschreiben Inhalte in einem maschinenlesbaren Format. Google unterstützt JSON-LD, Microdata und RDFa und empfiehlt JSON-LD, weil es sich am einfachsten umsetzen und pflegen lässt. Das Markup muss zu den sichtbaren Inhalten der Seite passen. Rich Results sind trotz korrektem Markup nie garantiert.
<script type="application/ld+json">
{
"@context": "https://schema.org",
"@type": "Organization",
"name": "Beispiel GmbH",
"url": "https://www.example.com/",
"logo": "https://www.example.com/logo.png"
}
</script>Die Feature-Galerie von Google nennt unter anderem Article, Breadcrumb, Event, Job Posting, Local Business, Organization, Product, Recipe, Review Snippet, Video und weitere. Prüfen kannst du das Markup mit dem Rich-Results-Test; die Rich-Result-Berichte der Search Console zeigen später, ob Fehler auftreten. Typische Anwendungen findest du im Beitrag zu Local SEO (LocalBusiness) und zu E-Commerce-SEO (Product).
hreflang für mehrsprachige Websites
Hast du Varianten für verschiedene Sprachen oder Regionen, kennzeichnest du sie mit hreflang. Es gibt drei gleichwertige Methoden: <link>-Tags im Head, HTTP-Header oder XML-Sitemap. Die Regeln im Überblick:
- Jede Version listet sich selbst und alle anderen Versionen.
- Verweise müssen gegenseitig sein: Zeigt A auf B, muss B auf A zeigen.
x-defaultbestimmt die Fallback-Seite, etwa eine Länderauswahl.- Codes bestehen aus einer Sprache (ISO 639-1), optional gefolgt von einer Region (ISO 3166-1 Alpha 2), zum Beispiel
de-AT. Eine Region allein ist ungültig.
<link rel="alternate" hreflang="de-DE" href="https://example.com/de/" />
<link rel="alternate" hreflang="de-AT" href="https://example.com/at/" />
<link rel="alternate" hreflang="x-default" href="https://example.com/" />JavaScript-Rendering
Google verarbeitet JavaScript in drei Schritten: Crawling, Rendering mit einem headless Chromium und Indexierung des gerenderten HTML. Das Rendering kann verzögert stattfinden. Daraus ergeben sich praktische Regeln:
- Setze Canonical und Robots-Meta nach Möglichkeit direkt im ausgelieferten HTML. Ein
noindexim Original-HTML lässt sich nicht zuverlässig per JavaScript entfernen. - Nutze für Navigation die History API statt URL-Fragmente.
- Gib bei Fehlern in Single-Page-Apps sinnvolle Statuscodes zurück oder blende auf Fehlerseiten ein noindex ein, damit keine Soft-404-Seiten entstehen.
- Googles Dokumentation empfiehlt weiterhin serverseitiges Rendering oder Pre-Rendering, weil es Nutzer und Crawler schneller beliefert.
Mit dem URL-Inspection-Tool der Search Console siehst du das gerenderte HTML so, wie Google es sieht.
Page Experience nicht vergessen
Ladezeit, Reaktionsfähigkeit und visuelle Stabilität gehören ebenfalls zur technischen Basis. Welche Messwerte Google dafür heranzieht und wie du sie verbesserst, erklärt der Beitrag zu den Core Web Vitals.
Häufige Fehler
- noindex-Seiten zusätzlich in der robots.txt sperren, sodass das noindex unlesbar wird
- Sitemaps mit Weiterleitungen, noindex-Seiten oder Fehlerseiten befüllen
- Canonical-Tags, die auf eine andere Variante zeigen als die Sitemap
- Staging-Einstellungen (noindex, Disallow: /) versehentlich live schalten
- Links nur per JavaScript-Klick-Handler umsetzen
- hreflang ohne Rückverweise
So gehst du vor
- robots.txt und Sitemap-Verweis prüfen
- Page-Indexing-Bericht der Search Console auf ungewollte Ausschlüsse durchsehen
- Statuscodes und Weiterleitungsketten testen
- Canonicals und interne Links auf eine bevorzugte URL ausrichten
- Strukturierte Daten validieren
- Bei internationalen Websites hreflang auf Gegenseitigkeit prüfen
Häufige Fragen
Was ist der Unterschied zwischen robots.txt und noindex?
Die robots.txt legt fest, welche URLs ein Crawler abrufen darf. Ein noindex-Hinweis sagt Suchmaschinen, dass eine abgerufene Seite nicht in den Index soll. Blockierst du eine Seite per robots.txt, kann der Crawler das noindex gar nicht lesen.
Brauche ich eine XML-Sitemap?
Nach Googles Dokumentation ist sie bei kleinen, gut intern verlinkten Websites mit etwa 500 Seiten oder weniger meist nicht nötig. Bei großen oder neuen Websites mit wenigen externen Links hilft sie beim Entdecken von URLs.
Ist doppelter Inhalt ein Verstoß gegen Googles Richtlinien?
Nach Googles SEO-Starter-Guide ist Duplicate Content bei nicht manipulativer Nutzung kein Spam-Verstoß und führt zu keiner „Strafe“. Er verschwendet aber Crawling-Ressourcen und kann dazu führen, dass Google eine andere URL als Canonical wählt als du.
Quellen
- Introduction to robots.txt Google Search Central · abgerufen am 16. November 2026
- How to specify a canonical URL with rel="canonical" and other methods Google Search Central · abgerufen am 16. November 2026
- How HTTP status codes, and network and DNS errors affect Google Search Google Search Central · abgerufen am 16. November 2026
- Build and submit a sitemap Google Search Central · abgerufen am 16. November 2026
- Introduction to structured data markup in Google Search Google Search Central · abgerufen am 16. November 2026