Technisches SEO: die Checkliste für Crawling, Indexierung und Ladezeit

Technisches SEO ist der Teil der Suchmaschinenoptimierung, den niemand sieht, solange er funktioniert. Fehlt er, helfen die besten Texte nichts: Seiten werden nicht indexiert, laden zu langsam oder verschwinden nach einem Relaunch aus der Suche. Wir haben das an unserer eigenen alten Website erlebt. Rund 80 Adressen, die früher Besucher brachten, liefen nach Umbauten ins Leere.

Diese Checkliste ist nach Wichtigkeit sortiert. Ihr könnt sie mit der Google Search Console und einem Crawler wie Screaming Frog oder Sistrix selbst abarbeiten.

Technisches SEO: Was dazugehört und wann es zuerst dran ist

Technisches SEO sorgt dafür, dass Suchmaschinen eure Seiten finden (Crawling), aufnehmen (Indexierung), schnell ausliefern und richtig einordnen. Seit 2025 kommt eine zweite Gruppe von Lesern dazu: die Crawler von ChatGPT, Claude und Perplexity, die Antworten aus euren Seiten bauen.

Zuerst dran ist Technik in drei Fällen: vor und nach einem Relaunch, wenn Seiten trotz guter Inhalte nicht ranken, und wenn die Search Console viele Seiten als „nicht indexiert“ meldet.

1. Crawling und Indexierung

• robots.txt prüfen. Sie liegt unter eure-domain.de/robots.txt und sagt Crawlern, welche Bereiche sie nicht besuchen sollen. Ein vergessenes Disallow: / aus der Entwicklungsphase sperrt die ganze Seite. Das passiert öfter, als man denkt.
• XML-Sitemap einreichen. Sie listet alle Seiten, die in die Suche sollen, und nur diese. Weitergeleitete, gesperrte oder doppelte Adressen haben darin nichts verloren. Reicht sie in der Search Console ein.
• Seitenbericht der Search Console lesen. Unter „Seiten“ steht, welche Adressen nicht indexiert sind und warum. „Gecrawlt, zurzeit nicht indexiert“ heißt meist: Google hält die Seite für zu dünn oder doppelt.
• Canonicals setzen. Gibt es denselben Inhalt unter mehreren Adressen, etwa mit Filterparametern im Shop, zeigt das Canonical-Tag auf die Hauptadresse.
• noindex gezielt einsetzen. Danke-Seiten, interne Suchergebnisse und Login-Bereiche gehören nicht in den Index.

2. KI-Crawler zulassen und bedienen

Wenn ihr in Antworten von ChatGPT, Claude und Gemini vorkommen wollt, müssen deren Crawler eure Seite lesen dürfen. Die wichtigsten Einträge für die robots.txt:

Viele Websites sperren pauschal alle KI-Bots und wundern sich später, warum sie in KI-Antworten fehlen. Ihr könnt Training ablehnen und die Suche trotzdem zulassen.

Der zweite Punkt ist JavaScript. Eine Auswertung von Vercel zeigt, dass die großen KI-Crawler kein JavaScript ausführen. Googlebot rendert JavaScript, die Crawler von OpenAI und Anthropic nicht. Alles, was erst im Browser zusammengebaut wird, Texte in Reitern, nachgeladene Produktlisten, Preise, fehlt in deren Sicht. Prüft das, indem ihr eine Seite mit ausgeschaltetem JavaScript öffnet. Was dann fehlt, sollte serverseitig ins HTML.

Warum das für eure Sichtbarkeit in KI-Antworten zählt, erklärt unser Beitrag SEO und GEO.

3. Ladezeit und Core Web Vitals

Google misst die Nutzererfahrung mit drei Werten aus echten Seitenaufrufen. Sie haben sich seit März 2024 nicht geändert:

• LCP (Largest Contentful Paint): Wann ist das größte Element sichtbar, meist das Titelbild? Gut: höchstens 2,5 Sekunden.
• INP (Interaction to Next Paint): Wie schnell reagiert die Seite auf Klicks und Eingaben? Gut: höchstens 200 Millisekunden.
• CLS (Cumulative Layout Shift): Wie stark springt das Layout beim Laden? Gut: höchstens 0,1.

Ihr findet die Werte in der Search Console unter „Core Web Vitals“ und für einzelne Seiten in PageSpeed Insights. Die Maßnahmen, die in unseren Projekten fast immer am meisten bringen:

1. Bilder verkleinern und als WebP oder AVIF ausliefern, mit festen Breiten und Höhen gegen springende Layouts.
2. Das Titelbild früh laden (fetchpriority="high") und alle Bilder weiter unten erst bei Bedarf (loading="lazy").
3. Schriften lokal einbinden und auf zwei, drei Schnitte begrenzen. Das hilft auch beim Datenschutz.
4. Skripte ausmisten. Jeder Chat, jedes Tracking und jedes Slider-Plugin kostet Reaktionszeit. Was nicht gebraucht wird, fliegt raus, der Rest lädt verzögert.
5. Caching und komprimierte Auslieferung einschalten, bei WordPress über ein Caching-Plugin oder den Server.
6. Einen schnellen Server wählen, bei Bedarf mit CDN. Günstiges Shared Hosting ist oft der eigentliche Engpass.

Die Core Web Vitals sind ein Signal unter vielen. Eine schnelle Seite mit schwachem Inhalt rankt nicht. Bei zwei gleich guten Seiten gewinnt aber oft die schnellere, und Besucher springen bei langsamen Seiten nachweislich häufiger ab.

4. Mobil und responsiv

Google bewertet seit Oktober 2023 alle Websites nach ihrer mobilen Fassung. Was auf dem Smartphone fehlt, zählt nicht. Prüft deshalb:

• Ist auf dem Handy derselbe Inhalt da wie am Desktop, inklusive Überschriften und strukturierter Daten?
• Sind Schrift und Schaltflächen groß genug, ohne zu zoomen?
• Läuft nichts seitlich aus dem Bild?

Responsives Webdesign löst das mit einem Layout, das sich an jede Bildschirmbreite anpasst. Eigene Mobilseiten unter m.-Adressen braucht heute niemand mehr.

5. Struktur, Adressen und interne Links

• Sprechende Adressen ohne Datum und Parameter: /journal/technisches-seo/ statt /2022/11/14/?p=123.
• Flache Struktur: Jede wichtige Seite ist mit höchstens drei Klicks von der Startseite erreichbar.
• Interne Links mit beschreibendem Linktext verbinden verwandte Seiten. „Hier klicken“ sagt Google nichts.
• HTTPS überall, und jede http-Adresse leitet mit 301 auf die https-Fassung.
• Eine Hauptdomain: mit oder ohne www, die andere leitet weiter.
• Eine hilfreiche 404-Seite, die zur Suche und zu den wichtigsten Bereichen führt.

6. Relaunch ohne Rankingverlust

Die meisten Rankings gehen bei Relaunches verloren, nicht durch Updates. Der Grund ist fast immer derselbe: alte Adressen, die nicht weitergeleitet werden. Für unsere eigene neue Website haben wir deshalb jede alte Adresse aus Sitemap und Search Console gesammelt und einem neuen Ziel zugeordnet, insgesamt 531 Einträge.

So geht ihr vor:

1. Alle alten Adressen sammeln: aus der Sitemap, der Search Console und einem Crawl der alten Seite.
2. Jeder Adresse ein inhaltlich passendes neues Ziel geben, direkt und ohne Kette über mehrere Weiterleitungen.
3. Mit 301 weiterleiten. Nur was es wirklich nicht mehr gibt, bekommt 410.
4. Nach dem Livegang jede alte Adresse einmal abrufen und vier Wochen lang den Bericht „Nicht gefunden (404)“ in der Search Console beobachten.

7. Strukturierte Daten

Strukturierte Daten (Schema.org als JSON-LD) beschreiben Inhalte maschinenlesbar: Organisation, Artikel, Produkt, Veranstaltung, Stellenanzeige. Google nutzt sie für hervorgehobene Ergebnisse, etwa Sterne, Preise oder Termine. Ein eigenes Schema für KI-Antworten gibt es laut Google nicht. Prüft die Auszeichnung mit dem Test für Rich-Suchergebnisse.

Die Checkliste zum Abhaken

• [ ] robots.txt sperrt keine wichtigen Bereiche und keine gewünschten KI-Such-Crawler
• [ ] XML-Sitemap enthält nur indexierbare Seiten und ist eingereicht
• [ ] Seitenbericht der Search Console ist geprüft, Ursachen für „nicht indexiert“ sind bekannt
• [ ] Canonicals zeigen auf die Hauptadressen
• [ ] wichtige Inhalte stehen ohne JavaScript im HTML
• [ ] LCP ≤ 2,5 s, INP ≤ 200 ms, CLS ≤ 0,1 für die meisten Seiten
• [ ] Bilder komprimiert, Schriften lokal, überflüssige Skripte entfernt
• [ ] mobile Fassung vollständig und bedienbar
• [ ] HTTPS überall, eine Hauptdomain
• [ ] sprechende Adressen, flache Struktur, interne Links mit Linktext
• [ ] keine Weiterleitungsketten, keine internen Links auf 404-Seiten
• [ ] strukturierte Daten für Organisation, Artikel, Produkte geprüft

Wenn ihr die Liste nicht selbst durchgehen wollt oder ein Relaunch ansteht: Technisches SEO ist Teil unserer Leistungen rund um Sichtbarkeit. Bei der HfK Bremen stieg die Sichtbarkeit bei Google nach dem Relaunch um 1.200 Prozent.