Kostenloses Tool
llms.txt Generator und KI-Crawler-Check
Geben Sie Ihre Domain ein: Der Check zeigt, welche KI-Crawler Ihre robots.txt zulässt, prüft Ihre llms.txt und erstellt einen Entwurf, den Sie kopieren oder herunterladen.
Rivly ruft dafür nur öffentliche Dateien Ihrer Website ab: robots.txt, llms.txt, Sitemap und Startseite. Mehr dazu in der Datenschutzerklärung.
- Ohne Konto
- Ergebnis auf dieser Seite
- Entwurf zum Herunterladen
Geprüft werden 18 KI-Crawler von
- OpenAI
- Anthropic
- Perplexity
- Meta
- Microsoft
- Apple
- Amazon
- Mistral AI
- DuckDuckGo
- Common Crawl
Ergebnis für ihre-marke.de
3 von 18 KI-Crawlern sind in Ihrer robots.txt gesperrt: PerplexityBot, GPTBot und CCBot. Eine llms.txt fehlt.
- Suche 5 von 6 erlaubt
- Nutzeranfrage 5 von 5 erlaubt
- Training 5 von 7 erlaubt
| KI-Crawler | Anbieter | Zweck | Status | robots.txt |
|---|---|---|---|---|
| GPTBot | OpenAI | Training | gesperrt | Zeile 5Eigene Gruppe User-agent: GPTBot 5: Disallow: / |
| OAI-SearchBot | OpenAI | Suche | erlaubt | Zeile 2Regel aus der Gruppe User-agent: * 2: Allow: / |
| PerplexityBot | Perplexity | Suche | gesperrt | Zeile 8Eigene Gruppe User-agent: PerplexityBot 8: Disallow: / |
Das vollständige Ergebnis zeigt alle 18 KI-Crawler, prüft Ihre llms.txt und enthält einen Entwurf zum Kopieren.
Das zeigt Ihnen der Check
-
KI-Crawler in der robots.txt
Für jeden Crawler von OpenAI, Anthropic, Perplexity, Google, Microsoft, Apple, Meta und weiteren Anbietern: erlaubt, gesperrt oder nur teilweise, mit der Zeile, die das regelt.
-
llms.txt-Prüfung
Ob unter /llms.txt eine Datei liegt und ob sie dem Format von llmstxt.org folgt: Überschrift, Kurzbeschreibung, Abschnitte, Links.
-
Entwurf zum Kopieren
Eine llms.txt aus Titel und Beschreibung Ihrer Startseite und der wichtigsten Seiten aus Sitemap und Navigation.
Einordnung
Wichtiger als die llms.txt ist eine offene robots.txt.
Die robots.txt entscheidet
Die robots.txt ist seit 2022 ein offizieller Standard (RFC 9309). Sperrt sie den Such-Crawler eines KI-Anbieters, etwa OAI-SearchBot oder PerplexityBot, fehlen Ihre Seiten in dessen Antworten in der Regel als Quelle.
Abrufe auf Nutzeranfrage
ChatGPT-User, Perplexity-User und meta-externalfetcher rufen eine Seite ab, wenn eine Person im Chat danach fragt. OpenAI, Perplexity und Meta schreiben selbst, dass diese Abrufe die robots.txt nicht immer beachten.
Google-Extended ist nicht die KI-Übersicht
Google-Extended regelt, ob Google Ihre Inhalte für das Training von Gemini und für Antworten in den Gemini-Apps nutzt. Die KI-Übersicht und der KI-Modus der Google-Suche arbeiten mit dem, was Googlebot liest.
llms.txt: freiwillig und klein
Die llms.txt ist ein Vorschlag von llmstxt.org aus dem September 2024, kein Standard. Ein belegter Effekt auf KI-Antworten fehlt bisher. Als kleine Maßnahme schadet sie nicht, der Entwurf aus diesem Check ist ein guter Anfang.
Häufige Fragen
Fragen zum Check
Was prüft der llms.txt Generator und KI-Crawler-Check genau?
Er liest die öffentliche robots.txt Ihrer Website und zeigt für die bekannten KI-Crawler, ob sie Ihre Startseite lesen dürfen. Danach prüft er, ob unter /llms.txt eine Datei liegt und ob sie dem Format von llmstxt.org folgt, und erstellt aus Startseite, Sitemap und Navigation einen Entwurf für eine llms.txt.
Warum ist die robots.txt wichtiger als die llms.txt?
Die robots.txt regelt, welche Crawler Ihre Seiten überhaupt lesen, und die großen KI-Anbieter geben an, dass sich ihre Trainings- und Such-Crawler daran halten. Für die llms.txt gibt es bisher keinen belegten Effekt auf KI-Antworten. Einordnung und Zahlen stehen im Ratgeber llms.txt: Datei, Beispiel und Grenzen.
Was bedeuten Training, Suche und Nutzeranfrage in der Tabelle?
Das ist der Zweck, den der Anbieter selbst für den Crawler nennt. Training: Inhalte fließen in das Training von KI-Systemen. Suche: ein Index, aus dem KI-Antworten ihre Quellen nennen. Nutzeranfrage: ein einzelner Abruf, den eine Person auslöst, etwa wenn sie ChatGPT bittet, eine Seite zu lesen.
Halten sich alle KI-Crawler an die robots.txt?
Nicht immer. OpenAI, Perplexity und Meta schreiben, dass Abrufe auf Anfrage einer Person die robots.txt nicht immer beachten, die Tabelle markiert diese Crawler. Sie zeigt, was Ihre robots.txt regelt, nicht, was jeder Anbieter im Einzelfall tut.
Sperrt Google-Extended die KI-Übersicht von Google?
Nein. Google-Extended betrifft nur das Training von Gemini und Antworten in den Gemini-Apps. Die KI-Übersicht und der KI-Modus nutzen, was Googlebot für die Suche liest. Begrenzen lässt sich das nur über die Snippet-Regeln der Google-Suche wie nosnippet, und die gelten auch für die normalen Suchergebnisse. Mehr dazu im Ratgeber Google AI Overviews.
Wie lege ich den Entwurf als llms.txt an?
Laden Sie den Entwurf herunter, prüfen Sie Name, Beschreibung und Links und ergänzen Sie, was fehlt. Legen Sie die Datei dann im Hauptverzeichnis Ihrer Domain ab, sodass sie unter ihre-marke.de/llms.txt erreichbar ist. Wie das geht, hängt von Ihrem Shopsystem oder Hosting ab.
Nennt ChatGPT Ihre Marke?
Eine offene robots.txt ist die Voraussetzung. Ob ChatGPT, Perplexity, Claude und Gemini Ihre Marke dann auch nennen, zeigt der KI-Sichtbarkeits-Check: 14 Tage kostenlos, keine Kreditkarte.