133 von 10.099 Shopify Stores blockieren einen AI-Crawler. Sechs blockieren den einen chatgpt-shop mit.
133 of 10,099 Shopify stores block an AI crawler. Six block the one ChatGPT shops with.
Händlern werden zwei gegensätzliche Dinge über KI-Crawler erzählt: Blockieren Sie sie, weil sie Ihre Inhalte nehmen und nichts zurückgeben; und geben Sie sie zu, denn so kommt ein Geschäft in eine KI-Einkaufsantwort. Beide gehen davon aus, dass eine Entscheidung getroffen wird. Wir wollten wissen, wie viele Geschäfte einen gemacht haben und auf welche Weise. Jedes Geschäft in einem Korpus von 10.099 bekannten Shopify Storefronts wird als Teil eines Scans gelesen. Die Datei wird so analysiert, wie die großen Crawler sie analysieren: Die meisten spezifischen Gruppen gewinnen, ist der Fallback, die längste übereinstimmende Pfadregel gewinnt, schlägt auf einem Gleichstand. Jedem von zwölf Crawler-Namen wird eine Frage gestellt: Kann es holen? Ein Geschäft zählt als Blockierung eines Crawlers, wenn die Antwort nein lautet. Eine zweite Lesung sieht auf der Produktseite für ein Tag tragen oder . Die Lesungen wurden zwischen dem 29. August und dem 2....
Händlern werden zwei gegensätzliche Dinge über KI-Crawler erzählt: Blockieren Sie sie, weil sie Ihre Inhalte nehmen und nichts zurückgeben; und geben Sie sie zu, denn so kommt ein Geschäft in eine KI-Einkaufsantwort. Beide gehen davon aus, dass eine Entscheidung getroffen wird. Wir wollten wissen, wie viele Geschäfte einen gemacht haben und auf welche Weise. Jedes Geschäft in einem Korpus von 10.099 bekannten Shopify Storefronts wird als Teil eines Scans gelesen. Die Datei wird so analysiert, wie die großen Crawler sie analysieren: Die meisten spezifischen Gruppen gewinnen, ist der Fallback, die längste übereinstimmende Pfadregel gewinnt, schlägt auf einem Gleichstand. Jedem von zwölf Crawler-Namen wird eine Frage gestellt: Kann es holen? Ein Geschäft zählt als Blockierung eines Crawlers, wenn die Antwort nein lautet. Eine zweite Lesung sieht auf der Produktseite für ein Tag tragen oder . Die Messungen wurden zwischen dem 29. August und dem 2. September 2026 durchgeführt. Jeder Laden, der mindestens einen Crawler blockiert oder das Tag getragen hat, ist am Ende eine Zeile im CSV. Der Rest des Korpus blockierte nichts und ist der Nenner. Was das nicht sieht. Ein robots.txt ist eine Anfrage. Ein Geschäft kann auch einen Crawler am Rand blockieren, mit einer Bot-Management-Regel oder einer Firewall, und dieser Block ist hier unsichtbar, weil der Scanner nicht der Crawler ist, der blockiert wird. Jede Zählung unten ist eine Etage. Ergebnis 133 von 10.099 Stores blockiert mindestens einen Crawler: 1,32%. Crawler Was es Fetches zur Antwortzeit füttert Stores blockieren CCBot Common Crawl Nr. 81 GPTBot OpenAI Training & Retrieval Nr. 77 Bytespider TikTok / Doubao Nr. 72 Amazonbot Alexa + / Rufus Nr. 60 Google-Extended AI Overviews & AI Mode Grounding Nr. 58 ClaudeBot Claude Retrieval & AI-Zitate Nr. 53 Applebot-Extended Apple Intelligence Nr. 48 Meta-Externalagent Meta AI Nr. 47 ChatGPT-User Live fetches während eines ChatGPT-Chats Ja 11 PerplexityBot Perplexity Search & Shopping Ja 10 OAI-SearchBot ChatGPT Search & Shopping Ergebnisse Ja 6 Perplexity-User Live fetches, wenn ein Perplexity-Benutzer ja fragt 3 "Fetches at Answer Time" markiert die vier Crawler, die eine Seite lesen, oder Index für ein Suchergebnis, im Moment eine Person fragt. Die anderen acht kriechen vor der Zeit, um ein Modell zu trainieren oder zu erden. Die Aufteilung folgt der von jedem Betreiber veröffentlichten Beschreibung des Namens. Die zwölf sind die Namen, die die Blocklisten der Händler tatsächlich tragen, nicht jeder Antwort-Zeit-Agent, der existiert; Anthropics und Googles Live-Fetch-Agenten gehören nicht dazu. Wie sie blockieren 130 von 133 Block mit . Die gesamte Website, nicht die Produktseiten. 3 Block allein. 54 genau einen Crawler blockieren. 28 blockieren die gleichen acht, wörtlich: Amazonbot, Applebot-Extended, Bytespider, CCBot, ClaudeBot, GPTBot, Google-Extended, meta-externalagent. 4 weitere blockieren diese acht und andere. Identische Listen entstehen nicht unabhängig voneinander; diese liest sich wie ein kopiertes Snippet und enthält keine der vier Antwort-Zeit-Crawler. 1 Speicherblöcke alle zwölf. Schulung oder Beantwortung Von den 133 Geschäften, die alles blockieren, blockieren 120 nur Training und Erdung Crawler. 13 Block mindestens einen Crawler, der zur Antwortzeit holt; 1 dieser Blöcke nur Antwortzeit-Crawler, 12 Block beide Arten. Das klarste Paar ist OpenAI. Züge; ist, was chatgpt such-und shopping-ergebnisse aus gebaut werden. 77 Läden blockieren den ersten. 6 blockieren die zweite, und jede dieser 6 blockiert auch die erste. Umgekehrt, halten Sie den Einkaufs-Crawler draußen und lassen Sie den Trainings-Crawler ein, geschieht in 0 Geschäften. Kein Geschäft im Korpus hat sich entschieden, sich aus den KI-Einkaufsantworten herauszuhalten. Die Läden, die von Robotern aus ihnen heraus sind. txt gibt es, weil ein kopiertes training opt-out zufällig den namen enthielt. Die noai tag 8 Stores tragen einen oder Meta-Roboter-Tag auf ihrer Produktseite. 6 der 8 Block überhaupt nichts in robots.txt. Bei ihren Namen sind sechs der acht Musikerwarenläden, was wiederum wie eine Vorlage und nicht wie acht Entscheidungen aussieht. Der Tag ist ein separater Mechanismus und diese Studie macht keinen Anspruch darauf, welche Crawler ihn ehren. Was es tut und nicht bedeutet, AI-Crawler zu blockieren, ist bei Shopify selten. 98,7% der Geschäfte blockieren keine der zwölf von robots.txt. Wo es passiert, ist es mos