llms.txt: ein neuer Standard für effiziente KI-Crawler

Es gibt zunehmend Berichte über AI-Systeme und Crawler, die hohen Website-Traffic verursachen und damit die Kosten für Website-Betreiber erhöhen. Gleichzeitig gibt es den neuen Standard llms.txt, über den solche Systeme wichtige Inhalte und Deep Links aus einer einzigen, statischen Textdatei beziehen können.

Bei Tanner Lab generieren wir llms.txt automatisch während der Build-Zeit direkt aus unseren Übersetzungsdateien: https://tannerlab.ch/llms.txt

Was ist llms.txt?

llms.txt ist eine statische Textdatei, über die KI-Systeme alle relevanten Informationen einer Website gebündelt und strukturiert abrufen können – inklusive Links zu wichtigen Unterseiten. Das reduziert Crawling, Serverlast und unkontrollierte Zugriffe und verbessert die Datenqualität für KI-Anwendungen.

Warum wichtig

• LLMs bleiben Teil digitaler Produkte. llms.txt stellt Inhalte ressourcenschonend, strukturiert und kontrolliert für KI bereit.
• AI Engineers können effizientere Crawler bauen, ohne die Website zu belasten.
• Eine zentrale, gut strukturierte Quelle vereinfacht zukünftige Integrationen.