# deny these

User-agent: Heritrix
Disallow: /

User-agent: ia_archiver
Disallow: /

User-agent: IncyWincy
Disallow: /

User-agent:larbin
Disallow: /

User-agent: mobileGate-Spider
Disallow: /

User-agent: psbot
Disallow: /

User-agent: seekbot
Disallow: /

User-agent: sitecheck.internetseer.com
Disallow: /

User-agent:x-Tractor
Disallow: /

# allow others
# directed to all robots

User-agent: *
Disallow: /FTP/
Disallow: /t3lib/
Disallow: /tslib/
Disallow: /typo3/
Disallow: /typo3conf/
Disallow: /typo3temp/
Disallow: /html/

# Disallow: /html/      Ist nötig damit alte Seiten nicht länger indiziert werden

# deny these bei kso aber nicht bei uns
# User-agent: MSNBOT 
# Erklärung AJ: ist der MicrosoftRobot
# Disallow: /
# User-agent: YahooSeeker 
# Erklärung AJ: ist der Yahoo ShopRobot
# Disallow: /