# robots.txt fuer http://www.arc-bln.de

# 1. E-mail Spammer ausschliessen
User-agent: EmailCollector
Disallow: /

# Unbeliebte Massendownloader  fernhalten
User-agent: wget
User-agent: webzip
User-agent: webmirror
User-agent: webcopy
User-agent: WebDownload
User-agent: MSProxy
User-agent: ia_archiver
User-agent: HeinrichderMiragoRobot
User-agent: ichiro/1.0
Disallow: /

# Turnitin, soll Plagiate aufspüren
User-agent: TurnitinBot
Disallow: /

# Die ueblichen Bot Befehle
User-agent: *
Disallow: /_notes/
Disallow: /pic/
Disallow: /stats/
Disallow: /templates/
Disallow: /text/
Disallow: /page/Kontakt/bewerbung/
Disallow: /page/Kontakt/left/
Disallow: /page/Kontakt/top/


# die Referer ausschliessen (spamming)
Disallow: /refer/