# Ångra-svepets egen robots.txt. # # TVÅ grupper, och att de säger samma sak är hela poängen. Kryparen läser den # grupp vars User-agent-rad namnger den och faller tillbaka på * först när # ingen sådan grupp finns (sparradePrefix() i svep/hamta.ts). Fram till US-016 # stod bara wildcard-gruppen här, och spärren nedan höll därför genom en väg # koden inte ens tar när den möter oss — vår egen sajt prövade aldrig den # ordning /robot lovar. # # Nu står spärren i BÅDA grupperna. Att /fixtur/robots-sparr/ ändå saknas helt # i /data/svep/senaste.json är då ett bevis på att körningen lydde gruppen som # namnger kryparen, inte den som råkade säga samma sak. User-agent: * Disallow: /fixtur/robots-sparr/ User-agent: Angra-svepet Disallow: /fixtur/robots-sparr/