UpgradeVacatureVolger

UpgradeVacatureVolger is de crawler achter de vacaturevolger in Upgrade, recruitmentsoftware voor werving en selectie. Een gebruiker van Upgrade kan een werkgever volgen. De vacaturevolger kijkt dan op de website van die werkgever of er nieuwe vacatures zijn, en meldt die aan de gebruiker.

Hij maakt zich bij elk verzoek bekend met deze user-agent:

Mozilla/5.0 (compatible; UpgradeVacatureVolger/1.0; +https://upgradesoftware.nl/vacaturevolger)

De eigen website van de werkgever, ook als de vacatures op een eigen werken-bij-domein staan. Hij leest eerst robots.txt, begint dan bij de homepage, zoekt daar de vacaturepagina en leest de sitemap of die vacaturepagina. Heeft de werkgever een openbare vacaturefeed van Recruitee of Personio in zijn site ingebouwd, dan leest hij die feed bij Recruitee of Personio, volgens de robots.txt daar. Daarna haalt hij alleen de pagina's op van vacatures die sinds de vorige controle zijn bijgekomen.

Vacaturesites leest hij niet.

Voor elke werkruimte in Upgrade die een werkgever volgt, controleert hij die werkgever hoogstens één keer per dag.

Hij leest robots.txt per host en volgt het, ook voor de homepage. Staat er een groep voor UpgradeVacatureVolger, dan gelden die regels; anders de regels voor alle crawlers (User-agent: *). Ontbreekt robots.txt, of geeft dat adres een 4xx-status of een gewone webpagina, dan mag alles; geeft de server een 5xx-fout, is hij onbereikbaar of is robots.txt niet te lezen, dan haalt hij niets op.

Een blokkade omzeilt hij niet. Weigert de site een pagina, bijvoorbeeld met een 403 of 429 of een controle van Cloudflare, dan probeert hij die pagina niet op een andere manier op te halen.

Zet deze regels in de robots.txt van je website:

User-agent: UpgradeVacatureVolger
Disallow: /

Bij de volgende controle leest de vacaturevolger dit en haalt hij niets meer op van die host. Zet de regels op elke host die je wilt afschermen, ook op een apart werken-bij-domein.

Wil je alleen een deel afschermen, zet dan in plaats van / het pad dat hij moet overslaan.

Heb je een vraag over de vacaturevolger? Neem contact met ons op via het contactformulier.