Preskoči na sadržaj
sidrenecijene

O robotu

Kako radi robot koji dohvaća objavljene cjenike i kako ga isključiti

SidreneCijeneBot/1.0
Razmak među zahtjevima2,5 sToliko robot čeka prije idućeg zahtjeva na istu domenu, da ne optereti poslužitelj.
Najveća datoteka8 MBDatoteka veća od toga se ne preuzima — dohvat se prekine i zapiše kao neuspjeh.
Čekanje na odgovor12 sAko odgovor ne stigne u tom roku, robot odustaje i pokušava idući put.
Preusmjeravanjanajviše 3Svako se preusmjerenje ponovno provjerava; dalje od trećeg se ne ide.

Pravila kojih se drži

Robot dohvaća datoteke cjenika koje su po odluci NN 101/2026 ionako javno objavljene. Ne prijavljuje se nigdje, ne zaobilazi ništa i ne žuri.

  • Predstavlja se. User-Agent je SidreneCijeneBot/1.0 (+https://sidrene-cijene.hr/robot)
  • Poštuje robots.txt. Ako je putanja zabranjena, ne dira ju.
  • Ide polako. Najviše jedan zahtjev na istu domenu svakih 2,5 sekundi.
  • Dohvaća samo javno. Nikakvo zaobilaženje lozinki, zaštita ni ograničenja — ako stranica vrati 403 ili 429, domena se pamti kao „ne dirati“ i više se ne pokušava.
  • Ne kopira sadržaj stranice. Uzima datoteku cjenika i naslovnicu, ništa drugo.
  • Ne skuplja e-adrese i ne koristi se za slanje pošte.
  • Ograničava se. Datoteka veća od 8 MB se ne preuzima.

Kako ga isključiti

Zapis u robots.txt tvoje stranice:

User-agent: SidreneCijeneBot
Disallow: /

Od idućeg prolaza se domena preskače. Postojeći zapisi se uklanjaju na zahtjev, u roku od 24 sata.

Što se sprema

Kopija dohvaćene datoteke, njezin SHA-256 otisak, vrijeme dohvata i adresa s koje je preuzeta. Kopija služi za provjeru: ako se navodi razlika između dviju objava, obje datoteke moraju postojati.

Podaci u cjeniku su podaci o proizvodima i uslugama, ne o ljudima. Ako se u imenu objekta pojavi osobni podatak (npr. ime obrtnika u nazivu obrta), postupa se po politici privatnosti.