Criteo crawler е автоматизиран инструмент, използван от Criteo, компания, която предлага решения за рекламна платформа и ретаргетинг. Основната функция на Criteo crawler е да сканира уебсайтове с цел събиране на информация за наличните продукти и съдържание.

Идентификацията на роботизираният софтуер пред потребителите се реализира чрез агента:

CriteoBot/0.1 (+https://www.criteo.com/criteo-crawler/)

Асоциирани са следните номера от автономната система (ASN): 44788, 19750, 55569. Използва следните интернет адреси:

1. 178.250.0.0/21
2. 185.235.84.0/22
3. 91.212.98.0/24
4. 91.199.242.0/24
5. 2a02:2638::/32
6. 74.119.116.0/22
7. 199.204.168.0/22
8. 177.73.128.0/21
9. 2620:100:a000::/44
10. 116.213.20.0/22
11. 182.161.72.0/22
12. 2406:2600::/32

Защо роботът Criteo посещава моя сайт?

Criteo е водеща глобална технологична компания, която захранва световните търговци с надеждна и въздействаща реклама. Criteo дава възможност на компании от всякакъв размер с технологии, за да познават по-добре и да обслужват своите клиенти. Criteo има предложение за контекстно рекламиране, за да помогне на своите партньори издатели да осигурят по-добри приходи от съдържанието си и да подкрепят рекламодателите чрез по-добро привеждане на техните реклами към подходящи уеб страници.

За да подкрепи своето контекстуално предлагане, Criteo ще анализира публичното уеб съдържание чрез обхождане на уеб страници. Технологията на Criteo ще идентифицира категориите съдържание на дадена уеб страница.

Например, статия за спорт и маратонки ще бъде класифицирана в категориите „спорт“ и подкатегорията „бягане“.

Кога роботът Criteo посещава сайта ми?

Роботът на Criteo ще се опита да получи достъп до URL адреси само когато вашият уебсайт изпраща заявка до Criteo за предоставяне на реклама във вашия домейн. Criteo crawler ограничава посещенията на вашия уебсайт. Роботът иска достъп до вашия уебсайт само ако компилираните категории вече не са налични или вече не са актуални.

Какви данни се обхождат в сайта ми?

Criteo crawler е система, съвместима с поверителността. Роботът няма достъп до данни на потребителя, навигиращ във вашия уебсайт. Кроулерът има достъп само до публикуваните данни, публично достъпни в интернет.

Как мога да упълномощя робота?

Много първокласни издатели изрично позволяват на Criteo робот да има достъп до техните сайтове. Издателите се възползват от категоризацията на Criteo на техния инвентар, за да оптимизират целевите кампании.

За да одобрите Criteo crawler, моля, добавете отделен параграф към robots.txt, както следва:

User-agent: CriteoBot/0.1

Disallow:

Как мога да изключа робота?

Ако предпочитате да изключите робота Criteo, за да не посещава определени секции от вашия сайт, моля, добавете отделен параграф към robots.txt и посочете пътя, който искате да изключите, както следва:

User-agent: CriteoBot/0.1

Disallow: /path/

Ако предпочитате да изключите робота Criteo, за да не посещава изцяло вашия сайт, моля, добавете отделен параграф към robots.txt, както следва:

User-agent: CriteoBot/0.1

Disallow: /

Criteo crawler спазва директивата за забавяне на обхождането (до 30 секунди и ние приемаме десетични стойности като 0,1)

Основни характеристики:

1. Събиране на данни: Criteo crawler събира данни за продукти, включително описания, изображения и цени, което позволява на рекламодателите да показват персонализирани реклами на потребителите.

2. Ретаргетинг: Чрез информацията, събрана от сайта, Criteo може да създава рекламни кампании, които да насочват потребителите, които вече са посетили сайта, но не са направили покупка.

3. Оптимизация на рекламите: Информацията от crawler-а помага за оптимизацията на рекламните кампании, за да се увеличи ефективността на показваните реклами.

4. Анализ на конкуренцията: Чрез сканиране на сайтове, Criteo може да анализира и конкурентите в индустрията.

Ако управляваш уебсайт и не желаеш Criteo crawler да сканира страниците ти, можеш да го блокираш чрез настройките в robots.txt файла на сайта си.

Ако трябва да научите повече за робота, моля, свържете се с вашия представител на Criteo; ако сте директен партньор на Criteo, моля, пишете ни на crawler@criteo.com.

Източник