Как разрешить бота а запретить страны cloudflare
Перейти к содержимому

Как разрешить бота а запретить страны cloudflare

  • автор:

Как в Cloudflare оставить доступ только из одной страны и исключить блокировку GoogleBot?

6295ae9a49591073884139.png

Здравствуйте! На сайт идет ddos атака, бОльшая часть ботов из других стран. В Cloudflare я прописал в Firewall rules правило блокировки всех стран, кроме РФ, а также попытался исключить из блокировки бота гугла.

Решает ли мою задачу это правило? Как мне его переписать, чтобы блокировать все страны, кроме России, но при этом оставить доступ к сайту для известных ботов (known bots)?

  • Вопрос задан более года назад
  • 571 просмотр

Как запретить доступ к сайту всем странам кроме?

Привет, ддосят с разных стран. Хочу оставить доступ только для СНГ. Сделал такое правило для теста, проверяю с ВПН разных, сайт им доступен. Я правильно понимаю, что это правило должно блокировать доступ всем странам кроме указанных в правила?

6476578dabcfe128190467.png

  • Вопрос задан 30 мая 2023
  • 150 просмотров

1 комментарий

Простой 1 комментарий

Как защитить сайт от ботов с помощью Cloudflare

Как защитить сайт от ботов с помощью Cloudflare

Участились случаи, когда статистика показывает рост прямых заходов на сайт, а конверсии не растут. Иногда трафик взлетает и в поисковых системах, что выглядит подозрительным. При рассмотрении отчетов становится очевидно, что сайт подвергся атаке вредоносных алгоритмов. Если вовремя не предпринять нужных мер, это может негативно сказаться на ранжировании сайта в поисковой выдаче и его поведенческих факторах (ПФ). Специалисты digital-агентства «Директ Лайн» рассказывают, как защитить сайт от атаки.

Почему не все боты одинаково полезны

Говоря о том, что сайту требуется защита от ботов, стоит иметь в виду, что далеко не все из них – зло. Существуют полезные боты, которые помогают улучшить видимость и рейтинг сайта и способствуют его продвижению. К примеру, у Яндекса и Google есть свои поисковые боты для индексации веб-страниц и определения их ранжирования в выдаче. Эти боты сканируют сайт, чтобы определить его содержимое, структуру и ссылки на другие страницы. Оценка эффективности SEO-продвижения была бы невозможна без ботов мониторинга и аналитики.

В этой статье мы говорим не о них, а о вредоносных ботах, таких как:

  • Боты для накрутки статистики – искусственно увеличивают количество посещений, просмотров страниц и другие метрики сайта. Они могут быть использованы для манипуляции статистикой трафика и создания иллюзии популярности или эффективности продвижения.
  • Боты повторной накрутки – многократно посещают веб-сайт, обычно с использованием различных IP-адресов или прокси-серверов, чтобы создать видимость роста трафика.
  • Боты с поддельными реферерами – отправляют запросы на веб-сайт, с указанием поддельного источника трафика (реферера). Это может создать впечатление, что ваш сайт получает трафик из популярных источников, таких как поисковые системы или социальные сети.
  • Боты с поддельными юзер-агентами – отправляют запросы с поддельными данными о юзер-агенте (браузере и операционной системе). Создают иллюзию разнообразия источников трафика.
  • Боты с автоматическими действиями – выполняют такие действия, как просмотр видео, клики по рекламным ссылкам или заполнение форм. Используются для манипуляции с метриками.

Боты фактически представляют собой алгоритмы, которые совершенствуются методами машинного обучения. Они могут быть направлены на сайт конкурентами, которые стремятся вытеснить вас из выдачи. Или недобросовестными SEO-специалистами, которые хотят показать быстрый результат. Кроме того, ваш сайт может стать площадкой для обучения ботов, так сказать, вытянуть несчастливый билет. Каким бы ни был источник вредоносного трафика, потребуется защита от накрутки, чтобы сохранить позиции и обезопасить сайт.

Комьюнити теперь в Телеграм
Подпишитесь и будьте в курсе последних IT-новостей

Как определить роботность сайта – частые признаки

Есть несколько признаков, по которым можно отследить роботный трафик и понять, что требуется защита сайта от ботов.

1. Рост показателей отказов

Если статистика показывает внезапный рост отказов от стандартно допустимых 10% до запредельно высоких 50-60% и выше, есть повод задуматься. Такой трафик может негативно повлиять на поведенческие факторы.

Здесь нужно держать в уме оговорку: роботный трафик не всегда дает повышение процента отказов. Некоторые боты настолько хорошо имитируют действия реальных пользователей сайта, что отказы могут даже снижаться. В этом случае атака на сайт производится не с целью понизить его видимость, а для обучения ботов нужным поведенческим навыкам. Отработав алгоритмы на нашем сайте, создатели будут использовать более совершенных ботов уже в своих интересах. До какой-то степени это может играть нам на руку. Но ориентироваться только на показатели отказов не стоит. На фоне таких атак могут снижаться другие показатели: глубина просмотра, продолжительность сессии и т.п.

Как выглядит рост показателей отказов

2. Рост трафика с определенных устройств

Если при резком росте трафика его основная доля приходится на мобильные устройства, вероятнее всего, мы имеем дело с ботами, требуется защита от накрутки ПФ.

3. Рост трафика из определенного региона

Если вы оказываете услуги и продвигаетесь в одном регионе, а внезапный шквал трафика идет из другого. Чаще всего рост прямых заходов в Яндекс Метрике отслеживается из Москвы и Московской области.

Как выглядит рост трафика из определенного региона

4. Страницы входа

Здесь могут быть варианты. Например, нетипично сильный прирост по нескольким страницам. Иногда это могут быть даже страницы с ошибкой 404.

Страницы входа

Другой возможный сценарий, когда на большой пул страниц приходится примерно одинаковый рост трафика. При этом другие страницы сайта показывают более спокойную, естественную динамику без резких скачков.

5. Показатели роботности в Яндекс Метрике

Счетчики в Яндекс Метрике дают возможность отслеживать трафик с ботами и без них. Этот атрибут подключается в настройках, по нему можно увидеть, что роботный трафик растет.

Показатели роботности в Яндекс Метрике

Мы перечислили основные критерии, по которым можно понять, что всплески трафика не являются естественными. В следующей части расскажем о сервисе, который позволяет обеспечить защиту сайта от ботов.

Что такое Cloudflare и зачем он нужен

Cloudflare WARP – это сервис, предоставляемый компанией Cloudflare, который помогает обеспечить безопасность интернет-подключения. Он работает на основе виртуальной частной сети (VPN) и защищает трафик от атак и нежелательного слежения.

Защита от ботов Cloudflare обеспечивается различными настраиваемыми инструментами сервиса, бесплатными и платными. Мы протестировали возможности сервиса и пришли к выводу, что настраивать все возможные инструменты защиты не имеет смысла. Как правило, бесплатного тарифа вполне достаточно, чтобы ограничить доступ нежелательным ботам. При этом важно с умом подойти к точечной настройке, потому что отдельные инструменты могут выставлять ограничения и для обычных, живых пользователей, потенциальных клиентов.

Какие инструменты Cloudflare стоит использовать

Мы рекомендуем настраивать следующие правила:

  1. Открыть доступ к «белым» ботам. Здесь мы говорим о полезных ботах ПС, социальных сетей и т.п. Этим ботам можно и нужно посещать сайт для корректного ранжирования. Мы руководствуемся списком ботов, при необходимости можем прописать точечное правило доступа для конкретного бота.
  2. Закрыть доступ из других стран. Если есть четкое ограничение географии бизнеса, и мы понимаем, что трафик из других стран, кроме, например, России, не нужен. Он только увеличит процент отказов, лучше не допускать этого.
  3. Установить капчи для трафика с IPv6 или по http-протоколу. Как правило, их используют для защиты от накруток и парсинга данных с сайта.
  4. Подключить JS-проверку трафика с протоколами ниже http/2. Попадая на такую проверку, отсекаются перечисленные выше боты-паразиты, а также DDoS-боты и пр.
  5. Закрыть доступ ботам-краулерам. Такие боты могут создавать дополнительную нагрузку на сайт. Можно настроить правила для конкретных ботов, чтобы ограничить им доступ, например, для AhrefsBot.

Мы рекомендуем нашим клиентам использовать возможности Cloudflare. Это позволяет не только выставить защиту от ботов-вредителей и повысить эффективность интернет-продвижения, но и сохранить работоспособность сайта в случае попытки DDoS-атаки.

Как выглядит статистика Cloudflare

Всю информацию по трафику, поступающему на сайт, можно увидеть в статистике Cloudflare.

Как выглядит статистика Cloudflare

Статистика Cloudflare показывает:

  • какой трафик был допущен на сайт;
  • какой трафик был заблокирован;
  • на какую страницу пришелся трафик;
  • данные IP;
  • данные юзер-агента;
  • данные о географии посетителей.

Статистика в Cloudflare

Оперируя данными статистики, мы можем производить дополнительные настройки, открывать или закрывать доступ конкретным ботам.

Как работает защита от ботов Cloudflare: примеры

Мы подключили Cloudflare к части проектов, заметив аномальный рост трафика не только по прямым заходам, но и по ПС. На скрине ниже видно, что стартовые настройки снизили трафик практически до первоначальных показателей через сутки.

Как работает защита от ботов в Cloudflare

При этом роботный трафик на отдельные страницы ушел не сразу, даже несмотря на то, что одна из них выдавала ошибку 404. Он снижался в течение месяца и постепенно ушел в ноль. Вероятно, «нагульщик» ботов понял, что его усилия бесполезны, и остановил накрутку.

Защита от ботов в Cloudflare

По нашим наблюдениям, Cloudflare дает достаточно хорошую защиту от нагула ботов, то есть того самого обучения определенным поведенческим характеристикам для дальнейшего подключения к сайту заинтересованных в этом лиц. А также от скрутки поведенческих факторов, когда отказы сильно увеличиваются.

Однако надеяться на стопроцентный эффект не стоит. Часть ботов может просто не попадать под правила Cloudflare. В таком случае следует подключить технических специалистов. Они могут дополнительно проанализировать и ограничить доступ к определенному пулу ip-адресов или разработать новые правила для защиты от ботов в Cloudflare.

Важно! Отслеживайте все виды трафика: ПС, прямые заходы, внутренние переходы и ссылки с других сайтов. Часть настроек может ударить по обычным пользователям. Если заметите критичное снижение по другим источникам и будете уверены, что это не роботный трафик, а обычный, стоит детально проанализировать текущие настройки. Нельзя ограничивать доступ к сайту пользователям, которые потенциально могут купить товар или услугу.

Как еще можно защитить сайт от ботов

Дадим еще пару советов, как обезопасить ваш сайт от вредоносных роботов:

  • Выбирайте добросовестных специалистов по интернет-продвижению. Алгоритмы ботов постоянно совершенствуются, рано или поздно трюки недобросовестных оптимизаторов попадают под фильтры поисковых систем. Поэтому важно убедиться в благонадежности специалистов до того, как вы откроете доступ к управлению сайтом. Работая с «Директ Лайн», вы можете избавить себя от лишних переживаний. В стратегиях продвижения мы не используем серые методы и никогда не допускаем манипуляций с трафиком.
  • Следите за динамикой показателей продвижения. Убедитесь, что в Яндекс Метрике активированы настройки фильтрации роботности. Проводите регулярный мониторинг соотношения роботного трафика, показателей отказов и позиций в поисковой выдаче. Изучайте ежемесячные отчеты и задавайте вопросы специалистам, если какие-то пункты не ясны.
  • Поддерживайте связь со службой поддержки Яндекса. В любой подозрительной или непонятной ситуации, связанной с продвижением в поисковой сети Яндекс, вы можете напрямую обратиться в службу поддержки и получить объективную обратную связь. Мы рекомендуем это нашим клиентам по двум причинам. Во-первых, это повод удостовериться, что мы не причастны к серым методам и не занимаемся накруткой. Во-вторых, это возможность обратить внимание представителей сети на вероятных накрутчиков и ускорить наложение санкций на недобросовестных оптимизаторов.

База знаний

Безопасность — это наиболее распространенная причина, по которой пользователям блокируется доступ к вашему сайту.

* XSS-атаки, которые могут скомпрометировать личную информацию пользователей веб-сайтов.

* DDoS-атаки, которые временно или навсегда отключают веб-сайт.

* Фишинговые атаки, которые могут скомпрометировать конфиденциальную информацию пользователей веб-сайта.

* Атаки путем внедрения, нацеленные непосредственно на серверную базу данных и раскрывающие пользовательский ввод и скрытые данные.

* Атаки с обходом каталога, которые могут поставить под угрозу доступ к сайту, базам данных и файлам конфигурации.

Если большинство этих атак исходит из одной или нескольких конкретных стран, их блокировка избавит вас и ваш сайт от многих проблем.

Еще одна причина геоблокировки — создание веб-сайта для конкретной страны. Допустим, у вас есть интернет-магазин, который обслуживает людей, живущих в той же стране. В этом случае блокировка других стран может защитить использование вами ресурсов сервера.

Наконец, авторские права, условия лицензирования и другие юридические обязательства могут потребовать от некоторых стран блокировать доступ к содержимому вашего веб-сайта.

Как узнать, из какой страны чаще всего происходят атаки ?

    Вам необходимо войти в свою учетную запись.

В верхней части страницы выберите домен, аналитику которого вы хотите проверить.

Выберите раздел “Analytics”.

Выбирать “Security”.

  • Выберите период времени, когда вы хотите увидеть атаки.
  • Как заблокировать страны с помощью Cloudflare?

      Выберите раздел “Security”.

    Выбирать “Firewall Rules”.

    Нажмите “Create firewall rule”.

    Введите то, что вы хотите назвать созданным разделом, например, «Заблокированные страны».

    Вы увидите ниже под названием “When incoming requests match. ”.

    “Field” поле, выберите “Country”.

    “Operator” выбирать “is in”.

    “Value” выберите, какие страны вы хотите заблокировать.

    Тогда выбирай “Or”.

    Переходим к следующему разделу “Then. ”.

    Выбирать “Block”.

  • Затем нажмите “Deploy firewall rule”.
  • Вы заблокированы в избранных странах, которые вы отметили.

    Связанные статьи

    Cloudflare — компания, которая защищает от вредоносных атак и останавливает DDos-атаки на ваш.

    Добавить комментарий

    Ваш адрес email не будет опубликован. Обязательные поля помечены *