Репутация домена и чёрные списки

Обычно репутацию домена сайта или IP-адреса сервера рассматривают в контексте работы почты: когда оценивают насколько безопасны письма от определённого почтового домена или сервера и не являются ли они спамом. Но на самом деле значение понятия "репутация" намного шире. В общем случае оно означает степень доверия к домену с точки зрения безопасности.

Результаты проверки сайта с проблемами безопасности в сервисе VirusTotal

Репутацию доменов отслеживают поисковики, браузеры и антивирусы, чтобы предупреждать своих пользователей о переходе на подозрительный сайт. Информацию они черпают из чёрных списков — баз опасных доменов и IP-адресов. Логика такая: если сайт попал в блэклист, значит, он содержит угрозу. То есть у всех сайтов из чёрных списков были (есть) проблемы безопасности и, как следствие, плохая репутация.

Списки опасных сайтов ведут многие антивирусные сервисы и онлайн-сервисы. Они заносят туда ресурсы, которые распространяют вирусы или вредоносный код, размещают фишинговые страницы, перенаправляют посетителей на опасные страницы и пр. Ниже рассмотрим самые авторитетные источники для проверки доменов.

Сервисы безопасного поиска Яндекса и Google

Яндекс и Google ведут свои базы подозрительных и опасных доменов: Yandex Safe Browsing и Google Safe Browsing. Эти базы формируются в результате сканирования проиндексированных сайтов антивирусным ботом.

Бот проверяет сайт на фишинг, скрытые перенаправления, загрузку вирусного кода или опасных файлов. Если обнаруживает угрозу, то домен попадает в чёрный список поисковой системы. После этого он может оказаться в чёрном списке одного или нескольких антивирусных сервисов.

Домены в блэклистах необязательно принадлежат злоумышленникам. В этот список может попасть, например, сайт интернет-магазина или корпоративный портал компании, которые пострадали от взлома и стали распространять вредоносный код.

Через безопасный поиск Яндекса репутацию сайта проверяют Opera и Firefox (русские редакции), а также Яндекс.Браузер. Через безопасный поиск от Google — Chrome, Firefox и Safari. Браузеры ограничивают серфинг по сайтам, которые "забанил" поисковик.

О попадании в чёрный список поисковых систем можно узнать, например, из панели Вебмастера Яндекса или консоли Google, если заранее добавить в них сайт.

Агрегатор VirusTotal

VirusTotal — это агрегатор информации о вирусах и опасных сайтах. В него стекаются данные от 67 сервисов, среди которых Kaspersky, Dr.Web, ESET, Trustwave, CleanMX, PhishLab и др. Эти сервисы сами выгружают свои базы по угрозам и заражениям в общую базу VirusTotal. Поэтому, если домен или IP-адрес окажется в чёрном списке хотя бы одного из этих 67 антивирусных сервисов, об этом узнают все, кто использует базу VirusTotal.

Через VirusTotal удобно проверять статус домена в различных антивирусах. С его помощью можно быстро обнаружить блокировку сайта конкретным антивирусом, чтобы спасти репутацию домена.

База Роскомнадзора

Реестр запрещённых сайтов Роскомнадзора содержит информацию обо всех сайтах, которые нарушают законы РФ. Интернет-провайдеры обязаны блокировать все сайты из этого реестра.

Роскомнадзор добавляет в базу не только домены, но и IP-адреса. Поэтому заблокированным может оказаться самый безобидный сайт — если ему достался забаненный IP. Так бывает, когда сайт размещён на виртуальном хостинге с нарушающим закон ресурсом, или когда его серверу присвоен IP-адрес, который попал под блокировку раньше. Часто от блокировок Роскомнадзора страдают ни в чём не повинные пользователи бесплатных тарифов Cloudflare.

Проблемы сайтов из чёрных списков

Падение трафика после попадания домена под санкции поисковой системы

Основная проблема сайта, который попал в блэклист – это ограничение доступа к нему, и, как следствие, резкое падение трафика. Причин этому несколько:

Если на сайт накладывает санкции поисковая система, то про трафик из поиска можно забыть. В результатах поиска сайт помечается как "угрожающий безопасности компьютера или мобильного устройства". В некоторых случаях поисковики понижают сайт в выдаче или даже исключают его из выдачи для мобильных устройств.
В браузерах, использующих Safe Browsing API (Google Chrome, Яндекс.Браузер, Opera, Firefox и Safari), при переходе на забаненный поисковиком сайт выдаётся красный экран блокировки и предупреждение о вирусах или мошенничестве.
Если сайт забанен антивирусом, то при попытке пользователей с тем же антивирусом открыть его, проактивная защита будет предупреждать об угрозе безопасности или вовсе блокировать доступ.

РоскомнадзорКроме потери трафика, попадание в вирусные базы грозит репутации компании-владельца. Предупреждение о том, что сайт мошеннический и угрожает безопасности, скорее всего оставит негативное впечатление о владельце сайта, а информация о блокировке может быстро распространиться по соцсетям.

Причины попадания в чёрные списки

Предупреждение о переходе на сайт с плохой репутацией

Причин включения в чёрные списки не так много:

Взлом и заражение. Через уязвимости в коде хакер или атакующий бот может загрузить на сайт вредоносный код: для редиректа, кражи данных или распространения вирусов. Сайт начнёт угрожать безопасности пользователя, поисковые системы и антивирусы быстро это обнаружат и ограничат доступ.

Жалоба посетителя. Посетитель сайта может пожаловаться на противоправный контент, недобросовестную рекламу или угрозу безопасности. Для этого на сайтах антивирусных компаний предусмотрены специальные формы. Если угроза подтвердится, нарушитель попадёт в "бан".

Санкции надзорных органов. Если на сайте есть противоправный контент, он может попасть в базу Роскомнадзора — по решению суда, Генпрокуратуры или самого Роскомнадзора. В течение суток все российские интернет-провайдеры ограничат доступ к нему для всех клиентов.

Блокировка за спам. Если с сайта или сервера идёт спам-рассылка, то домен и IP-адрес сайта попадают в базы SpamCop, SPAMHAUS и других сервисов. Тогда письма, уходящие с домена, попадают в папку "спам" или вовсе не доходят до адресата.

Спам с сайта может идти не только из-за взлома сервера, но и при массовых регистрациях ботов с почтовыми уведомлениями (например, регистрации на форуме). Или из-за уязвимости в скрипте, которая позволяет отправлять письма произвольным получателям без авторизации (как в своё время было в CMS Joomla в рекомендательном компоненте VirtueMart).

Как удалить сайт из чёрного списка

Если домен или IP-адрес попал под санкции, процесс удаления из чёрных списков может занимать от суток до нескольких недель.

Быстрее всего происходит исключение сайта из блэклистов Google: обычно сутки, если к сайту не были применены ручные санкции.

Чуть дольше процесс у Яндекса. Исключение сайта из санкционного списка может занимать от двух дней до двух недель. Помимо автоматического запроса в случае Яндекса имеет смысл отправить ещё и запрос на разблокировку через форму обратной связи.

Дольше всего выводить сайты из чёрных списков антивирусных сервисов. В некоторые из них (особенно это касается малоизвестных и новых) сайт может попасть по ошибке, например, в результате так называемого ложного срабатывания. Если у сервиса не предусмотрен автоматический вывод домена из "бана", то придётся отправлять заявку, а её рассмотрение может затянуться на несколько недель.

Для исключения сайта из чёрного списка поисковых систем выполните три шага:

Устранить причину санкций (источник проблемы).
Добавить сайт в панель Вебмастера Яндекса или Google Webmaster Console.
Отправить запрос на снятие санкций через панель.

Если сайт попал в чёрный список в результате автоматической проверки и проблема устранена, то сайт автоматически исключается из списка вредоносных в течение нескольких дней. Если же санкции ручные, то процесс восстановления репутации может занять несколько недель.

Для исключения сайта из чёрного списка антивирусов необходимо воспользоваться формой заявки на их сайте. Обычно заявка подаётся на английском языке. Необходимо кратко описать суть обращения и отметить, что домен сайта ошибочно попал в базу вредоносных. Если в форме можно выбрать тип обращения, то стоит указать "False Positive".

Пример заявки на исключение сайта из чёрного списка

Как избежать блокировок

Избежать блокировок домена, спасти его репутацию или хотя бы снизить вероятность попадания сайта в чёрный список поможет мониторинг безопасности. Его задача — обнаружить проблему раньше бота поисковой системы или антивирусного сервиса. Если проблема обнаружена, специалист сможет быстро её устранить и, таким образом, уберечь сайт от попадания в "бан".

Более надёжный вариант — позаботиться о безопасности сайта заранее: установить технические средства защиты от веб-атак и взлома, проработать организационные меры защиты и технику безопасности при работе с сайтом. Все это лучше делать при участии специалистов по безопасности.