Як захистити сайт від рефспама і перебору сторінок
Привіт друзі IdeaFox!
Сьогодні я розповім Вам про те, що може нашкодити молодим сайтам в плані просування. Наполегливо раджу прочитати цю статтю тим, у кого відносно невеликий трафік, так як мова піде про рефспамерах, які можуть погано вплинути на розвиток Ваших блогів.
Я постійно бачу на своїх сайтах сплески переходів з сміттєвих сайтів + підозрілу активність. Причому, ніякі це не переходи живих людей, а так званий "рефспам", який генерує лиходії.
Виглядає ця біда в статистиці Google Analitics приблизно ось так:
Тобто, буквально на 5-10 хвилин спостерігається різке зростання "відвідуваності" від якої немає ніякого сенсу, крім роздратування.
Ще раз підкреслю, що це не живі люди, а фейковий переходи, яких насправді немає. А називається ця зараза - "реферальний спам".
У мене є підозри, що такі переходи можуть побічно впливати на поведінкові фактори сайту. Тобто, пошуковим системам може привидітися що це накрутка поведінкових сайтів, а слідом може послідувати фільтр від Яндекса або Гугла.
Особливо якщо відвідуваність сайту невелика (100-200 осіб на добу), так як така активність сильно спотворює поведінкові фактори і виглядає в статистиці як груба накрутка поведінкових факторів.
Навіщо це робиться?
Зрозуміло, що якщо веб-майстер побачить велика кількість переходів, то він з цікавості піде подивитися хто там йому дає такий могутній трафік.
По-друге, такі переходи можуть генерувати фейковий "активність" користувачів
Ось подивіться. Один з моїх нових сайтів має цілком звичайні поведінкові фактори:
У наявності погіршення поведінкових факторів. І якщо відвідуваність була не під 1500 осіб / добу, то поведінкові фактори б впали.
Повторюся, що я підозрюю, що така фейковий активність може негативно вплинути на поведінкові фактори (ПФ), якщо це буде відбуватися досить довго. Так, такий трафік несуттєво впливає на сайти з великою відвідуваністю. А ось для молодих сайтів з невеликим трафіком може бути небезпечний.
Як виключити таких ботів з Яндекс.Метрики?
Для початку випиляємо підозрілу активність на рівні Яндекс.Метрики.
Заходимо в настройки лічильника і виставляємо настройки, як на скріншоті вище.
- Тип фільтра: "Залишити тільки трафік";
- Поле "URL сторінки";
- Умова "Сайт і дзеркала";
- Фільтрація роботів "Фільтрувати роботів за суворими правилами і з поведінки";
- Можете поставити галочку "Не зважати на мою відвідуваність". Але я ніколи її не ставлю, щоб побільше накрутити трафік =) (жартую, звичайно).
Після того як я зробив такі настройки в Яндекс.Метрика більше не було видно аномальних стрибків поведінкових факторів, хоча сміттєвий трафік був. Його добре було видно за даними Google Analytics.
Як блокувати таку активність на рівні сайту?
Ми скористаємося плагіном безпеки WordFence Security, який дозволяє зробити такий захист буквально за 5 хвилин.
Про те, як налаштувати WordFence Security я розповів ось в цій статті:
Як забанити IP, з яких йде аномальна активність?
Але я підозрюю, що абсолютна більшість блогерів коли чують фразу "подивіться логи сервера" впадуть в обморок =)
А ось в WordFence Security це прекрасно видно. Наприклад, ось якийсь красень довбав сайт під 80 000 запитів:
Йдемо в налаштування цього чудового плагіна безпеки і заходимо в пункт меню "Blocked IPs"
Як автоматично банить такі IP?
Перш ніж піти далі, підкреслю, що у вас WordFence Security повинен бути коректно налаштований. Особливо важлива коректна настройка WFS, якщо паралельно працює iThemes Security або інший плагін безпеки.
І ще раз відсилаю ось до цієї статті, де я розповів про базові налаштуваннях:
Так ось. Для таких цілей в WordFence Security є чудовий інструмент, який робить цю брудну роботу в автоматичному режимі, без участі вебмастера.
Йдемо в налаштування WFS:
А сам FireWall налаштовуємо як на картинці нижче:
Що означають ці налаштування?
Важливо: не ставте занадто бузувірські правила, так як є ризик заблокувати пошукові роботи Яндекса або Гугла.
Але повернемося до наших баранів =)
Тобто, до рефспамерам, які генерують фейковий переходи з сміттєвих сайтів за допомогою спамерських пошукових роботів.
Припустимо, Ви помітили таку ось красу:
Але і в цьому випадку нас врятує WordFence Security.
Тут легше показати на конкретному прикладі, як це працює
Припустимо, мені не подобаються переходи з мого блогу ideafox.ru на мій же тестовий win4blog.ru. І я хочу блокувати такий трафік. Йдемо в налаштування WFS на сайті win4blog.ru в "Advanced Blocking" і в полі "Referer (website visitor arrived from) that matches"
вбиваю назва свого ж блогу таким чином:
Зрозуміло, що свій блог НЕ МОЖНА прописувати на своєму ж блозі =)
До речі, потрібно обов'язково в полі "Enter a reason you're blocking this visitor pattern" вказати причину блокування англійськими літерами.
Наприклад, щось на зразок "blokirovka". І натиснути на велику синю кнопку =)
Тепер якщо я спробую перейти по посиланню на свій тестовий блог, то побачу ось таке повідомлення:
Можете самі переконатися =)
замість підсумку
Я раджу відразу блокувати рефспамеров відразу, як тільки їх помітите в своїй статистиці, щоб не спотворювати дані по ПФ, які збирають пошукові системи.
Так, представники пошукових систем пишуть, що вміють визначати такий трафік і не враховувати його в загальній статистиці. Але самі знаєте, що краще перестрахуватися, особливо на самому початку розвитку сайту.
І ще важливий момент. Те про що я розповів, не допоможе відбитися від серйозної DDOS-атаки. Але ось від автоматичних скриптів, які шукають уразливості, рефспамеров і дрібних мережевих хуліганів - допоможе.
Якщо станеться щось серйозне, то доведеться підключати CDN та інші fail2ban-и, про які я може бути розповім пізніше.
Мій курс з безпеки WordPress
Шановні блогери!
Зверніть увагу на мій курс з безпеки WordPress, який так і називається:
"Захист блогу на движку WordPress за дві години"
У цьому невеликому курсі я систематизував найбільш прості, але надійні методи захисту блогу на WP від вірусів і хакерів.
Він буде корисний як початківцям, так і просунутим блогерам.
Я сам користуюся цими методами на всіх своїх проектах.
Для того, щоб більш детально познайомитися з цим курсом, досить пройти реєстрацію на моєму закритому сайті для блогерів:
Захищайте свої блоги!
На сторінці статистики хостера знайшла цих американських відвідувачів, у яких в IP змінювалися лише останні цифри. Спробувала заборонити доступ цим відвідувачам по IP по всій лінійці цих самих однакових IP в файлі htaccess, поки допомогло - підозріло активні візитери зникли, інші заходять нормально з різних країн і безпосередньо, і з пошукових систем, тобто як зазвичай.
Ось такий досвід із загадковою гіперактивністю на сайті!
І яка мета подібних візитів без зворотних посилань по прямій на конкретні статті без зупинки?
Чи можуть таким чином оптом автоматом красти статті?
2) У вас реально на постійно встановлений плагін WordFence Security? Він же досить сильно вантажить блог ... і після нього чиститься багато ... Хоча не спорю, він дуже хороший і корисний. Мене кілька разів практично рятував, коли шукала проблемні місця у себе на блозі. Він у мене теж встановлений, але відключений, включаю його лише тоді, коли потрібно щось перевірити.
Будь ласка, Ніна)
1. Якщо налаштувати Метрику, як показано в статті, то дійсно, такий трафік не видно. Але ось Ігор каже, що в ЛайвІнтернет його видно. Сам LI не користуюся давно.
2. Швидше за все, Ви зіткнулися з тим, що у ваших знайомих блогерів злом файлу htaccess. І трафік перенаправляють. Або висить кривої банер, через який викрадають трафік ...
Їм потрібно обов'язково перевірити свої блоги і підозрілі банери.
3. Так, встановлено і постійно працює. Але у мене майже всюди VPS, так-що проблеми не бачу. Втім, він нормально працює навіть на віртуальному хостингу (нормальному). Наприклад, мій закритий сайт на віртуальному хостингу працює в такий же конфігурації.
4. Тоді краще перевірити IP через сайт 2ip.ru
Привіт, Дмитро!
У мене таких шаробаттонов сайтів кілька)) та ще з різними цифрами епрст
У мене 2 питання:
1.После того, як я встановив фільтр в ЯМ потрібно код лічильника міняти чи ні?
2. Як дізнатися ip цих сайтів-шаробаттонов, не зміг знайти ((
Привіт, Микола)
1. Ні, не потрібно міняти код лічильника.
2. Так можна пробити сайт через сервіс 2ip.ru
Або прямо з компа через консоль CMD командою ping share-buttons.com
Спасибі, розібрався, хоча і інший сайт для пошуку ip використовував, але не суть))
Було в рефералах GA 9 підозрілих сайтів зі 100% відмов і всі вони були на одному ip)) збіг? не думаю))
Скільки ж ще секретів, Дмитро, ти тримаєш в загашнику?
Спасибі, думаю поліпшити тепер ПФ після таких дій з блокування.
Дмитро, не смійтеся тільки, ладно, я не зовсім зрозуміла, як взагалі таку активність і таких шкідників визначити, поясніть, якщо можна. У мене за відвідуваністю стежить ЛайвІнтернет, яндекс-метрику не пробувала. Заздалегідь дякую.
Тетяна, нормальне питання, нічого смішного.
1. По-перше, такого трафіку на Вашому сайті може і не бути. Просто до вас не дісталися ще)
2. Як відстежити. Це добре видно через статистику Гугл-Аналітікс в меню «Джерела трафіку» - «Весь трафік» - «Спрямування»
Їх видно як сайт, з якого було за добу, наприклад 1000 заходів по посиланню. Якщо пройти на цей сайт, то посилання на себе не побачите, а побачите або заражений сайт, або обвішаний банерами дорослого змісту.
Або який-небудь китайський магазин)
Тому акуратніше з заходом на такі сумнівні сайти. Я їх через компютер під Лінукс розглядав.
Привіт, Дмитро!
Ось так проти ночі страшилки раздаёшь наліво і направо!
Якось мені не віриться, що пошукачі не бачать цих бандитів віртуальних ...
А ось за рада не лізти на подібні сайти - спасибі! Застереження не зайва.
Дякую за статтю Дмитро! Теж останнім часом «бомблять» мій блог, що навіть він стає недоступним. Блокую такі IP в htaccess. Хоча в статистиці Liveinternet все нормально.