Защита от спама: php скрипт для проверки трекбеков

4 августа, 2008

Спам в трекбеках

Спамерские технологии не стоят на месте. Все-таки изобретательные эти люди :-)

В одном из последних постов на Blue Hat SEO как раз и описан один из таких способов.

Вкратце идея следующая. Создается страница со ссылками на различные блоги. И на них же отправляются трекбеки. Т.е. на этих блогах, обычно в разделе комментариев, появляются ссылки на эту страницу.

Естественно, владельцы блогов начинают проверять спамерскую страницу на наличие обратной ссылки на свой блог. Видят, что ссылка на месте и не удаляют трекбек.

Примечание. Эту проверку не обязательно делать вручную. Автоматизировать эту работу можно с помощью плагина для WordPress - Trackback Validator Plugin.

Через несколько дней спамер кардинальным образом изменяет страницу. Например, превращает в дорвей. Все ссылки на блоги с нее естественно удаляются.

Т.е. получается, что нужно периодически проверять страницы, с которых отправлены трекбеки на наличие обратных ссылок.

Делать это вручную – нереально. Поэтому я написал небольшой php скрипт, который автоматически выполняет эти проверки. Если его запускать cron’ом, то вы всегда будете в курсе наличия обратных ссылок.

Рассмотрим, как он работает.

  1. define('SITE_URL', 'your_blog_url'); //URL, который нужно проверять
  2.  
  3. /**
  4.  * Настройки подключения к БД
  5.  */
  6.  
  7. define('DB_NAME', 'your_db_name');
  8. define('DB_HOST', 'your_db_host');
  9. define('DB_USER', 'your_db_user');
  10. define('DB_PASS', 'your_db_pass');
  11. define('DB_TABLE_PREFIX', 'wp_'); //измените, если вы используете другой префикс таблиц
  12.  
  13. /**
  14.  * Адрес почты для отправки отчета
  15.  */
  16. define('MAIL_ADDRESS', 'your_email');
  17.  
  18. $log = ";
  19.  
  20. //подключаемся к базе
  21. $link = mysql_connect(DB_HOST, DB_USER, DB_PASS)
  22.     or die("Could not connect : " . mysql_error());
  23. //выбираем БД
  24. mysql_select_db(DB_NAME)
  25.     or die("Could not select database");
  26.  
  27. // получаем список трекбеков (не отмеченных как спам, с ними будет разбираться
  28. // Akismet)
  29. $qFindTrackbacks = 'SELECT * FROM '.DB_TABLE_PREFIX.
  30.     'comments WHERE comment_type="trackback" AND comment_approved<>"spam"';
  31. $result = mysql_query($qFindTrackbacks)
  32.     or die("Trackback search failed : " . mysql_error());
  33.  
  34. //————- ищем обратные ссылки ———————//
  35.  
  36. //инициализация cURL
  37. $ch = curl_init();
  38. curl_setopt($ch, CURLOPT_RETURNTRANSFER, 1);
  39.  
  40. while ($curTrackback = mysql_fetch_array($result, MYSQL_ASSOC)) {
  41.     curl_setopt($ch, CURLOPT_URL, $curTrackback['comment_author_url']);
  42.     $page = curl_exec($ch);
  43.     if ($page != null) {
  44.         $log .= 'Receive page '.$curTrackback['comment_author_url'].'\n<br />';
  45.     }
  46.     //проверяем наличие обратной ссылки
  47.     if (substr_count($page, SITE_URL) < 1) {
  48.         //добавляем запись о том, что найден подозрительный трекбек
  49.         $log .= 'Found trackback without backlink : '.$curTrackback['comment_author_url'].'\n<br />';
  50.     }
  51. }
  52.  
  53. curl_close($ch);
  54.  
  55. //закрываем соединение
  56. mysql_close($link);
  57.  
  58. //отправляем письмо с отчетом
  59. if ($log == ") {
  60.     $log .= 'Bad trackbacks not found';
  61. }
  62. mail(MAIL_ADDRESS, 'Trackback search', $log, 'From: Trackback checker script')
  63.     or die("Could not send report");
  64.  
  65. //скрипт нормально завершил работу
  66. exit(0);

Алгоритм довольно простой.

Сначала вы указываете ваши параметры подключения к базе данных, URL блога и email на который будет отправлен отчет с результатами проверки.

Затем скрипт подключается к базе данных и находит все трекбеки (строки 29-32).

Примечание. Трекбеки, отмеченные как «spam» мы пропускаем, т.к. они на страницах блога не отображаются и могут быть легко удалены из админ-панели.

После этого с помощью cURL скрипт получает страницы и ищет на них ссылки на ваш блог (строки 40-51). Если он находит хотя бы одну ссылку, то трекбек пропускается. А вот если ссылок нет, то в отчет (переменную $log) заносится адрес страницы.

Тут может возникнуть вполне закономерный вопрос. Почему не удалять сразу эти трекбеки? Дело в том, что во время страница может быть недоступна. Например, если ведутся технические работы. Поэтому окончательное решение об удалении ссылки скрипт оставляет вам.

Когда все проверки будут выполнены, скрипт отправит вам письмо с отчетом (строка 62).

Внимание! При работе данного скрипта могут возникнуть проблемы для блогов с большим количеством трекбеков (в виде нагрузки на сервер).
Если кто-то столкнется с такой проблемой – пишите в комментариях. И хотя бы примерно укажите количество трекбеков. Я переделаю скрипт так чтобы снизить нагрузку.

Небольшое дополнение.

На данный момент (по моим наблюдениям) большинство спамеров просто отправляют трекбеки без обратных ссылок. Наверное, надеются, что владелец блога ленивый и проверять их не будет ;) .

Например, на этом блоге скрипт нашел всего один трекбек без обратной ссылки. И то, я не уверен, что его нужно удалять, т.к. на той странице просто висит сообщение об ошибке (никакой рекламы, ключевиков или редиректов). В тоже время Akismet отфильтровал почти 2000 спамерских трекбеков.

И в заключение немного теоретических сведений о самих трекбеках и пингбеках (аналогичная технология).

В подробности вдаваться не буду, технической информации на эту тему валом. Только перечислю несколько пунктов, которые должен знать и учитывать каждый блоггер.

1) В идеале трекбек отправляется, когда один блоггер ссылается на другого. Естественно, движки блогов должны поддерживать эту технологию.

2) Трекбеки можно запретить в админ-панели WordPress (так же как и комментирование).

3) Трекбек можно отправить без установки обратной ссылки (чем и пользуются спамеры).

4) В отличие от комментариев для отправки трекбека не нужно вводить captcha. Это полностью автоматизированная технология, что и делает ее привлекательной для спамеров.

5) Исходя из моего опыта ~ 90% спама в трекбеках фильтруется Akismet'ом. Правда в большинстве случаев они были напичканы ключевиками фарма тематики.

Как видите, со спамом можно довольно успешно бороться ;)

Если скрипт вас заинтерисовал - качайте архив:
Скачать скрипт

P.S. Меня, как блоггера очень интересует эта тема. Если у вас есть замечание или вы хотите поделится своим опытом – пишите в комментариях.

Понравилась статья? Подпишитесь на продолжение rss link !

]]>

Добавьте эту страницу в google.com bobrdobr.ru del.icio.us technorati.com linkstore.ru news2.ru rumarkz.ru memori.ru moemesto.ru

]]>

Опубликовано в PHP, WordPress

]]>

Комментарии (18)

Вы можете отслеживать обсуждение записи с помощью RSS 2.0 rss link

Вы также можете оставить комментарий, или трекбек с Вашего сайта.

  1. bishai 05.08.2008 в 00:40 (Ответить)

    Даже не задумывался, что трекбэками можно спамить :)

    Я кстати, недавно написал статью, отделить в шаблоне трекбэки от комментариев.

    1. Владимир 05.08.2008 в 14:49 (Ответить)

      Я тоже не задумывался, пока не начал получать по несколько десятков таких трекбеков в день.

      Кстати, ваша статья мне понравилась. Когда-то была мысль реализовать разделение в этом блоге, но потом забыл, а острой необходимости не возникало.

  2. DimoninG 05.08.2008 в 03:56 (Ответить)

    Владимир, я вчера хотел написать почти аналогичную статью, только с немного другим предисловием (цель статьи - проверка наличия ссылки, но не трекбека). Вы не против, если я ее все же напишу? )) Мы оба читаем наши блоги, насколько я понимаю. Не хотел бы, чтобы Вы решили, будто это плагиат - я задумал это еще неделю раньше, но не успел из-за работы дописать скрипт.

    1. Владимир 05.08.2008 в 14:53 (Ответить)

      Конечно не против.
      Вы же пишете свою статью и свой скрипт, а не копируете мою.
      И мне в любом случае интересно ;)

      Кстати, если бы блоггеры спрашивали друг у друга разрешения писать на похожие темы, то читать комменты было бы не реально :-)

  3. DimoninG 05.08.2008 в 04:18 (Ответить)

    Кстати, тут есть косяк, из-за которого я не уверен, будет ли работать скрипт. А именно - время выполнения скрипта. Обычно оно равно 30 секундам. Если предположить, что на проверку одного сайта уходить 5 секунд, то этого не хватит даже на 10 трекбеков!

    Учитывая, что обычно блоги хостятся на обычных хостингах, то там как раз 30 секунд и дают.

    Конечно, есть способы это обойти. Но это скрипт уже побольше и статья с описанием подлиннее. ;) я у себя напишу потом.

    1. Владимир 05.08.2008 в 15:01 (Ответить)

      Да, я знаю.
      ИМХО самый простой способ обойти эту проблему - использовать curl_multi_exec и, если трекбеков очень много, проверять список по частям.
      Но у меня практически не было таких трекбеков, а хотелось бы хотябы приблизительно знать на какое количество нужно ориентироваться.
      Поэтому, если кто-то столкнулся с проблемой и напишет сколько примерно трекбеков нужно проверять, я переделаю скрипт.
      Но пока смысла не вижу этим заниматься.

      Опять же, будет интересно взглянуть на вашу реализацию :-)

    2. Владимир 05.08.2008 в 15:15 (Ответить)

      На данный момент я большие скрипты я предлагаю скачать в архиве.

  4. DimoninG 05.08.2008 в 08:28 (Ответить)

    У меня еще замечание есть по блогу Вашему.

    Код с сайта просто так не скопируешь. Во-первых, копируются знаки # (это, видимо, номера строк так криво копируются). Во-вторых, одиночные кавычки копируются как `, что плохо. Это все не сложно поправить, но если кода много, то можно что-то не заметить и это превратится в довольно утомительный поиск ошибки :( Посмотрите мой блог, там все с этим ок - скопировал прямо с сайта, вставил в редактор и хоть сразу запускай ;)

    1. Владимир 05.08.2008 в 15:07 (Ответить)

      Согласен… Давно откладываю эту проблему.
      Немного о причинах я уже писал.
      У вас все копируется хорошо, но нет номеров строк, а я люблю на них ссылаться ;)
      Кардинально решить проблему можно если использовать подсветку javascript'ом, а не на стороне сервера. У многих так и сделано. Но проблема в том, что такую подсветку может не показать RSS ридер, а это тоже плохо.

  5. DimoninG 05.08.2008 в 08:30 (Ответить)

    Ох, ешкин кот… Сколько комментариев. Но нужно, нужно.

    substr_count($page, SITE_URL) - это не проверка наличия ссылки. это проверка наличия такого текста ВООБЩЕ, то есть это может быть и не ссылка. это не 100% ый результат

    1. Владимир 05.08.2008 в 15:14 (Ответить)

      и тут вы тоже правы :-)
      но если спамер будет переделывать страницу, то вряд ли он оставит даже такой текст.

      Вообще тут много вопросов. Например, что делать если ссылка не прямая?
      site.domen/?goto=http://www.simplecoding.org
      Или ссылка реализована javascript'oм?

  6. Алексей 05.08.2008 в 12:24 (Ответить)

    у них по моему каждый день новые идеи))))

  7. [...] ли в коде нужная нам ссылка. Отличие этого метода от предложенного Владимиром в том, что Владимир проверяет просто наличие URL на [...]

  8. BM 05.08.2008 в 18:15 (Ответить)

    ХМ… очень интересная статья. Я создал давно уже год назад службу онлайн-блогов, вот много для себя интересного узнал. В скором времени сделаю систему трек-бэков, естественно с Captha + опциями проверки. Трек бек наверняка будет разрешен только пользователем с определённым уровнем "развития" на сайте. А не только что зарегистрировавшемуся :) Спасибо за статью.

    С уважением BM.

    1. Владимир 05.08.2008 в 19:19 (Ответить)

      Трек бек наверняка будет разрешен только пользователем с определённым уровнем “развития” на сайте.

      Я так понял, это для внутренних трекбеков. А что будет если, например, я поставлю ссылку на один из блогов вашей сети. На меня ссылка в комментариях того блога появится?

      1. BM 05.08.2008 в 19:25 (Ответить)

        Это как раз имется ввиду ссылки на иные блоги, а не внутри сайта. Внутри сайте трек бек никакого смысла вообще вроде не имеет.

        Вообще наверное проще дать возможность "конфигурировать" это дело пользователю самостоятельно.

        Я блогерствую и сам, но не настолько. Так задолбали все эти кривые сервисы увешанные рекламой, что создал свой без рекламы на свои деньги. Ну делать мне нечего )) А вообще сайт живет засчет спонсоров, просто дающих мне деньги. Ибо им сайт нравиться. Что-то я не о том. Так вот на момент начинания мной службы дневников (июнь 2007) что такое track back толком никто и не знал в РуНете. Потому не задумывался и не очень то и осведомлён.

  9. DimoninG 05.08.2008 в 18:29 (Ответить)

    Привет еще раз.

    Сделал сервис даже по проверке ссылок, учел все пожелания и т.п. http://linkspy.info/

    Заметка в моем блоге по поводу этого сервиса. Буду рад, если ты его где-нибудь упомянешь и вообще будешь пользоваться ;)

    1. Владимир 05.08.2008 в 19:24 (Ответить)

      Заметку прочитать не получается (404 Not Found).

      Поэтому задам вопрос здесь. Учитываются ссылки которые находятся в или нет?

      Я проверял страницу http://maulnet.ru/archives/777 (ссылка в комментариях на месте). Система ее не нашла.

Оставить комментарий

Введите ваш комментарий

* - обязательные для заполнения поля

Quicktags:

]]>