Сегодня речь пойдет об еще одной возможности Yahoo pipes – создания RSS лент на основе заданных пользователем параметров.

Т.е. после запуска трубы вместо результата вы увидите поле для ввода данных и кнопку Run pipe. После того, как введете значение и нажмете кнопку, увидите результат. Пример такого поля показан на рисунке.

Теперь разберем, как создать такую трубу. Но, прежде всего, определимся с задачей. Первое, что мне пришло в голову – это поиск. Им и займемся. К тому же Yahoo pipes предоставляет готовый блок для работы с поисковыми системами.

Чтобы задать текст для поиска мы используем блок Text input (меню User Inputs). Этот блок содержит несколько параметров, которые мы должны задать.

Name – имя блока, я задал query.
Prompt – текст, который будет отображаться перед полем для ввода данных. Напишите что-то вроде «Искать:».
Default – текст, который будет отображаться в поле по-умолчанию. Можно оставить пустым.
Debug – текст, который будет использоваться в процессе отладки. Пишем сюда любое слово.

Теперь добавляем на рабочее поле блок Yahoo! Search (меню Sources), и подключаем к нему Text input.

Обратите внимание, что подключить Text input мы должны к полю Search for. Точка подключения находится сразу после поля (скриншот внизу страницы).

Теперь добавляем парочку поисковиков. Я добавил Google и Wikipedia. И подключаем Pipe Output.

В результате получилась такая «труба».

Нажимаем кнопки “Save”, “Run pipe…” и приступаем к поиску . Можно даже подписаться на ленту с его результатами (зачем это нужно – вопрос не ко мне).

До встречи!

Спонсор статьи:
Инлайн – разработка надежного сайта
С технологий ASP.NET мы разрабатываем для Вас надежные сайты любой сложности.

Это завершающий выпуск моего миницикла о Yahoo Pipes. Сегодня мы сделаем RSS ленту блога Тыманчи Ыргын действительно удобной для чтения .

Для тех, кто не читал предыдущие разделы, привожу ссылки:

1) Yahoo pipes. Cоздаем RSS ленту интересного сайта

2) Yahoo pipes: усложняем задачу

Как известно, лучшая RSS лента – это та, которая позволяет не заходить на сайт. Попросту говоря, она должна содержать полный текст статьи.

Оба наших предыдущих примера создавали ленту на основе данных с главной страницы блога, которая содержит только аннотации статей. Полный текст находится на отдельных страницах.

Теперь подумаем, каким образом должна работать наша «труба» чтобы получить данные из этих страниц. Решений может быть много, но, наиболее простым мне кажется такой вариант.

1) Получаем главную страницу.

2) Находим на ней все заголовки статей и ссылки на них.

3) Для каждой статьи формируем запись в RSS ленте.

4) Получаем страницу с полным текстом статьи (используя ссылки на главной).

5) Вырезаем из страницы нужный текст.

6) Добавляем текст статьи в RSS ленту.

7) Повторяем пункты 4-6 для каждой записи в ленте.

С принципом, работы разобрались, переходим к реализации.

Как выполнить первые три пункта я рассказывал в предыдущей части. Поэтому я только кратко повторю настройки блоков.

Fetch Page – получаем главную страницу и разбиваем ее на записи.
Split using delimeter <div class='date'>

Rename – формируем ленту
item.content Copy As link
item.content Copy As description
item.content Rename title

Filter – удаляем первую запись из ленты, т.к. она содержит не статью, а заголовок блога.
Block items that match all of the following
item.description Contains Tymanchi

Truncate – ограничивает количество записей в ленте.
Truncate feed after 8
Этот блок я в прошлой части не использовал. Дело в том, что лента с полными текстами 10 статей оказалась больше 200КБ, и Yahoo pipes выдал ошибку. Поэтому я ограничил число записей восемью.

Regex – заменяет данные в ленте на основе регулярных выражений. Мы его используем для вырезания заголовков и ссылок из текста.
item.title replace .*<h1>.*>(.*)</a>.*<\/h1>.* with $1
item.link replace .*href\s*=\s*"?(.*?)".* with $1

Теперь переходим к пунктам 4-7. Думаю, очевидно, что для решения задачи нужно использовать цикл. Поэтому перетягиваем на рабочее поле блок Loop (вкладка Operators).

Сам по себе этот блок работать не будет, нужно создать «тело цикла». Нам необходимо получить полный текст статей по ссылкам в записях. Поэтому перетаскиваем внутрь Loop блок Fetch Page.

Обратите внимание на параметр URL этого блока. После размещения его внутри Loop, Yahoo pipes проанализирует, какие данные поступают на его вход, и создаст выпадающий список с доступными вариантами. Нам нужно выбрать item.link, т.е. ссылку на страницу с полным текстом статьи.

Теперь смотрим html разметку страницы и определяем, по каким тегам можно вырезать статью. У меня получилось так:
Cut content from </h1> to <div class='pager'>

Заканчиваем настройку блока Loop. Присваиваем текст статьи параметру description ленты.
assign first results to item.description

После этого, с помощью блока Rename переименовываем параметр item.description.content в description и подключаем Pipe Output

Готовая «труба» показана на рисунке.

Нажимаем на кнопочки Save и Run pipe… и можем подписываться на готовую RSS ленту.

Заключение. На этом я оставлю в покое блог Тыманчи Ыргын, но не Yahoo pipes . Сервис действительно интересный. Всем советую посмотреть примеры из их документации. Гарантированный способ убить пару часиков (или деньков)

До встречи!

Спонсор статьи:
Staffcop – система мониторинга работы персонала, контроля рабочего времени сотрудник и обеспечения информационной безопасности организации

P.S. По большому счету еще можно было бы еще добавить дату публикации статьи (параметр pubDate ленты)… Но, думаю, при желании вы и без меня справитесь

В прошлой статье я начал рассказывать о замечательном web приложении – Yahoo pipes. С его помощью нам удалось создать RSS ленту блога из контента его главной страницы (сам блог такой ленты не имеет). Но тот пример имеет один существенный недостаток.

В RSS ленту попадает только самая последняя запись в блоге. Как вы думаете, что будет, если автор опубликует одновременно две записи? Правильно, предпоследнюю запись вы не увидите. Попробуем исправить эту ситуацию.

Прежде всего, посмотрим еще раз на главную страницу блога Тыманчи Ыргын. На ней размещено десять последних записей. Если мы добавим всех их в ленту, то можно считать, что задача решена. Редко кто публикует больше 10 записей в день.

Теперь нам нужно найти какой-то признак, по которому можно разделить записи. Для этого смотрим на html разметку страницы. Несложно заметить, что каждая новая запись начинается с тега <div class='date'>, его мы и будем использовать в качестве разделителя.

Возвращаемся к нашей «трубе». Исходную страницу, как и в прошлый раз, мы получаем с помощью блока Fetch Page. Только сейчас мы устанавливаем параметр
Split using delimiter – <div class='date'>

В результате мы получим 11 блоков с данными, причем первый блок будет содержать заголовок страницы, который нам не нужен. Чуть позже мы его отфильтруем.

Примечание. Чтобы посмотреть результат работы блока в Yahoo Pipes, выберите его (он станет оранжевым) и откройте отладчик (находится под рабочим полем). Если вы вносили изменения в блок, нужно нажать на ссылку Refresh, чтобы обновить информацию.

Формируем RSS ленту. Эта часть практически не отличается от прошлого примера. Мы используем блок Rename со следующими параметрами:
item.content copy as link
item.content copy as description
item.content rename title

Кстати, в параметре description содержится аннотация статьи.

Теперь убираем первую запись с заголовком страницы. Проще всего здесь использовать блок Filter (меню Operations). Задаем следующие параметры.

Block all items that match all of the following
item.description Contains Tymanchi

Принцип работы простой. Отфильтровываются все записи, в тексте которых есть слово Tymanchi (оно встречается только в шапке страницы).

После этого с помощью блока Regexp вырезаем заголовок и ссылку из текста записи.

item.title replace .*<h1>.*>(.*)</a>.*<\/h1>.* with $1
item.link replace .*href\s*=\s*"?(.*?)".* with $1

Если вы сравните эти регулярные выражения с разметкой страницы, то легко определите, какой текст они вырезают. Например, первое выражение вырежет текст ссылки, которая находится между тегами <h1> и </h1>.

Нам осталось подключить блок Pipe Output и все. Труба готова.

Результат можно увидеть на скриншоте.

Заключение. Если вы уже какое-то время используете Yahoo Pipes, то наверняка знаете, что большинство ошибок возникает из-за проблем в регулярных выражениях. К сожалению, простого способа их написания не существует. Нужно изучать синтаксис и как можно больше практиковаться. Если выражение сложное, попробуйте его использовать службу тестирования регулярных выражений.

До встречи!

Спонсор статьи:
ePochta Mailer – лучшая в России программа для электронной рассылки

Кратко описать его возможности можно тремя пунктами:
1) получает данные по заданному адресу;
2) обрабатывает их;
3) преобразует результат в нужный формат (например, RSS ленту).

Но за этими пунктами скрываются огромные возможности!

Примечание. Их конкретный размер, естественно, зависит от ваших навыков в использовании сервиса

И вот тут и кроется настоящее преимущество Yahoo pipes. Он позволяет решить задачи, для которых обычно приходится писать специальную программу или скрипт.

Повторять документацию я не буду, а просто покажу конкретный пример.

Постоянные читатели, этого блога, наверное, в курсе, что я часто использую PHP фрэймворк CodeIgniter. И, естественно, я стараюсь отслеживать информацию о нем.

Но, к сожалению, не все блоги имеют RSS ленты, а без них быть в курсе обновлений нескольких десятков ресурсов просто не реально. Например, блог Тыманчи Ыргын. Автор опубликовал довольно подробное руководство по созданию блога с помощью CodeIgniter (из 7 частей), а RSS ленты – нет.

Попробуем решить эту проблему с помощью Yahoo pipes.

Прежде всего, проанализируем структуру блога. Все записи выводятся на главной странице в хронологическом порядке.

Допустим, мы просто хотим получать заголовок самой первой записи на странице. Чтобы его «вырезать» необходимо определить html разметку. Обычно, я для этих целей использую Firebug (плагин FireFox), но можно просто открыть страницу в режиме просмотра html.

Как и следовало ожидать, нужная нам информация находится между тегами <h1> и </h1>.

Теперь идем на Yahoo pipes, регистрируемся в системе (можно использовать существующий аккаунт Yahoo) и жмем кнопку «Create a pipe».

После этого, вы увидите окно конструктора «труб» ("pipe" на английском означает "труба", "трубопровод"). В его правой части находится меню выбора блоков. Открываем вкладку «Sources» (обычно она открыта по-умолчанию) и перетягиваем блок «Fetch page» на рабочее поле (центральную часть окна).

Этот блок позволяет получить html страницу по ее адресу (URL). Кроме того, он позволяет вырезать часть из нее с помощью параметров «Cut content from» «to». Если эти значения не задавать, то в RSS ленту будет добавлена вся страница.

Мы установим такие значения параметров:
URL – http://erum.ru/
Cut content from – <h1>
to – </h1>.

Теперь наш блок будет работать следующим образом:
1) получит страницу;
2) найдет теги <h1> и </h1>;
3) вырежет текст, который находится между этими тегами.

Теперь нам нужно сформировать RSS ленту. Для этого нужно создать два поля (как минимум): title и link.

Для этого добавляем на рабочее поле блок Rename (находится в группе Operators). А в нем два параметра:

item.content copy as link
item.content rename title

И соединяем вход этого блока с выходом Fetch Page.

На данный момент на выходе блока Rename есть два параметра, которые полностью повторяют данные, полученные со страницы. Чтобы лента отображалась правильно, нам нужно вырезать ссылку и заголовок статьи из исходного текста.

Для этого добавляем блок Regex. Он позволяет преобразовывать данные с помощью регулярных выражений.

Создаем в нем два правила:

In item.title replace .*>(.*)</a>.* with $1
In item.link replace .*href\s*=\s*"?(.*?)".* with $1

Первое правило вырезает из текста заголовок статьи и присваивает его полю title. Второе – вырезает ссылку и присваивает ее полю link.

Теперь нам осталось соединить выход блока Regex с входом Pipe Output. Как несложно догадаться из названия последний блок формирует выходные данные (RSS ленту).

В общем, у вас должно получиться что-то похожее на этот рисунок.

Сохраняем трубу «Save» и смотрим результат – «Run pipe…».

В открывшемся окне вы увидите результат работы вашей «трубы», а также ссылку на RSS ленту (More options -> Get as RSS).

Как видите работать с Yahoo pipes несложно. Конечно, этот пример элементарный и далеко не законченный, но даже в таком виде мы уже решили задачу.

В следующих выпусках я продолжу рассказывать об этом сервисе.

До встречи!

Спонсор статьи:
Программное обеспечение для создания собственных безопасных e-mail рассылок