Crowd — маркет постовых/упоминаний в блогах

Почему-то благие идеи рекламы в блогосфере рано или поздно рушатся от дисбаланса или переходят в соседнее SEO-звено злоупотреблений) (ну или тихо умирают в безвестности, не решив проблему курицы и яйца =) Мне уже давно хотелось бы иметь под рукой сервис, с помощью которого можно было бы с одной стороны легко и ненапряжно проводить небольшие рекламные компании в блогах, и с другой — помогать новым интересным сервисам/проектам находить аудиторию. И наконец-то у меня дошли руки создать его самому — crowd.topsape.ru Заранее предупреждаю — сервис в глубокой бете, и текущий функционал существует больше для проверки востребованности данной идеи, чем на реальную продуктивную деятельность. Пока что это лишь скромненький помощник, а не реальный инструмент.

В чем суть? Я решил отойти от популярной схемы «нагнать на сервис блоггеров/вебмастеров, и дать рекламодателю выбирать» и работать с точностью до наоборот — собрать на сервисе предложения рекламодателей, а уже сами блоггеры могут выбрать что им приглянулось. В таком подходе есть и свои минусы, но мне он нравится куда больше — в рекламе в первую очередь заинтересован рекламодатель, а блоггеров обычно и так заваливают письмами с запросами на платные посты.

Плюс, конечно, тематическая направленность. В данный момент это только манимейкерская блогосфера — сайты, заработок, арбитраж и т.д. Все то, что собирается по аудитории тремя основными аггрегатороами и примерно 50-ю активными блогами в них.

Если у вас есть сервис/проект подобной тематики, и вам бы хотелось получить немного внимания от блогов — добро пожаловать) Вам нужно будет заполнить небольшую форму, в которых указать свои условия и контакты. Основной «товар» — это упоминания в блогах, постовые, минимальная цена на которые установлена в 100 рублей, максимальную указываете вы сами. Если мимопроходящий блоггер заинтересуется вашим объявлением — он так же через специальную форму укажет информацию о своем блоге и условиях, а сервис передаст его сообщение вам (и заявки на участия, и ответы блоггеров проходят модерацию). Можете сразу добавить мыло cr***@ma**.ru в фильтры против спама, я пока не знаю, насколько хорошо он будет его проходить.

Что дальше делать с этими заявками — решать вам, в текущем варианте сервис умывает руки, вы сами договариваетесь и контролируете процесс установки ссылок и оплаты. Как я уже говорил — это пока что лишь помощник, а не инструмент, а уж в зависимости от востребованности будем двигаться дальше)

Блоггерам — еще проще, просто зайдите на главную, если нашли интересный сервис, которые не прочь пропиарить у себя в блоге — пишите через форму.

Энджой!

PS. Как всегда, использование инструмента определяется в первую очередь потребностями рынка. В таком формате можно собирать и бесплатные обзоры в обмен на плюшки, устраивать разборы полетов в комментариях и т.д. Посмотрим, к чему это приведет)

anime-fun-barakamon

Смотрел я на лайт ридер, и думал — куда же еще можно применить внимание аудитории? И вспомнил старую идею про постовые для трафика, а не для ссылочного) На обмозговывание идеи ушли сутки, еще трое — на разработку (15-20 часов). Впервые начал делать проект с композером (свой микрофреймворк перестал устраивать, с Laravel разбираться не хотелось), подключил парочку упрощающих либ — PHRoute для роутинга, Plates как шаблонизатор, основной код котроллеров + вьюхи почти как раньше (только уже с автоподгрузкой классов). Сразу же сделал нормальную админку (обычно ленюсь), подключил Mailgun для рассылки транзакционных писем, jquery для разруливания ajax-запросов (в админке c data-параметрами. Обычно на чистом JS-е делал и onclick). Bootstrap для верстки всего — уже стандарт)

Изначально хотел делать сразу боевой сервис — с безопасными сделками, биллингом, внутренними сообщениями, платой за размещение объявления на сайте. Но вовремя одумался, и в итоге даже регистрацию отбросил, только «ленивое» запоминание данных (благо в случае чего можно быстро авторизировать пользователей через почту), и весь функционал по минимуму. Будет активность — можно будет дальше работать. Даже на такой маленький проект ушло 65кб кода и верстки, пусть и с дублированием — UI для людей требует кучи доп.проверок и кода, всякая машинерия с ботами и данными куда проще) Логику уведомлений на почту тоже пришлось делать с нуля, для мелкосервисов такой канал удержания приоритетен.

Упрощающих жизнь готовых библиотек много, но их еще надо найти и разобраться — если роутинг и шаблонизатор довольно быстро встали как влитые, то с другими пришлось повозится. CrudKit с большим трудом заработал, но вместо админки оказался совершенно неюзабельным. Очень много возни с генерацией и валидацией форм — в этот раз реализовал на стандартном HTML5 + filter_vars с флагами, но стоит попробовать Respect/Validation или GUMP. После написания понял, что хорошо так прокосячил с шаблонами для писем (нужно их сразу во вьюхи выделять), отказ от использования моделей тоже привел к большому дублированию mysql-PDO выборок. Но все равно неплохо иногда вот так с нуля делать минипроекты)

TopAdsense.ru — рейтинг вебмастеров

Как, еще один? Ну а вы что хотели, всё течет, все меняется) Топсапа уже давно выросла из рейтинга, да и кто сейчас зарабатывает на ссылках? Борда оказалась хорошим подспорьем, но анонимность дала ожидаемую побочку, и проще оставить всё как есть, чем пытаться перевести её в новый формат. Ну а адсенстоп, хоть и реализовал сам функционал рейтинга, но дальше этого увы не продвинулся.

Пока что все очень просто — авторизируете свой гуглоаккаунт в сервисе и вауля — вы в рейтинге. Передумали — нажали на галочку, скрыли себя из рейтинга. Захотели удалится — заходите в настройки авторизированных приложений в гугле, отзываете выданный доступ. По TOS гугл адсенса вы можете публиковать свой доход до вычетов — и только эти данные собираются сервисом.

topadsense

Но, как вы понимаете, сам по себе рейтинг, даже удобный — это всего лишь рейтинг, который отдельно значит немногое (кладбище мертвых топов не даст соврать). Главное — это сообщество вокруг него. Сложно балансировать между анархией борд и педантичностью форумов, но почему бы не попытаться? От борд остается анонимность между пользователями (это позволит писать откровенно, не оглядываясь на репутацию), от форумов — необходимость авторизации (что в свою очередь позволит очень легко чистить ленту сообщений от спамеров/идиотов). А данные с рейтинга дадут то, чего нет нигде — актуальный уровень дохода вебмастеров!

chan_topadsense

Конечно, анонимность никто не отменял, и отображаться будет лишь примерный уровень дохода, а не конкретные цифры. Это уже сразу позволит отсеять теоретиков от практиков, не говоря уже о том, что это дает четкую привязку по тематике — это именно площадка для общения тех, кто зарабатывает на адсенсе. Не условных «вебмастеров/манимейкеров», а конкретно работающих с адсенсом. Конечно, зарегистрироваться может любой, даже если на его аккаунте в адсенсе 3 цента за год — все мы были новичками, но надеюсь это будет достаточным для ограждения от флейма.

Лично мне давно не хватало подобной площадки для обсуждения. Все больше людей переходят на заработок с контекста, однако форумы изначально неудобны, а в чане слишком много посторонних. Посмотрим, получится ли собрать здесь интересных людей) (пока что борда открыта для чтения всем желающим, но это лишь на период набора аудитории).

Энджой — http://topadsense.ru/

—————————-

А знаете, что еще примечательно? Я не написал ни строчки кода для проекта. Точнее, в начале я конечно убил несколько дней, чтобы убедится в работоспособности идеи и тонкостях работы с API, но и только. Весь бекенд я оставил на Гарри, который в течении двух месяцев пилил проект. Я при этом лишь продумывал, какой функционал нужен на сервисе, переверстывал отдельные куски (таблица рейтинга, графики доходов), ну и корректировал структуру БД (с этим было больше всего проблем, те решения которые очевидны для меня для максимальной производительности/гибкости, были совсем не очевидны для Гарри).

Это уже вторая попытка создать проект в партнерстве с программистом, но первая сорвалась. Оба фор фан, оба в тематиках в которых у меня есть доступ к аудитории, поэтому и такой вариант сотрудничества. Посмотрим, как пойдет дальше)

LiArchive — история посещаемости сайтов с закрытыми счетчиками

Я очень часто занимаюсь анализом сторонних сайтов (для покупки, рекламы, анализа ниш и т.д.), и очень часто счетчик LiveInternet есть, данные на счетчике показываются, но сами статы закрыты. Конечно, можно прикинуть примерную посещаемость (данные за 24 часа и за 31 день), но этого не всегда достаточно — могут быть спады в выходные, динамика может быть негативной, ну и вообще неудобно. Учитывая, что более чем 70% сайтов статы закрывают — становится грустно. Однако — сами цифры не счетчиках закрывают около 5% сайтов, поэтому появилась идея для сервиса, который каждый день будет собирать статистику за 24 часа для каждого сайта и сохранять её для анализа. Сказано — сделано:

liarchive

Основная проблема возникла не с самого считывания стат, а с получением списка сайтов. В рейтинге LI участвует 700к сайтов — это всего лишь половина сайтов со счетчиком. Поэтому пришлось затариваться базами и проверять, проверять, проверять — базы ЯКа, DMOZ, топ 1м алексы, доноры сапы, все RU и SU домены (наиболее затянутое — пришлось чекать 5м доменов). В итоге удалось получить список из 1,094,925 сайтов с открытым счетчиком LI, для которых уже больше месяца и собираются данные. Все еще остается 400к неучтенных сайтов, но все же покрытие неплохое, и все более-менее посещаемые и публичные сайты в базу попали.

Кроме того, на основе этих данных я попытался рассчитать уровень «постоянной аудитории» для сайтов. Благодаря сервису мы имеем реальную среднюю посещаемость в день, а с публичных данных счетчика — число уникальных посетителей в месяц. Сравнивая их, мы получим число посетителей, которые посещают сайт регулярно (к примеру, посещаемость топсапы — 1000 уников в день, уникальных посетителей в месяц же только 16к. Из этих данных получается, что 500 человек заходит на сайт регулярно — что подтверждается данными на странице «постоянная аудитория», а так же по «числу новых посетителей»). Только все это доступно для любых сайтов с отображением статистики на счетчиках, поэтому не нужно гадать, что перед тобой — статейник по ПС или сервис с аудиторией.

Энджой — http://liarchive.ru/

Из технической информации — опрос счетчиков начинается в 10 вечера, и продолжается около полутора часов (250 сайтов в секунду). Работает на старом добром PHP, с использование библиотеки RollingCurl, в 20 потоков (можно выше, но впска не резиновая, незачем заваливать la). Графики на Google JS charts мегатормозные, серверных либ — совсем мизер, с отвратительным UI. Поэтому пришлось мучить уже deprecated Google Images Chart API, чтобы все работало быстро и было красиво. Сервис все еще в бете (не настроено регулярное добавление свежих сайтов и доменов, нет поддержки кирилических доменов), но предложения и сотрудничество приветствуется.

Второй вариант использования — это выборки сайтов по параметрам, но этот сервис в паблик скорее всего не выйдет. Так же как выборки посещаемости за более длительное время (когда они наберутся конечно). Се ля ви)

PS. Уже подумал, а стоит ли вообще делать сервис открытым.. Ведь чем больше людей о нем узнает — тем больше людей будет закрывать отображение статистики на счетчиках (я уже так давно делаю для нужных сайтов), не исключено и повышенное внимание со стороны самого LiveInternet. С другой стороны, многие сайты уже и так закрыли статы, а аудитория у блога не настолько большая, чтобы это как-то сильно повлияло. Пусть будет одним сервисом для анализа сайтов больше =)

Ради чего люди занимаются созданием сайтов?

Условно создателей сайтов можно разделить на творцов и предпринимателей. Первые думают — «Как бы сделать офигенный сервис/сайт, которым будут пользоваться куча людей?«, вторые — «За какой сервис люди бы заплатили, и что нужно для его создания?«. Любая, даже самая офигенная и инновационная идея (а особенно новая), имеет намного меньший шанс на финансовый успех, чем просчитанная бизнес-стратегия даже очень банальных процессов.

Соответственно, первые делают некие «продукты», их цель — такое же тщеславие, что движет архитекторов и художников, признание общества — или просто осознание того, что ты работаешь над действительно стоящими вещами, которые действительно важны. При таком подходе вопрос той же монетизации откладывается на десятые роли, и вводится с сильным скрипом (к примеру, та же реклама напрямую мешает людям пользоваться сайтом, и если бы не необходимость, «творцы» никогда бы не вешали на сайты рекламу, мешающую посетителям. Впрочем, они зачастую это делают настолько неумело, что это их не спасает от банкротства).

У предпринимателей цели иные. Для них именно деньги выражают количественно ту пользу, что они приносят миру, а значит, чем больше они зарабатывают — тем лучше для общества. Швыряться деньгами направо и налево — нет, такое движет только людьми, которые получили деньги незаслуженно, предприниматели очень редко опускаются для пускания пыли в глаза (разве что в определенный момент роста и пересмотра жизненных ценностей). Наоборот, многие из них не знают, куда их девать, и иногда помогают творцам (хотя нет, бизнесмены именно что будут помогать творцам с целью возврата инвестиций, а не просто так =)

По сути, это два вида мышления и отношения к вещам, программист-творец создает linux, программист-бизнесмен — microsoft. Творец не обязательно является голодным художником (и в случае профессионалов это явление редкое), так же как и предприниматель не обязательно обеспечен (немалую часть времени становления он даже беднее наемных рабочих среднего уровня, даже когда они работают на него).

Принадлежность к каждой группе отнюдь не перманентна, и с течением времени может меняться, даже несколько раз. Не говоря уже о том, что для разных проектов можно придерживаться разных подходов, и пуристов из обоих лагерей меньшинство. Одни приходят в интернет-заработок из собственно создания сайтов, понимая, что на этом можно заработать куда больше с систематичным подходом. Другие — устают от налаженных процессов, и хотят создать что-то новое для души, например, игру. Как и во всех остальных областях, лишь малая часть достигает успеха, хотя стоит отдать должное — предприниматели как правило знают, почему, в то время как творцы — только догадываются (это касается как успеха, так и фейла). Точно так же повторение успеха для творца представляет собой крайне нетривиальную задачу, предприниматель же найдет способ получить прибыль в любой области.

Именно такое разделение позволяет понять, почему одни люди вкладывают сотни тысяч в обычные статейники, или скупают сайты, а другие — с упорством идиота занимаются каким-то непонятным и никому не нужным сервисом (иногда увлекая еще несколько сотен человек заниматься тем же самым). И критерии успеха для них отличаются кардинально, даже если они занимаются идентичными проектами — так что мерить одних по критериями других занятие бесполезное, хоть и вызывает приличный срач для обоих групп.

Естественно, только обозначив свои стремления, ничего не добьешься. Но позволяет немного сузить выбор сегмента и инструментов для достижения целей — если занимаешься зарабатыванием денег, отбрось то, что не влияет на результат. Если хочешь творить — подумай, на что будешь в этом время жить, так как стратегия «сначала сделаю, а потому буду думать о заработке» почти никогда не срабатывает. И вообще, стоит ли оно того?

Более подробно про подход «творцов» к созданию сайтов можно прочитать в первых постах этого цикла:

————————

А что я? Ну по моим проектам и предыдущим постам вполне можно понять, каких я придерживаюсь взглядов) Сегодня наконец-то закончил очередной никому не нужный 100500-й фотохостинг — ну серьезно, 85% имеющихся это треш и угар, чисто технически с такой задачей справится любой мало-мальски знакомый с программированием школьник (именно поэтому этих фотохостингов сотни и сотни), а уж какой у них интерфейс и количество рекламы… Вдоволь поигравшись с версткой (хотя до полностью адаптивного еще далеко), стилями и прикрутив напоследок SSL (ну вот захотелось мне), получилось что-то вроде этого:

Да, да, я знаю, что использовать чужие товарные знаки нехорошо. Но щито поделать, хоть какая-то подпитка трафом будет, в прошлый раз это сработало просто отлично. И я так же знаю, что вероятней всего этот проект даже не окупит затрат на покупку SSL-сертификата, даже если у него будут тысячи посетителей в день =) Но мне просто захотелось, чтобы где-то в интернете был просто удобный и прилично выглядящий фотохостинг. Правда, я уже насмотрелся, чего только на них не загружают, хорошо что есть один интересный сервис, предоставляющий Nudity API для фильтрации..

PS. И да, в который раз удивляюсь, что такие простенькие сервисы потребляют просто прорву времени на разработку, хотя там и готовые библиотеки, и стили, и опыт, ан нет.

PPS. Вот следующий проект вот точно будет для заработка, однозначно 😀 Кейворды ннада?

PPPS. Да нет, SSL сертификаты дешевые, всего $4/год, выдаются за 5 минут, ставятся на сервер еще за 10, ничего сложного.

Как я делал StoryFinder

Что ж, пришло время поподробнее рассказать про мой новый проект, поисковик по тревел блогам, и как я его делал. Первые строчки кода я написал почти два месяца назад, а публичный бета-тест начался три недели назад. Я хотел написать обо всём в следующем посте итогов, но слишком уж много информации скопилось 🙂 Поисковиком его называть пока рано, это скорее поиск по тегам — гео.названиям, вбиваешь город или место — и тебе список постов от путешественников, побывавших там. Можете попробовать — StoryFinder.ru


Как мне вообще пришла в голову такая идея? Ну, как часто путешествующий, я читаю посты других людей о месте, куда направляюсь. А где их искать? Гугл и Яндекс выдают сплошняком нерелевантную информацию (отели, погода, рерайт статей), поиск по блогам полон всякими твиттами и форумами. Есть одна подборка на основе Google Custom Search, но она не полная, и не очень наглядная (но раньше пользовался в основном им). Когда-то давно я хотел сам вручную собирать подобные анонсы, когда хотел писать статьи по местам, но это слишком глупая и ресурсоемкая задача. Лучше её автоматизировать!)

Что я и сделал. Я не стал создавать полностью универсального паука-краулера, это слишком сложно, да и не нужно. Список всех страниц? Sitemap.xml, который парсится двумя строчками (или atom-фид всех постов блога в блогспоте). Текст поста? Тут пришлось повозится, но использовав Simple HTML DOM Parser и стандартизированную верстку WordPress/Blogspot, я довольно быстро стал получать нужную мне информацию — сам пост, заголовок, число фотографий (для тревел-блогов это очень важный параметр), число комментариев (как показатель качества) и прочие мелочи. С каждым новым добавляемым блогом приходилось дописывать всё новые и новые правила в парсер, сейчас для одного только определения основного текста используется 27 классов/идентификаторов (пробуем например div.entrypost, если его нет — div.post, и т.д.). Зато сейчас для новых блогов уже почти не приходится ничего дописывать, всё сразу парсится правильно (для большинства вордпресс тем). Правда, тут вступают в игру блоги на Joomla, Ucoz, TextPattern и прочих, корявая невалидная верстка, лимиты для загрузки страниц (укоз) и прочее прочее)

Редактор - Sublime Text

А что сам поиск? Конечно, можно было бы использовать готовый движок, типа Sphinx или Lucene, и я даже их скачал и немного ковырял. Но начав по старинке с LIKE %%, я постепенно добился того, что мне нужно. Как я уже писал, это не живой полнотекстовый поисковик, отвечающий на вопросы, это скорее тег-поиск, и можно было бы добиться того же результата, просто вручную проставив место для каждого поста. Отбросив у запроса последнею гласную букву (Москва — Московский/Москве/Москву, поэтому поиск по «Москв»), а так же закинув тайтл в 255-символьное поле и сделав по нему индекс, я добился вполне удовлетворительной скорости поиска и полноты выборки. Разумеется, не сразу, по мере увеличения базы и сбора статистики использования и багрепортов (даже сейчас я фиксю по нескольку багов в день, в том числе довольно критичные, пусть и глупые). Особенно много головной боли было из-за группировки постов у блоггеров, зато это во много раз повышает удобство.

А дальше оставалось только собирать базу блогов — с каталогов/рейтингов, просто с поиска, кто-то даже сам добавлял через форму. Сейчас в базе 113 блогов и 23000 постов (за месяц удвоил), правда в силу специфики примерно четверть постов — про Таиланд, про другие страны куда меньше. Причем многие блоги ведутся практически «в стол», у них нет посещаемости или аудитории, хотя есть отличный материал. Но искать их довольно сложно. Но один раз добавив блог, я подписываюсь на все новые посты из RSS, которые добавляются в индекс, что очень удобно. Посты в ридере приводятся в стандартный вид тем же парсером, поэтому нет никакой разницы, полный фид или краткий (при желании я вообще мог бы скачать полностью все посты вместе с фотографиями и показывать их у себя на сайте, но мне это не нужно).

Офигительно удобная вещь, жаль пока только вручную собирается. Выдача по большим странам вообще не имеет смысла

Откуда первые посетители? Ну первой десятке тестеров я присылал ссылку сам, и затем корректировал выявленные недочеты. Когда же сервис стал более-менее работоспособным, я анонсировал его на форуме TravelBloggers (сообщество тревел-блоггеров), что дало 140 посетителей, положительные отзывы, советы и свежие блоги в базе. Со своего паблика в VK со 140 подписчиками я получил еще 75 посетителей (удивлен эффективностью), с твиттера столько же (хотя там самым последним анонсировал), немного с чана и спарка (я даже создал там профиль как «стартап» =). Ну и затем логично ожидаемый постовой на блоге, который принес аж 700 посетителей. В среднем на каждого посетителя 3,8 просмотра, а после спада активности на сайте осталось примерно 20-40 человек в день с закладок. Итого за первые три недели:

Но число посетителей ничего не значит, если они не пользуются сервисом. Однако с этим так же все в порядке:

1400 поисковых запросов (без меня и только уникальные)
1200 переходов на сайты (по статистике LI, то есть реально на 10-30% больше)



БД весит 600мб, тумбы фотографий — еще 300мб, сам сервис крутится на обычной VPS c 512мб оперативки. Все что светит в веб, написано на CodeIgniter, парсеры — отдельные консольные php-скриты. LA на уровне 0.05, большинство запросов отрабатывается меньше чем за 0.1c

Пока что я вполне доволен темпом развития. Разумеется, я ожидал более взрывного роста, особенно во время старта (на самом деле нет никакой разницы, когда вы наконец запустите проект), блоггеры не особо спешат просто так советовать сервис читателям (кроме разве что DimaX’а и 9seo, но это не те, кого я ожидал). Даже несмотря на появления в источниках трафика у многих. Зато я за это время успел улучшить поиск)

Планы по поводу проекта — разумеется, развивать его. Сейчас три основных направления — увеличивать базу блогов (искать новые, разбираться с проблемными), улучшать поиск (например, недавно сделал штуку для объединения выдачи по нескольким запросам в один, Бирма и Мьянма например), и продвигать сервис. Конечно, совсем на сарафанное радио полагаться нельзя, но первые два пункта куда важнее пока что.

А если смотреть глобально.. Моя цель — миллионная месячная аудитория (о как. Ну или 30к ежедневной, хотя это немного разные вещи). В тревеле такое возможно, да, посмотрите топ LiveInternet в категории Путешествия. Разумеется, обычный поиск по блогам такую аудиторию не соберет, но и поиск в общем-то только вершина айсберга. И даже он вполне может дойти до как минимум тысячной аудитории. Может я себя (и проект) и переоцениваю — тогда это останется просто поисковиком по тревел-блогам, интересным нескольким сотням людей) Как минимум мои проблемы он уже решает, по поводу планируемых поездок в Петчабури или Канчанабури — связка WikiTravel+StoryFinder полностью покрывает мои потребности в информации для путешествий.

Буду рад отзывам и предложениям по улучшению — а особенно адекватным багрепортам и дельным предложениям (а заодно и скриптом-сервисом для автоматизации сбора этого и возможностью оставления анонимных отзывов, вроде реформала, только нормального). Только перечитайте перед этим предназначение сервиса, он не настроен отвечать на запросы вроде «где в Бангкоке посольство Аргентины».

PS. Пока делал сервис, побывал в 4-х странах, 7-и городах и 3-х островах. Кто сказал, что в постоянном путешествии или тропиках нельзя работать?) Был бы интересный проект 😉