Итоги Ноября 2014
1 декабря, 20141$ = 50 рублей (+20% за месяц, хотя вроде бы вот вот подрастал до 45)
Доходы:
Прямая реклама на TopSape: 5000 рублей (+4000) рублей
TopSape Ads: 3340 (+1633) рублей
Aviasales реф: 2109 (-1543) рублей
SAPE рефы: 1652 (-184) рублей →
SAPE сайты: 1634 (-55) рубля →
BodyClick: 1436 (+1271) рублей New!
TrustLink рефы: 1384 (-69) рублей
AdSense: $27 (+7$) (почти все — с блога)
TrustLink: 1136 (-448) рублей →
Donation: 1000 рублей
Reg.ru реф: 480 (=) рублей
CMSE рефы: 420 (=) рублей
LinkFeed: 350 (=) рублей
Всего доход: 426$ или 21’300 (+5’500) рублей
Расходы:
Хостинг: 18€ + 100 рублей (два VPS у RootWelt и один у Fornex + бекап) — забыл пересчитать по текущему курсу, оба хостера в евро
Сапа: 308 рублей
Итого прибыль: 400$ или 20’000(+6’000) рублей
Хороший месяц для топсапы, купили строчек на 250к показов (благодаря твиттеру, как ни странно), половина еще откручивается (правда, большая часть ушла по 20р CPM), прямая текстовая реклама, и баннер в ридере (на главной увы сорвалось, а то было бы вообще шикарно).
УГсервис отжигает, посещаемость в полтора раза выше топсапы (1100 посетителей/7100 просмотров в день), 25% с закладок, по 2к переходов с ПС в сутки, 50% аудитории — Казахстан (!). Честно говоря, я и сам понятия не имею, что вообще происходит)) Но в этом месяце наконец-то нашел приемлемый способ монетизации — тизеры полный шлак, а вот баннер в шапке от BodyClick на главной стал давать по 20р с тысячи показов. На внутренних страницах (половина показов суммарно) к сожалению даже с баннером CPM все так же 2-3р, контекстные блоки вообще по нулям. За месяц посещаемость увеличилась в два раза, но темпы подсократились, мне даже самому интересно, к чему оно все таки приведет.
Среднесуточная посещаемость, по неделям.
Как-то прошляпил спад доходов, в начале месяца сразу оптом рекламы продал, думал что до 25к дойдет, ан нет. Надо почаще ревизию устраивать, как и общий баланс подсчитывать. Доход от ссылок все так же падает, но у меня его и так не особо много осталось. Опять таки, было бы не столь болезненно, останься курс рубля на месте (было бы хотя бы 3/4 оффлайн трат покрыты), но увы:
Оффлайн траты:
Проживание: 583 COP = $291
Еда: 540 COP = $270
Транспорт: 350 COP = $175
Быт + развлечения: 154 COP = $77
Всего: 1627 COP (тысяч песо) = $813 = 37’000 рублей (в начале месяца курс был получше)
Почти удержался на 50к песо в день, однако это аж в два раза больше зарабатываемого =( В то время как запасы иссякают, а мне еще полгода в ЮА болтаться.
Путешествие по плану — Viila de Leyva, San Gil, Bucaramanga, Santa Marta, Taganga, Cartagena, Medellin. Только по постам торможу, +35 в тени убили работоспособность до нуля, хотя для Санта-Марты уже фотки обработал, а с Таганги просто шикарнейшие виды. Сейчас охлаждаюсь в Медейжине, тут +22.
С испанским — на удивление, приходит в норму. Хотя я за месяц розетту открывал от силы раза три, но постоянное штудирование разговорников и гугл транслейт дали хорошую базу, а кучу тонкостей было проще узнать вживую (к примеру, хотя «tomar» переводится как «брать», используется он в кафешках как «что будете пить?»). Сейчас питание в кафешках/заселение в отели уже не вызывает особых проблем, но с остальным конечно хуже чем пятилетний ребенок)
Точно по расписанию — меланхолия, накрывшая уже в Картагене) Все таки больше месяца бекпекерствовать одному напряжно, особенно когда приходится думать об уменьшающимся балансе. Медельин (все таки русское произношение куда привычнее) кажется весьма неплохим местом для остановки, особенно климат (я уже забыл, насколько тропики могут быть неудобными =), хотя напрягаться поиском квартиры/комнаты крайне неохота, да и по финансам это не слишком поможет. Пока что не выбирался из El Centro, передохнуть в отеле, на неделе надо будет в более приличный район перебираться — сначала в хостел, потом искать жилье (читал, что в некоторых гестах сдают на месяц комнаты). UPDATE: Писал до подбития финансов. Таки надо срочно перебираться в хостел, да и вообще кардинально снижать расходы. Но все равно остаться тут на несколько недель)
Проект #1 — поисковик по тревел блогам да сколько можно пинать труп, на этот раз по миру (то бишь на английском). Без глупостей с ручным подбором блогов и настройки парсера для каждого и требованием sitemap.xml, по взрослому — с краулером, автодобавлением новых блогов, выделением основного контента на страницы по глобальным паттернам (отдельная readbility библиотека), и все это на Node.JS (вместе с веб-мордой скорее всего. Во славу сотоне, конечно же, зачем же еще?), и возможно еще и с реализацией ссылочного ранжирования. Javascript я в общих чертах знаю, а вот асинхронное выполнение это новенькое, да и объемы данных нешуточныe (в одном дмозе 900 блогов, то есть данных будет как минимум на порядок больше, чем в ру). Правда, я уже успел набить прилично шишок на руверсии, так что несмотря на написание всего с нуля будет куда проще. 2 недели на краулер, 2 недели — сбор данных + накидывание интерфейса и ранжирования, и на PH/HN/Nomadlist/Reddit.
Параллельно — легкий фриланс, возможно. Хотя не факт, слишком уж отвлекает и нервирует, но возможно придется (особенно если дорасти до одеска). Хотя, судя по стремительно тающим средствам, даже вероятно что придется). UPDATE: Ну-ну, размечтался, с ежедневным кредитом в -15$ и грядущим мертвым новогодним сезоном, когда ни рекламы продать, ни заказчиков найти, «возможно». Однозначно вджобывать. Но может получится сохранить баланс между выносом мозга и доходом, и при этом еще успеть свою байду сделать. Так что если нужно сделать небольшой сервис/скрипт — обращайтесь.
Если жизнь дает лимон.. Думаю, дальнейший перевод не требуется)
PS. Что-то я слишком заболтался про финансы сегодня..
Книжная полка
Удивительно — во второй раз наступил на те же грабли.. Взялся перечитывать hpmor на английском (автор американец, так что читается легче чем оригинальный Гарри Поттер). Тысяча увлекательных страниц, да посреди трипа…) Кажется, это первая художественная книга на английском, которую я осилил (хотя попыток было достаточно, ну и рассказы/техническая литература не в счет). Сейчас взялся за психологию «Игры в которые играют люди», как раз достаточно увлекательно, чтобы скоротать время за едой, но недостаточно, чтобы сутками её читать (да и небольшая она). А, ну и «Туманность Андромеды», приятный соц.мир с реалистичной вселенной, но не особо впечатлило.
Постовой:
Стимми продолжает раскрывать инфу про заработок с youtube, с англоязчыного канала.
Машин живой пост про филиппинские будни — Один день экспата на Боракае
Сборная солянка про зимовку в Мексике. Забавно, что Павел и Ксюша, с которым я познакомился на Боракае, и которые там тогда зимовали, в этом году так же перебрались в Мексику. Припомните мои слова, через 3-4 года вся тусовка зимовщиков переедет из ЮВА в центральную и южную Америки) (а я этому активно поспособствую, открывая белые пятна на карте =)
>особенно если дорасти до одеска
До оДеска не дорастают, до Одеска скатываются. Sad but true. Такие дела 🙁
да уж доход прям страшный, опять в кредиты влезешь или есть план б?
Кстати примечательно первый месяц, когда мои доходы превысили доходы Спрута, но мне как то даже и не весело от этого, понимаю, что в наше деле главное стабильность, резкий рост дохода на поверку может оказаться временным явлением. Стоит ли возродить финстрипы?
Давно хотел спросить,а что это за УГ сервис,а то мне уже стало интересно про что он и как выглядит.ссылочку в студию, плиз.
Попробуй на сайт поставить рекламу от http://advertur.ru это проект profit partner.
>Припомните мои слова, через 3-4 года вся тусовка зимовщиков переедет из ЮВА
Дороговато получается что то 🙂 А так зимовщикам в принципе пофиг где зимовать.
Спрут, а как влияет падение нефти на цену песо, тоже катится вниз как и рубль? Мне кажется, как обычно на зимовке и бывает, первый месяц самый «затратный», а дальше расходы будут несколько снижаться. С другой стороны, это работает когда на одном месте сидишь. Но ты, наверняка, уже знаешь в каких маркетах дешевле еда и в кафешках уже все новое попробовал и знаешь что не надо брать? А то берешь первые 5 раз незнакомые блюда и есть не можешь))
когда $ будет 200 руб., зимовать станет выгодно в Саратове))
а что удивительного? в казахстане довольно много активных интернет серферов)а на какую тему уг сервис?)
> Припомните мои слова, через 3-4 года вся тусовка зимовщиков переедет из ЮВА
азия — дешевая еда, безопасно, дешевые шлюхи, круглый год тепло.
ЮА — еда дороже, любая страна азии безопасней любой в ЮА (кроме чили https://ru.wikipedia.org/wiki/Список_стран_по_уровню_умышленных_убийств ), погода меняется.
Зимовщики никуда не поедут а вот на постоянку все больше будут ехать. Там менталитет понятней, перспективы получить гражданство и куча других плюшек. А вот дауншифтинг никакой. Жил бы щас в тае на $400 как бог.
Как бы не пришлось переименовывать «странствующий вебмастер» в «остаться в живых» )
Егор, соглашусь. Помню в времена революции в Таиланде все кричали, что будут валить в другие страны, свалили в Камбоджу, увидели то там цены и сервис не соответствует Таю и эта тема больше не подымается.
Как по мне — с ростом цен в Паттайе-Пхукете Самуи народ просто рассредоточится по другим провинциям. Я вот с удовольствием читают блоги о жизни в Исане.
По-моему что-то с шириной шаблона стало, на моём ноуте контент шире экрана.
tulvit, смотря откуда туда приходить)
seo-keys, план Б есть всегда) В том числе и кредитами )) Но постараюсь обойтись без них, и перебираться в более дешевые страны.
Финстрипы — каждый решает для себя сам.
Devvver, ну зимуют не только нищеброды, а с бюджетом 50к+ на двоих что Тай, что ЮА — разница не настолько большая.
Low-fare, а гугл для кого придуман? Никак не влияет, такой же как и раньше. Да, есть такое, но это при зимовке, и по неопытности, а так 3-5 дней и уже примерно понимаешь, что к чему. С едой у меня почти никогда таких проблем не возникало)))
SashaZerg, это точно) Поэтому надо срочно перекидывать доходы в валюту, как это было примерно до 2009-го.
homakov, безопасность — понятие относительное, и в метрополии тут так же безопасно, как и в азии. Филиппины и Индонезия тоже не сахар в общем-то, если забрести не туда. Но в целом согласен, объективно тут намного напряженнее, особенно по сравнинию с Таем/Малайзией.
С едой — согласен. В кафешках. На рынке цены такие же. Исключительно дешевая еда — это скорее только к Таю относится, в остальных странах ЮВА дешевая еда как правило нелицеприятная, а в кафешках цены 2-4$ — так же как и здесь. Это Филы, Бали, Камбоджа, Лаос и т.д., там дешевый только джанк-фуд типа багетов в Лаосе или супчиков. Али во Вьетнаме все блюда по 1$?
Погода — ээ, ЮА большая, это целый материк. Хочешь на экваторе на побережье живи, хочешь — в горах (в Азии такого выбора почти нет), хочешь далеко на юг до зимы добирайся. Тепло круглый год и здесь.
На постоянке тут и так достаточно людей. Менталитет + расовый состав + язык.
Увы, на 400$ я бы и в Тае особо не разогнался) Сколько это по текущему курсу, 13к бат? Я так нищебродил разве что в первые месяцы, потом доход все таки дорос до 25-30к, те же $800 в месяц.
Как будто в первый раз))
http://www.wikisexguide.com/wiki/Medellin (цены в песо дели на два, получатся доллары). Как я уже писал выше, расовый состав тут намного более приятней азиатского)
Devvver, тоже самое было при наводнении. И точно так же куча людей живет в Чианг Мае и в ус не дует на тему волнений или высоких цен. Проблема в другом — продолжают закручивать гайки, продолжается наплыв людей, и тот Таиланд, что был 3-5 лет назад, уже совсем не сегодняшний (хотя, вполне вероятно, что это просто накопление опыта). Конкурента Таю в ЮВА нет, конечно, да и в ЮА тоже (особенно по ценам), однако тут есть намного больше интересностей, чем там (и трехмесячные/полугодовые визы). Хотя, возможно, я рассуждаю чисто со своей колокольни — объездив почти всю ЮВА, мне там просто скучно, а зимовщики все таки к другому едут)
Тоже ширина поплыла…
1) Спрут чтобы почитать норм твой блог — пришлось динамичски менять ширину твоей колонки при чтении. поправь диз
(это мой фикс в упор 🙂 )
2) по поводу сервиса — вполне может быть обращусь за одной доработкой. спишемся 🙂
Спрут, те кто живут на большие бабки трендов создать не смогут. Точнее смогут — для богатых, а не основной массы.
Доллар вон уже сколько, много блоггеров задумываются вообще, а стоит ли ехать в Тай. Предложи им ЮА, где еще дороже и нет тусовки как таковой — я не думаю , что они рванут.
Там вроде все дешевле чем в Паттайе или я не прав?
В соседней Камбодже вообще лафа с визами, продлевай на сколько угодно.. Нет массового туризма туда.
моя ссылка тебе диз сломала, ну CSS то поставь нормальный
Вьетнам ничем не хуже Тая, привыкнуть можно. И Малайзия. Полно мест которые начинают развиваться. Разве что со шлюхами только Тай рулит лол.
Про качество уличной еды спорить не буду тк ел ее раз 5 в жизни )
ЮА хоть и разный но я бы там осел либо в Лиме либо в Чили Аргентине Уругвае. Остальное смотрится страшновато
У меня в ФФ все ОК, странно. Ссылку поправил.
Смотря что называть «большими». Такие как Егор — да, не смогут, у них совсем другие бюджеты, но основная масса зимовщиков не хардкорные нищеброды, а вполне себе зарабатывающие люди (50к+ на двоих) — тем более, сколько их с детьми путешествует. Они и не будут создавать тренд, они ему последуют)
Да, сейчас рубль очень сильно подкосил, особенно бюджетных, сезон считай пропал. Но потом, когда стабилизируется… Тай гайки закручивает, везде кроме Филиппин еботня с визами, кто-то уже по паре сезонов там прожил. А тут — внятный язык, белые люди, куча природных достопримечательностей и гор, нет проблем с визами. Да даже по ценам — $800 это не настолько большие деньги, учитывая активность, я столько же тратил в ЮВА или в Шри-Ланке — а ведь это еще дорогая страна. Только перелет дорогой и безопасность. Ну и я не говорил что сейчас — пока что это терра инкогнита для большинства, проверенной инфы очень мало.
Да, в ЧМ дешевле и душевней, чем в ПТТ.
Давно не заглядывал в Сием Рип и Сиануквиль? Да и Камбоджа намного трешовее. Подойдет разве что тем, кому домик на берегу моря и больше ничего не надо.
Малайзия — жопа с визами. Я не спорю, там бы я с удовольствием остался бы пожить) Просто в азии не так много разнообразия (ну опять таки после того, как объездишь пол региона).
Чекни http://medellinliving.com/ например, или http://nomadlist.io/ (про Медельин я оттуда узнал собственно). Даже тут в городах четкое разделение «район для богатых», где можно спокойно гулять в любое время дня и ночи и где чисто, и фавеллы, куда даже днем соваться нежелательно. А в остальном — зависит от предпочтений.
ты мегаоптимист))
Приходилось пару раз слышать, что некоторые нищеброды в ЮА попадали в не очень приятные ситуации, оказавшись как минимум обворованными. При этом не захаживали в фавеллы и подобные. Мексика представляется не самым благополучным местом. Интересное направление ЮА, но какое-то немного волнительное 🙂
Не понял — поясни. Нужные Спруту тысячу баксов могут дать 40 часов фриланса при среднем рейте. А в рублях это 52000 на минуточку.
Я реально не понимаю, как нужно ебланить, чтобы не заработать какие-то тысячу баксов. Да уж, действительно проблема поработать неделю, чтобы остальные три отдыхать не считая копейки.
bakuchelli, почему только нищеброды? Обворовать могут любого (я этих историй тоже предостаточно слышал), и тут этот риск куда выше, чем в ЮВА) (а вот с РФ — вопрос). Волков боятся — в лес не ходить, ну и здравый смысл никто не отменял (я не обвиняю жертв — просто часто это пренебрежение правилами и пофигизм. Да, можно сходить в два часа ночи за добавкой рома и вернуться, а можно днем на площади быть ограбленным, но чисто статистически если регулярно гулять по вечерам, особенно в неблагополучных районах — вопрос только когда словишь эти самые неприятности). Мексика (как и ЮА) большая, есть районы хорошие, есть не очень.
Roman, проблема в том, что чтобы не напрягаясь за неделю зарабатывать тысячу баксов, нужно перед этим годик-два нарабатывать профиль, скилл и пул работодателей, и далеко не факт, что получится держать режим «неделю работаю, три недели отдыхаю». Не говоря уже о самодисциплине или постоянных контрактах, которые по сути не отличаются от офисной работы. И вообще о фрилансе в целом как наемной работе.
А как по-другому? Не имея ни капитала, ни знаний, ни опыта в отрасли, о своем проекте можно забыть. Времена изменились, уже недостаточно создать какой-нибудь простой с точки зрения реализации и не требующий вложений проект, который будет приносить сколь-нибудь значимые деньги. Не говоря уже о том, что работа над своим проектом обычно занимает больше, чем 8 часов в день. Тем более в одиночку.
Хм, действительно. А чем ты тогда занимался четыре (или сколько там) года? Это так, вопрос на подумать, будешь на работу устраиваться — будет что ответить 🙂 «Хочу» не работает. Не хочет свой проект сейчас только ленивый. Вот только даже 80% стартапов прогорают. А у них инвесторы, бабки, кадры и все такое, чего у тебя нет. Чтобы удовлетворять свои хотелки, нужно чем-то жертвовать (время, деньги, здоровье, навыки и прочие ресурсы). И это абсолютно справедливо. Рынок и естественный отбор расставят все на места.
Roman, ты серьезно задаешь этот вопрос в контексте этого блога и окружающего коммьюнити манимейкеров разного толка?) Про отношение к фрилансу я писал еще 7 лет назад — http://carlessinyakutsk.blogspot.com/2007/08/blog-post_15.html , с тех пор мало что изменилось (разве что ЧСВ стало меньше.. или просто тоньше).
Если под простым и не требующим вложений проектом ты подразумеваешь всякий скам типа тех же ГС под сапу/ггл/подписки/смс-лохотроны и прочее — то да, теперь стало куда сложнее. А для белых проектов ничего не изменилось за 10 лет — разве что аудитория рунета выросла на порядок, и теперь он уже совсем не тот «гиковский», а намного более обыденный. Ну и соответственно конкуренция тоже выросла.
Процитировать пословицу, что работать надо не много, а с умом?) И в чем проблема работы по 8 часов в день?
Повторюсь, мне не интересна карьера фрилансера или наемного рабочего (не важно, насколько высокооплачиваемого), я этим занимаюсь исключительно из-за денежной ситуации (а так же, бывает, для скилла). Во всяком случае в данное время.
Хотят многие, делают что-то — очень мало. 80% — это еще очень оптимистичная оценка.
Кто ж спорит? Каждый сам находит свой баланс.
«уже недостаточно создать какой-нибудь простой с точки зрения реализации проект, который будет приносить сколь-нибудь значимые деньги»
может да, а может и нет 🙂
Дык любая фрилянс биржа — сорт помойки. Для студентоты-третьекурсоты еще ок, но имея за плечами ~10 летний стаж надо уже либо свои сурьезные проекты развивать, либо сидеть в теплом офисе нормальной конторы, ну или как вариант удаленно на контрактах хороших висеть, и всякие прочие промежуточные варианты.
Все эти дейтинги и доргены на пыхе и прочие лоускильные таски должны быть давно пройденным этапом. А ничего нормального никто в здравом уме на фриланс и не вбросит.
Ну и это все в том контексте, что я сам на оДеск через месяц пойду, ибо нищеброд еще тот. Но я все же отдаю себе отчет, что это самое что ни на есть дно и параллельно буду по мере сил пытаться в свои труъ проектики, хардкорную разработку и науку.
Сильная доходность фриланса сильно же преувеличена. Если сидеть на почасовке и длительных контрактах (суть удаленный офис), то там мало кто даст больше $10-15 час, да и то хороший скилл надо иметь в чем-то, ну и на неделю ты никому не сдался, только фуллтайм/парттайм. А если разовые заказики брать, то там вообще все скатится к $5-10 в час, с учетом времени на поиск заказа, биддинг, написание кавер леттеров, холиваров с заказчиком в скайпике, инвестигейтинг и прочее и прочее.
А вот это да. Именно из-за курса доллара решил снова вернуться во фриланс заместо офиса, при курсе в 28 рублей фриланс вообще не прельщал, времени и нервов жрет много, а на выходе копейки.
У тебя неправильное представление о зарубежных биржах. Во всяком случае oDesk. Там есть разные проекты, в том числе и достаточно сложные. Вообще странные выводы, все зависит от бэкграунда и рейтинга. Никто тебя не заставляет говнокодить на php. Бери проекты на мейнстримовых python или ruby и будет тебе счастье.
Конечно, если тебе нужен какой-нибудь хаскель — тут да, проблема, впрочем как и во всем продакшене.
Насчет «ничего нормального никто в здравом уме на фриланс и не вбросит» ты уверен? Реальный пример. Сделать полнотекстовый поиск по сотням тысяч документов, представленных в графическом виде (их сначала надо распознать OCR в несколько потоков), и учесть тот факт, что при OCR могут быть ошибки (нечеткий поиск). Это для тебя слишком тривиальная проблема или нет? Даже если взять php, что тебе мешает реализовывать нетривиальную бизнес-логику на каком-нибудь Symfony2, ZF? Нет проектов? А ты точно хорошо искал?
Средний рейт сферического российского разработчика в вакууме — 20 баксов/час. Если уровень чуть повыше, можно себя продавать за 25-30. Особенно касается ruby и python разработчиков. Но можно и на php, если постараться. Индусы работают за 15$ к слову.
Европейский контракт на удаленке начинается от 30 баксов/час, хотя у меня есть знакомые, работающие за 50-60, для хороших специалистов это норм.
Ребят, а как вообще выйти на заказчиков в oDesk? Что-то смотрю, большинству заказчиков нужны очень суровые проггеры за копейки.
Просто есть свои штатные программеры и хотелось бы заряжать их заданиями с оДеска в свободное время.
Выполнял на оДеске года полтора назад несколько тасок. Ну да, брал лоускильные по сто баксов. В основном заказчики — мелкий биз, тематика сайтов почему-то повально одна медицина, лол. Т. е. там баги пофиксить, функционал прикрутить, что еще. Звали на парттайм, но там тоже ничего веселого не было, с несколько интернет магазинов на Магенто тянуть. Рейт получил 5/5, выстрелил в топ, поточно пошли уже прямые приглашения, но там также все сводилось к тому же унылому быдлокодингу.
Ну и понятное дело я параллельно смотрел все открытые таски по всем ценовым категориям — если что-то интересное на перспективу и попадается, то оч редко.
Это уже больше пересказываю мнение знакомых, относительно меня достаточно продвинутых, сам-то я на оДеск уже не заходил больше года. Не пыха, а всякие AS3, JAVA и т. д. Работают в офисе, но изредка смотрят на оДеск для интереса. Вот скопипастил из логов Скайпа:
>Посидел, полистал со скуки oDesk. Пролистал 5 страниц — один треш какой-то, раньше вроде лучше было. Или это мне кажется?
Ну и отзыв достаточно характерный. Ничего положительного об оДеске уже давно не слышал.
Здесь инфа даже не через вторые руки, а третье-четвертые, но вроде доходит без особых искажений. Люди не первый год работают на оДеске, фуултайм, выходит в месяц порядка $2-2.5к, технологии обычно какой-нить там Симфони и крупный проект, который допиливать можно вечно. Вот только проблема в том, что ради этих двух-трех тысяч долларов приходится впахивать по 50-60 часов чистого времени в неделю, т. е. рейт все к той же десятке приближается.
Хотя соглашусь, выборка у меня и не так чтобы сильно большая, может просто случайно такой дикий перекос вышел в негативную сторону.
Если делать по уму, то в оДеске можно создать профиль не как частному разрабу, а как агентству (т. е. не сам выполняешь таски, а имеешь пул разрабов). Ну а так все также — бидить, писать кавер леттер, набивать репу, постепенно выходя уже на личные контакты в обход оДеска. Так, тащемто, работают много фирм, причем клиенты уже постоянные, по несколько лет их тянут, ездят побухать за кампанию в Штаты изредка, но там уже больше не «написать парсер», а одминство и допиливание всяких интранетов.
А почему фрилансом перестал заниматься?
Евгений, это вопрос мне или Спруту?
Если мне, то сессия началась, практика, диплом, ГОСы и т. д. Плюс один из проектиков начал расти хорошими темпами, тогда посчитал, что стоит время уделять ему, а не удаленке. Ну а сейчас на нуле, не считая завала по всем направлениям (т. е. можно и нужно работать 24/7), но без 100% гарантии на доходность (свои проектики, стартапчик и прочее). Поэтому в планах фрилансом держать минимально приемлемую доходность, а все остальное время уделять другим делам, которые потенциально могут выстрелить.
давайте организуем коллективный ак на фл наймем чела пма
Андрей, бросай ты нахер этот PHP, на счет nodejs идея в целом годная.
tulvit, я вот и сам опять собираюсь метнуться на фриланс. Жизнь что называется заставила. Разница лишь в том, что писать теперь буду на Python, а не PHP как раньше. Буквально недавно завершил немаленький проект, полностью переносил все с PHP, много чего было написано на Python с нуля. В общем как то комфортней мне с питоном.
На счет одеска — на двощах регулярно люди создают топик про одеск, есть даже скайпоконфа, где тусуется погромист из одеска, который там работает не первый год и даже идет к успеху. Я тоже проходил собеседование в одеск, но дальше первого уровня не прошел. Да не очень то и хотелось на Zend Framework писать на самом деле, оно и к лучшему наверно, что не взяли, т.к. хотелось бы небольших проектов на 2-3 месяца. Больший срок работать на кого-то мне становится сложно.
Сейчас если кризис будет усиливаться, то в российском фрилансе ловить точно будет нечего. Нищенские ставки, да еще и в рублях. Поехавшие заказчики, аля сделай мне фейсбук за 15000 рублей.
Вот и я о том же, тащемто. От хорошей жизни на фриланс не идут :'(
Тоже уже давно осознаю, что с пыхи надо уходить. Но щито поделать, мейнстрим же, т. е. так или иначе с этим «препроцессором хтмл» придется пересекаться регулярно. Я все же решил убить еще годик на него, знания подтянуть, фреймворки покурить какие, с нуля что-то крупное запилить. А там уже можно и в другие технологии лезть.
Хотя все эти нодЯСы и прочие РубиныНаРельсах в качестве серьезных инструментов не рассматриваю, какие-то хипстерские тренды, без шансов на какое-то светлое будущее. Всякие ColdFusion туда же. Только что поиграться или на правах «пришлось, т. к. не было выбора». Вот похапе, сишка, ява, питон и т. д. — они не скоро еще откинутся, надо полагать. Но это чисто мое сильно предвзятое ИМХО.
Читал вроде те тхреды с полгода назад. Там вроде тоже все в духе гроб-гроб-кладбище. Такой-то успех :3
Эт точно. Ниже 40-45 за доллар рубль ближайшее время не опустится скорее всего, так что даже штука баксов уже начинает представлять интерес.
Да и не только в курсе дело, наверное. Я вот даже ни на одной ру бирже не зарегистрирован, проходился по ним поиском в свое время — какой-то адъ в чистейшем виде. Уж проще тогда на всяких hh.ru искать удаленку.
Boris, чьерт, ты тоже блог дропнул штоле? Куда катится это мир(
То есть для тебя лучше работать фултайм за такую же зарплату в Москве, только тратить кучу времени на дорогу, кучу денег на съем жилья и уезжая в отпуск не более чем на 2 недели?
За ДС и 2кб не скажу, но те же 35-45кр в ДС2 в офисе можно получать много меньшей кровью, где из 40 часовой рабочей неделе работать придется от силы процентов 25%, да и то крайне неспешно (понятное дело, не веб-студия по клепанию визиток, а что-то вроде поддержки и развития внутренних проектов для контор, напрямую не связанных с ИТ). Хотя сейчас с текущим курсом рубля ленивый фриланс на запад может и сравнялся по рентабельности с офисом, поэтому и решил снова попытаться.
А 2кб за 60 часов пахоты в неделю лично мне не нужны, т. е. сильной разницы между доходом в 40к и 100к не вижу. Куда их тратить-то. Точнее есть куда, но не так чтобы и критично на данный момент. Вот от недвижки не отказался бы, но это под десять лямов, т. е. фриланс отпадает, хоть по 150к в месяц делай, брать ипотеку на 30 лет как-то не сильно хочется, а сильно выше прыгнуть шансы не так чтобы и велики, поэтому и приходится делать ставку на свои проекты, закрывая бреши в финансах фрилансом. Может что и выгорит.
Интересно, о каких 60 часах в неделю речь? Может дело просто в неэффективном планировании времени? Вернемся в те времена, когда доллар стоил 32 рубля. Три часа непосредственно работы в день по 25$/час, 22 дня в месяц (с выходными то есть, все как у людей) — это 52800 рублей. Допустим, что еще 3 часа в день ты будешь тратить на поиск клиентов и ресерч, но это все равно 6 часов в день, а не 9, как в офисе. Ну и что-то мне подсказывает, что на 1650$ уже вполне можно зимовать в каком-нибудь Тае, не сильно ограничивая себя. Офисная работа этих достоинств полностью лишена.
Да, пришлось дропнуть. Может восстановлю через какое то время.
В общем то чем заинтересовал Python, так тем что есть крупные проекты на нем написанные, Google активно его использует, одно время у них даже работал создатель этого языка (сейчас он перешел в Dropbox кажется). Instagram, Disqus тысячи их, созданных на Python (django framework) сайтах. В youtube есть и от яндекса видео, где они достаточно хорошо отзываются о django.
У меня есть аккаунт, которому несколько лет на fl.ru, а толку то с него если там анальные ограничения и любой говнарь, купивший PRO-доступ выше меня в поиске. Некоторые заказчики так вообще ограничивают доступ к заказам только PRO-фрилансерам. FACEPALM.jpg Как будто купленная иконка дает какой-то прирост знаний, навыков и опыта. Чисто из принципа не хочу оплачивать это говно.
Обычно эта формула (часовая ставка * ~8 часов * ~20 дней = «смотрите как круто») всплывает у теоретиков. Roman попробуй в течении 6 месяцев стабильно с фриланса получать 50000 рублей каждый месяц, с текущим курсом это даже чуть меньше 1000$. Через 6 месяцев приходи расскажешь практику, а не теорию.
Именно поэтому я написал 3 часа, а не 8.
P.S. Предыдущее сообщение удалить можно, сорри, с айфона писал.
Какая разница, я предлагаю хотя бы 1000$ каждый месяц в течении 6 месяцев. Это же легко как ты пишешь. 25$x3x22=1650$(с 8 часами 4400$).
Roman,
О трекируемых тулзой оДеска, которая еще и скрины экрана делает раз в несколько минут, т. е. это даже без учета сходить чая сделать или покурить.
$25 для бирж фриланса это таки очень много, далеко не середнячок. То, что там каждый второй указывает себе этот рейт в профиле, ни о чем не говорит, на цену фиксед прайса это никак не влияет, да и цена для лонгтермов с каждым заказчиком договорная. Т. е. в профиле может быть написано хоть $100500/час, а по факту выходить десятка.
Все люди разные, возможность жить в Тае не для всех является достоинством или целью.
Boris,
Тоже о нем много чего хорошего слышал.
Ну это не только проблема fl, до оДеска у меня был пустой аккаунт на фрилансер.ком, там такая же жесть, без про акка делать нечего. оДеск в этом плане получше, но опять же не факт. Т. е. для старта самое оно, но комиссии у него дичайшие, поэтому весь крупняк надо уже выводить на прямые контакты, что опять же непонятно как. Мне заказчики предлагали оплачивать напрямую — не получилось. Палка тогда с РФ не работала (как сейчас не знаю), а закинуть деньги через МаниБукерс клиенту не получилось (какие-то ограничения были).
Продавай сайт как перспективный трастовый СДЛ с возрастом пока не поздно
Вроде уже поздновато. Страницы блога выпадали из индекса, сейчас уровень спама зашкаливает. Еще немного и АГС со всеми вытекающими. Так что я бы советовал писать больше контента! Море контента! Каждый день по новому материалу. Благо у автора есть возможность черпать эмоции и идеи вокруг.
Сейчас всё отлично, т.к. у них офис теперь в России есть. Отправляешь им скан паспорта, лимит по счёту становится 500т.р. в месяц, без скана 15. Если стать ИП или юр лицом, можно принимать больше 500, у них написано, что если приходит сумма больше 500 они их сразу перенаправляют на банковский счёт.
С выводом тоже проблем нет, у меня стандартно добавлен тиньковский банк. Жму вывести деньги и с нулевой комиссией я через 3 дня получаю деньги в банк, хотя у них написано что вывод 5-7 рабочих дней.
Даже не верится, помню читал в свое время кучу холиваров на тему. Ну раз так, то отлично, спасибо за информацию.
Мой доход сильно больше 1000$ и должность скорее руководящая, хотя может быть скоро и дойду до удаленной работы (не фриланса). Это же я Спруту предлагал, ему тысячи баксов достаточно. А так есть примеры, у моего друга 3 года назад 70к в месяц выходило, при этом он еще учился.
Собсно, Node.JS — это по сути тот же Javascript. Которому тоже уже лет 20, и уверен, следующие лет 10 будет вокруг играть весьма большую роль, учитывая, насколько сайты стали интерактивными. А уж на чем он работает — на V8 через ноду (или через свеженький его форк io.js), или в браузере, или еще как-то — не столько важно, большинство либ работают и там и там. Ты же не думаешь, что JS в какой-то момент «уйдет»?
У каждого языка свое предназначение, на Си не станешь делать сайты, на пыхе — qt-приложения. Для каких-то целей RoR/Node.JS вполне оправдан для веб-приложений, независимо от «хипстерности» (куда катится мир, технари меряют языки на хипстерность… ). Хотя, конечно, хоть на лиспе пиши, лишь бы продукт получался рабочим)
Дык просто JS’y нет и не предвидится вразумительной альтернативы в качестве клиентского языка, так что использовать его или нет вопроса не стоит. Для сервера же выбор достаточно широк.
Никто и не спорит с этим.
Выше я негативно высказывался о нодЯС/РоР исключительно в контексте ухода на него с пыхи, т. е. использования в качестве основного универсального средства разработки для сервера, а это уже далеко не «для каких-то целей».
Я про это и говорю — используя Node.JS одновременно изучаешь и сам JS, что весьма полезно как скилл. И для краулера собственно нет настолько уж большой разницы, на чем писать, за исключением того, что нод все таки больше для таких вещей подходит.
А что изменилось? Никто же не заставляет все проекты писать на одном языке. Если ты знаешь RoR, это не означает, что все сайты ты будешь делать на нем, точно так же как никто не станет делать бложек на ноде или си (кроме упоротых). Однако знать и уметь пользоваться другими инструментами, кроме пыхи (и си, окай) — весьма полезно для разработчика.
JS как ЯП сам по себе убог. Плюс изучение ЯСа пиля сервер то еще, как бы разработка под клиент накладывает свои коррективы, которых при разработке сервера явно не коснешься.
Олсо, RoR это вроде феймворк, сравнивать его с ЯП было бы не совсем корректным.
А с остальным, кто спорит же. Я высказал свое ИМХО просто. Даже специально отметил это в комменте:
>Но это чисто мое сильно предвзятое ИМХО.
т. к. тема местами холиварная.
Просто о чем это я вообще. Опять же ИМХО, ага.
Базу надо изучать в отрыве от средств реализации. Архитектура там, алгоритмика, ООП то же. Т. е. какая разница какой язык. Помню в универике практически все примеры по дискретке и алгоритмике преподавались исключительно на псевдоязыке (типа ЕСЛИ ТО), тогда не понимал, чему так, ведь параллельно еще шли пары по сям, почему нельзя сразу все примеры пилить на нем. А теперь вот понял — чтобы в мозгу все решения укладывались абстрактно, без жесткой привязки к реализации, именно на уровне общей логики.
А целенаправленно изучая какой-то язык, набивается рука и узнаются подводные камни и прочие хаки, что достаточно длительный процесс.
Прыгать с языка на язык — дык то только синтаксис выучится, т. е. ни о какой серьезной разработке во вменяемые сроки и речи не идет.
Фор фан — пожалуйста. Что-то серьезное, где идет подвязка на глубокое знание средств реализации и оперативность решения задач (чтобы неделями доки не курить) — уже нет.
Да, согласен, тема слишком холиварная)
С одной стороны да, согласен, база от языка не особо зависит, если ты знаешь алгоритмы и общий подход — то можешь писать на любом языке, главное синтаксис подучить.
С другой — языков много, парадигм — тоже, и просто зная алгоритмы и синтаксис, тот же лисп просто так не поймешь — там другой подход. Точно так же Node.JS — асинхронность, работа через коллбеки, многопоточность, все это надо изучать и понимать, и просто писать алгоритмы на нем зная синтаксис невозможно (точнее, можно, но это будет забивание гвоздей микроскопом). И если с клиентским JS это еще более-менее терпимо (для несложных скриптиков для браузера событийная ориентированность воспринимается логично, а вот для более-менее масштабных серверных — уже начинается куча геморроя, если не знать, как с этим работать).
То есть изучая новые языки, ты не только изучаешь конкретные хаки/особенности, но и новые подходы. Хотя, конечно, может это у меня просто недостаток академического образования, что я не могу вот так сходу вкурить функциональные языки с лямбда-исчислением или полноценное ООП — все таки для сайтиков особо многого не нужно, и держать все в процедурном последовательном стиле несложно, даже делая поисковик)
Дело не в том, что прыгать, а в том, чтобы знать инструменты, и согласно этому знанию применять наиболее подходящий. Например, делать сайт на друпале, преписывая кучу модулей для корректной работы, заместо того, чтобы реализовать нужный функционал на фреймворке, только потому, что знаешь только друпал — самое очевидное следствие такого незнания. Необзательно быть суперпрофессионалом, чтобы сваять нужную вещь)
Опять таки, хз. Так можно никогда ничего не выучить, потому что знания получаются как раз на опыте нормальной разработки, а как его получить, если все скидывать на уже знакомое окружения, при этом не занимаясь фор фан ничем? (и как правило фор фан дальше хелло ворлда не уходит).
О чем и речь. Все это требует времени и опыта, чтобы на хорошем уровне вкурить и набить руку. Но стоит ли это все в контексте языка, с которого скорее всего спрыгнешь рано или поздно? Т. е. если что-то хорошо изучать, то что-то более фундаментальное (пхп, питон, клиентcкий ЯС), а все остальное именно на уровне поиграться и для расширения кругозора, ну и просто лишнюю технологию себе в ачивку записать.
Same shit, ага 🙁
Вообще не от того отталкиваетесь. Нужно изучать тот язык, на котором больше всего нравится писать. Что касается заработка, на любом мейнстримовом можно заработать. Уж на js точно.
tulvit, да, но я изучаю не только конкретные особенности языка, я изучаю и всю парадигму, и в следующий раз встретившись с многопоточностью (в Си или Питоне) я уже не наделаю столько детских ошибок и архитектурных просчетов, безотносительно синтаксиса или конкретных инструментов. И, аналогично, если бы я это изучал раньше, сейчас знакомство с Node.JS протекало бы куда проще.
Со всех языков рано или поздно приходится «спрыгивать», и даже не из-за устаревания, но и просто из-за застоя — всегда нужно изучать что-то новое.
Изучать надо то, что нужно в задачах, а не абстрактно «фундаментальное». То есть например я сейчас не вижу особого смысла изучать/переходить на питон или руби, так-как они решают те же задачи, что и пыха, и имеют те же проблемы. Но нод предназначен для совсем других целей (так же как клиентский js), и решает то, что пыха не может (Си может, но порог входа туда куда выше. Лисп тоже может, но это уже хардкор).
Не поиграться, я выполнить задачу и получить возможность решать подобные задачи в будущем. Кому нафиг нужны эти ачивки, если ты не работаешь по найму?
Roman, «нравится писать» — это как раз таки застой, ибо изучение чего-то нового — это выход из зоны комфорта, так можно постоянно писать на одном и том же языке и не видеть ничего другого (где-то была клевая статья про то, как программисты приклеиваются к одному языку, не помню где). Есть задача, есть оптимальный способ её решения, личные предпочтения тут играют куда меньшую роль. Средние сайтики можно и нужно писать на пыхе, веб-приложения типа Trello куда удобней писать на ноде (хотя можно и на пыхе, да), поисковики оптимально писать на Си. А уж когда фейсбук пишут на пыхе, а потом пишут для этого транслятор пыхи в Си, или новый язык со статичной типизацией, чтобы избавится от тормозов, или поисковик на пыхе, и прочее прочее — это уже клиника)
Roman,
Это в идеале. Обычно нравится на том, на котором лучше всего получается. Мне вот сишка импонирует, но я ее тупо не вытягиваю, плюс в плане вебдева она не особо и нужна, только что часть самых прожорливых вычислений на нее выносить, т. е. кодить на ней приходится оч. редко, а такими темпами особо не выучишь. Джаст фор фан с утра до вечера учить язык не слишком уж и правильным вложением времени будет. А уходить с вебдева в обычный кодинг планов нет.
Spryt, в целом таки соглашусь.
Он однопоточный
XXX, да, мне уже объяснили, хотя я пока что с трудом различаю многопточность и асинхронность (кроме того, что это приносит просто прорву проблем с проверкой данных — если в один поток это решается относительно просто, даже асинхронно, но когда запускается одновременно парсинг 10 страниц, и рeзультаты некоторых проверок зависят от того, что вернул паралельный поток… Приходится извращаться, парсить одновременно 10 страниц, собирать данные, затем синхронно проверять, и только затем парсить следующий блок страниц).
Для этого есть async, а со временем придёшь к очередям. Можешь сразу kue поглядывать.
XXX, для чего есть async? В один поток асинхронно парсить — нет проблем, заворачиваем проверки в коллбеки и всё ок. Но когда ты берешь десять урлов и одновременно их отправляешь на парсинг, все данные отправляются одновременно, и то что проверяешь для первого урла — уже добавляется для второго, и получаются коллизии. Приходится колхозить либо уникальный индекс в БД, либо все запросы сохранять в пул и только потом делать проверки. Может подскажешь, как это можно сделать «по уму»?
Спешиал фо ю, открываем https://github.com/caolan/async и смотрим прям сразу пример
async.parallel([
function(){ … },
function(){ … }
], callback);
callback(err, results) — An optional callback to >>>>run once all the functions have completed.<<<<
То что тебе надо вообще не проблема.
Async позволяет дождаться выполнения чего нужно, и выполнить в нужной последовательности.
Я вообще ничего не понял. Забудь про «поток», ты явно не так его представляешь. У тебя проблема с асинхронностью, а не потоком.
Один поток, это когда одна копия ноды работает на одном ядре и в конкретный промежуток времени может выполнять только одну операцию, всё. Если запустить больше нод, по одной на ядро, вот тебе много однопоточных нод.
Про индекс вообще какой-то феерический геморрой. Про пул я уже сказал, что со временем ты придёшь к очередям. Ибо между несколькими копиями ноды данные передавать проще всего очередями.
Геморрой у тебя основной будет когда будет течь память, а она у тебя будет течь. А дебажить особо нечем.
XXX, async конечно попробую, но ты не понял мою проблему..
Я делаю выборку из 10 урлов, затем через forEach отправляю их парсится. Я не знаю, что ты понимаешь под потоком, но парсятся они асинхронно, i.e. — одновременно. В процессе него например выделяются все внешние ссылки, их надо добавить в базу — только сначала проверить, не добавлен уже этот хост. Делаем проверку, дожидаемся результата, если еще нет — добавляем, если есть — получаем айдишник, добавляем в следующую таблицу информацию о ссылке.
Если убрать forEach, и парсить по одному урлу за раз — никаких проблем не возникает. Но это медленно, и раз уж используется Node.JS — фигачим сразу 30 урлов. И когда на двух страницах встречаются ссылки на один и тот же хост, mysql-проверки накладываются друг на друга, и в итоге в базу добавляется сразу несколько дублей.
Вопрос — как этого избежать? Для одних данных я собираю урлы в массив и потом обрабатываю его разом, для других — можно просто кинуть уникальных индекс в БД и делать INSERT IGNORE. Каким боком async тут поможет, кроме превращения приложения в синхронное, когда каждая проверка хоста в БД будет тормозить выполнение парсинга?
А то что ты имеешь ввиду делается точно так же с помощью callback hell’а, это просто удобство, а не функционал.
urls.forEach(function(item){
parse(item,function(){
console.log(‘finished’);
}
}
function parse(item) {
//blah blah blah
post_links.forEach(function(href){
add_link(item,href);
});
}
function add_link(item,href) {
//blah blah blah
pool.query(‘SELECT id_site FROM sites WHERE host=’ + pool.escape(hostname),
function(err, result) {
if (err) throw err;
if(result.length == 0) {
pool.query(‘INSERT INTO sites (host,is_www) VALUES (‘ + pool.escape(hostname) + ‘,’ +is_www+’)’,
function(err, result) {
if (err) throw err;
cb(result.insertId);
});
} else {
cb(result[0].id_site);
}
});
}
Ну так с этого и надо было начинать. Ты сам себе сделал проблему на ровном месте.
Есть у тебя массив из 1000 урлов например, ты этот массив гонишь через foreach, и пока прошлый цикл не закончится, следующий не начнётся. Нафига спрашивается использовать блокирующий foreach и пытаться сделать внутри геморрой с 30 запросами. Во-вторых foreach ОЧЕНЬ медленная штука, хотя в твоей задаче ты это не почувствуешь, у тебя время уходит на коннекты к сайтам, но лучше выкинуть из головы этот опыт jquery. Можешь опять же взять async.each, он отлично лупит в параллель из коробки и не ждёт пока прошлый each закончится. И они у тебя будут не по порядку лупить и не «одновременно»(для одновременно нужна многопоточность, которой в ноде и нет). Если нужно по порядку там же eachSeries.
Я то описывал совсем другую проблему, ибо ты споткнулся на ровном месте.
И поток это поток https://ru.wikipedia.org/wiki/%D0%9F%D0%BE%D1%82%D0%BE%D0%BA_%D0%B2%D1%8B%D0%BF%D0%BE%D0%BB%D0%BD%D0%B5%D0%BD%D0%B8%D1%8F другого понимания нет
Спрут, а почему бы не использовать сервер очередей сообщений Gearman? Запускаешь несколько воркеров, передаешь им задачу асинхронно и все.
XXX, ты продолжаешь тыкать в совершенно некритичные места. Да, разумеется, поэтому у меня циклы разбиты на пачки по 10-50 урлов, и в конце каждого запускается синхронное добавление урлов и получение новой пачки. Сделать его через async.each — дело двух минут, однако проблему с коллизиями это не решит — запросы к БД так и буду накладываться друг на друга.
Вот именно, ты описываешь проблему, которую я вполне понимаю как решать и не вижу с этим особых сложностей.
Хорошо, это поток. Тогда как называется асинхронное запуск парсеров через тот же async.each? Они ведь работают асинхронно, просто через eventloop. Точно так же как сама операционная система реализует многозадачность, разделяя задачи для процессора, хотя формально это тоже только один поток команд для процессора (если брать одноядерный).
Roman, а смысл? Проблема то не в том, что задачи как-то мешают выполнению друг-друга, проблема в том, что на уровне хранения данных возникают коллизии. Которые, опять таки, проще решить на том же уровне БД, но я пытался все таки попробовать решить это на уровне программы.
Я в упор не вижу проблемы. Допустим есть 5 страниц как ты пишешь. Функция их парснула, достала ссылки и на трёх из них есть ссылки на один и тот же хост. Одна из трёх страниц проверяется на присутствие хоста в базе, нету хоста, сохраняется. Другие две проверяются, есть хост, возвращается id. Я не вижу где тут чего может наложится и тем более, как можно засунуть дубли.
Да так и называется, просто асинхронный запуск.
XXX, ты не видишь, а она есть.. Парсятся то они может быть и синхронно, а вот обработка урлов делается параллельно. И пока для первого урла добавляется новый хост, второй третий и четвертый так же запрашивают наличие этого хоста, получают отрицательный ответ — и так же посылают запрос на добавление урла. В итоге имеем кашу в БД.
То что ты говоришь, работало бы в синхронном виде (в пыхе например). В Node.JS — если урлы проверять по одному за раз. Но когда ты проверяешь по 10 урлов за раз, запросы на проверку наличия хоста / его добавление в базу накладываются друг на друга.
И да, это не при загрузке страниц, в котором действительно были бы большие задержки на загрузку страницы и хватило бы времени — он грузятся отдельно (тоже отдельная либа, чтобы загружать урлы одновременно), данные из БД, и доступны сразу.
Ну окай, пусть будет асинхронный запуск. Проблемы это не снимает, во всяком способов решения её на уровне скрипта (с сохранением асинхронности), а не БД.
Прикалываешься? =) У тебя добавление в базу сколько идёт, несколько секунд? Это настолько медленно должно работать обращение к базе, чтобы за это время пока туда сохраняется результат, в другом месте уже случился запрос и туда так же начал сохраняться результат.
Я с 2010 года каждый день пишу на ноде, правда база у меня монга всегда, но сути не меняет. Твоя проблема у меня не вылезала ни разу за 4 года.
Тут скорее проблема в построении кода, т.е. что, где и как должно стоять. У меня была проблема. Там прилетали задания из очереди в большом количестве. В зависимости от задания мне нужно было выполнить очень много функций в строгой последовательности. Раз 6 я точно это место переписывал полностью.
XXX, на 10 страниц набирает 300-800 урлов и соответствующих проверок, плюс все идут через pool-соединения. Если бы все работало как ты говоришь, я бы даже не парился над этим вопросом, но так-как тут всё работает асинхронно, получаются такие закавыки. БД — MySql на локалке. Монго/редис конечно пошустрее, но не 500 проверок за несколько секунд (плюс мне нужно хранить слишком много данных, да и привычней все таки).
Повторюсь, если парсить по одному урлу (даже асинхронно) — никаких проблем нет.
Да, я новичок, ноду установил всего месяц назад и многое не понимаю. Но не надо делать типичную ошибку «раз я с такой проблемой не встречался, значит её не существует». У меня вот в первом же скрипте возникла такая проблема. И повторюсь, я её решил, на уровне уникального индекса в БД (раз уж проблема возникает из-за неё) или внутреннего пула (заранее отсортировывая запросы с одинаковыми хостами, чтобы проверка происходила только один раз и данные не пересекались).
Попробуй всё-таки с очередями, смотри. Ты пихаешь например 800 урлов в очерель. В другом месте ты достаёшь скажем 500. Из этих 500 ты уже на этом этапе можешь без обращения к базе понять повторяющиеся хосты. Собственно будешь ты делать одним заходом 500, или 5 параллельных по 100, скорость то одинаковая, т.к. поток то один.
Spryt, ну ты псих, делать аналогичный проект на незнакомом тебе языке. Даже банальный рефакторинг нельзя совмещать с основной разработкой. Сам много раз наступал на эти грабли. Это все очень неэффективно. Зачем ты себе гемор на ровном месте делаешь? Сделай проект на том, что есть и работает. Запусти. После этого извращайся как хочешь — перепиши хоть полностью на чем угодно, НО (минутку внимания) твой проект УЖЕ будет работать все это время пока ты будешь переписывать его. Ты выиграешь время, проект будет работать на тебя, а тем временем ты будешь его переписывать. А в твоем случае ты, скорее всего, переоценишь свои силы (мотивацию), сильно выбьешься из временный рамок, которые ты наверняка себе поставил.
По поводу снобизма насчет php, типа это хреновый язык, немодный, несовременный и все такое. Вы серьезно? Я вообще не пойму в чем проблема. Есть цель, есть средства. Если средства позволяют достичь цели максимально быстро и эффективно, то почему нет? У меня не один проект написан на php кодом далеким от идеального, но тем не менее эти проекты работают быстро (оптимизирую узкие места + толковый админ сервера) и приносят деньги. Что еще нужно? Ну если для фана, то да, я понимаю — всегда интересно что-то новое поизучать. Но только не надо путать теплое с мягким. Вам деньги зарабатывать (покорять мир своим гениальным стартапом) или повышать свой уровень знаний/умений? Это не связано практически, как показывает моя многолетняя практика 🙂
Если для фрилансеров быть в тренде это актуально, ибо рынок формируется модными трендовыми средствами разработки, то если ты работаешь на себя и четко понимаешь что тебе нужно — все эти новомодные хипстерские (лол) языки нахрен не нужны.
XXX, а через что реализовывать очереди? Я уже сделал, просто через один глобальный массив. Правда, только сейчас понял, сколько я там наговнокодил, сейчас буду рефакторить на async.
Raoul, а как еще изучать новый язык/фрейморк/технологию? Писать hello world’ы и штудировать книги? У меня это никогда не работало. Только реальные задачи и проекты.
Ты забываешь, что я уже сделал эту версию для рюнета, наступив на все грабли какие мог. Формально, сейчас мне нужно только краулер переписать, БД и веб-приложение можно оставить таким же на php (только самую малость модифицировать). Но, понимаешь, сейчас, узнав и выяснив многие вещи, становится понятно, что предыдущую версию проще вообще выбросить и переписать всё с нуля (чем я сейчас и занимаюсь), так-как переписывать там реально надо всё. И запускать аналогичную версию для буржа на старом коде просто бессмысленно, она не отвечает техническим требованиям.
Есть немного, да. Впрочем, тот же краулер уже почти закончен, я уже его почти на боевую тестирую, и делаю задел для будущего развития (ту же реализацию ссылочного — на первых этапах она особо не нужна, но если её сразу не сделать, потом придется переиндексировать всё заново). Скоро уже начну запускать на впске и выявлять проблемы при индексировании блогов целиком.
Ничего подобного, во всяком случае у меня. И даже многопоточность не настолько критичная вещь (ну индексировал я блоги в один поток — медленно, но верно, никаких проблем). Однако, для краулера пыха все таки не самый лучший вариант, к тому же под ноду есть замечательные readability-либы, ну и изучить что-то новое весьма полезно.
Why not both? Все равно деньги не цель) Если бы я делал скрипт на продажу/фриланс — разумеется, на ноду я бы даже не взглянул) Но тут то свобода выбора, выбирай что душе угодно. Хипстерско не хипстерско — без разницы, хоть на Go пиши (выбор Node.JS во много обусловлен огромным количеством библиотек — мне не пришлось писать краулер/обходчик или выделение текста на странице, все это уже есть. И при этом там нет всякого устаревшего и deprecated кода, к тому же все доступно через единый npm. Хотя я это понял уже после того, как начал работать с ним).
А как ты сможешь осознать, что действуешь неэффективно, если всегда используешь один и тот же инструмент (язык/фреймворк)? Никак. У каждого инструмента есть свои плюсы и минусы, и свои области применения. Я бы с удовольствием сделал бы краулер на Си, но на это уйдет куда больше времени. И на пыхе, если реализовывать аналогичный функционал, тоже (суровый матан парсеров, выделяющих только нужный текст на страницы, мне пока недоступен — во всяком случае, универсальный, а не вручную оформленный для каждого блога).
Я выше писал kue.
apt-get install redis-server и npm install kue —save
Штука простая, всё что надо есть, работать очень легко.
Спрут. Вот ты говоришь не имеет смысла менять php на python / ruby. А я скажу имеет. На тот же Ruby / ROR к примеру. Как не крути, а на PHP за все это время так и не появилось фреймворка уровня ROR. Все эти Yii рядом не валялись. На ROR у тебя построен весь цикл разработки. Статика автоматически сжимается, скрипты компилируются, все оптимизируется автоматически. А через scaffolding дак типовые сайты пишутся на раз-два. Пока ты соберешь это все окружение на php пусть даже при помощи composer, разработчик на ruby уже запустит начальный вид проекта и задеплоит на сервер. Сейчас выигрывает тот, кто может быстро выкатить продукт в продакшен. А Rails это пока может только, Django в догоняющих.
XXX, thx, сохранил в закладках.
wbs, я говорю о чисто технических преимуществах. К примеру, писать сервер на PHP — извращение, на Node.JS — почему бы и нет. Преимущество RoR — хорошее окружение, модульность, свежие либы — совершенно согласен, это упрощает и ускоряет разработку. Но на пыхе точно так же набирается свой стек нужных вещей, в том числе вокруг фреймворков, сильно ускоряя разработку новых проектов (если уже написал несколько проектов на нём). Конечно, не так эффективно, как в RoR, но эта разница не настолько критичная, чтобы изучать новый язык. Как-нибудь — возможно, но не в текущих проектах)
А можешь рассказать подробнее о реализации своего парсера с помощью ноды? Просто чисто профессиональный интерес. Сам сейчас пишу парсер курсов валют на питоне, тоже немало данных. Не самый лучший вариант, по тредам распараллелить нереально ибо GIL, только по процессам. Спасает появившийся в 3.4 asyncio: async I/O, event loop, coroutines.
Roman, а что там интересного? Все логично — скачиваем страницу, парсим, добавляем в БД данные, к следующему урлу. Хотя я делаю в два скрипта — один только скачивает страницы, другой только парсит. Единственная разница — из-за асинхронности все приходится оборачивать в кучу коллбеков + очереди + постобработка данных после пачки урлов. Преимущества — выше скорость (ХХХ, таки да, на ноуте БД совсем тормозная, на впске эти 300-500 урлов обрабатываются за секунду) из-за асинхронности, но тоже скачивание страниц все равно упирается в тормоза на стороне сайта, почти синхронно идет (но с солянкой разных сайтов наверно должно быть получше — хотя не так критично).
SF и топсапа все парсит синхронно, данных хоть и много и нужны часто, особых проблем нет.
Спрут, я давно хочу с тобой посоветоваться: а в какие фотобанки ты выкладываешь фотки? Ищу инфу номальную по этой теме, но пока только фигня какая-то попадается