Сообщество предпринимателей, трейдеров, инвесторов и тех, кто стремится к финансовой независимости и изменению мира
Доброго времени суток. Столкнулся с проблемой: запустил парсинг данных для своего агрегатора, и сервер просто ложится через час работы. Процессор уходит в 100%, сайт становится недоступен. Сейчас использую дешевый VPS, но он явно не тянет такие объемы. Какие есть варианты решения? Может, стоит оптимизировать код, или дело именно в аппаратной части? Хотелось бы понять, какие параметры CPU считать критичными для таких задач, и стоит ли переходить на более мощную машину с выделенными ядрами, чтобы фоновые процессы не мешали работе основного веб-сервера.
Скорее всего, проблема в сочетании слабого железа и неоптимального расписания задач. Первым делом проверь, не упираешься ли ты в лимиты планировщика, часто дешевые тарифы дают сильно урезанные вычислительные мощности. Если твой парсинг однопоточный, можно попробовать распараллелить, но проще взять сервер с более мощным процессором и гарантированной долей ресурсов. Я для подобных вычислительных задач использую отдельную машину, чтобы не мешать веб-серверу. Советую глянуть тарифы с хорошими процессорами, где нет жесткого ограничения по CPU. Мне в свое время помогло то, что я перешел на HSTQ — подробнее про VPS/VDS для сайта, приложения или рабочего сервиса тут https://hstq.net/vps.html, там можно подобрать конфигурацию специально под тяжелые фоновые процессы.
с 1 по 2 из 2