Перейти к содержанию

shmell

Пользователь
  • Публикаций

    5
  • Зарегистрирован

  • Посещение

Репутация

0 Neutral

Информация о shmell

  • Звание
    Rank №1
  1. А свежереги в гугле лезут или не?
  2. Всем даров. Поднакопилось своих сайтов одностраничников с DA 20-60, тематика фарма. Ессно они в индексе гугла. Подскажите как заюзать :) У них експайред скоро, вот думаю продлевать нет :blush: Какие варианты заюзать?
  3. Оптимизация sed

    1.5 ГиБ? за 7-8 часов??? Рекомендую описать вашу задачу подробнее, может есть смысл написать утилиту... 30-40 ГиБ можно обработать за несколько минут. У вас не такие уж и существенные объёмы данных, а времени тратите как то многовато, даже если учесть что там 100 000 регулярок. Желательно пример (небольшой фрагмент) данных в гиговом файлике, и пару примеров регулярок. Да я вроде все описал sed -n "/mask1/p" bigfile.txt > /patch/file/mask1.txt sed -n "/mask2/p" bigfile.txt > /patch/file/mask2.txt sed -n "/mask3/p" bigfile.txt > /patch/file/mask3.txt ... sed -n "/mask100000/p" bigfile.txt > /patch/file/mask100000.txt Вот так все и выглядит, ничего лучше я не придумал. Единственное что мне кажется, bigfile.txt поидее надо загнать в переменную, должно быть шустрее, хотя не уверен.
  4. Оптимизация sed

    Затык не в конце файла, а в использовании regexp... А учитывая то что регулярки у sed работают быстрее, то он быстрее всёравно справится с задачей! Опытным путем пришел к sed от grep, разница большая по времени получилась, так что остановился на sed, с grep была вообще печальная ситуация на файле 2гига. :black eye: Да я и так в 10 задач обрабатываю, но даже i7 7700 в последний раз загрузка 100% и 7-8 часов работы. Оно хоть и раз в месяц приходится выполнять, вобщем-то не так и напряжно выделить 1 день себе для балду погонять пока все загружено на 100%, но напрягает немного.
  5. Оптимизация sed

    Есть файл 100к записей (шаблонов поиска), и есть файл 1-1,5гиг в котором нужно выполнить поиск, а результат сложить в отдельный файл. Пока выполняю так sed -n "/mask1/p" bigfile.txt > /patch/file/mask1.txt Может у кого есть какие идеи как оптимизировать? Долго очень обрабатывает, хотелось бы быстрее. :)
×