Может быть кому то пригодятся наработки по автоматизации скачивания архивов и баз с Флибусты . Изначально брал за исходники файлы с раздачи https://booktracker.org/viewtopic.php?t=67933
Но в дальнейшем. В итоге глубокой переработки получился универсальный скрипт. Который может работать на большинстве операционных систем linux.
26 октября 2024 г. Небольшие изменения скрипте GetSql.sh.
После завершения скачивания всех баз, скрипт может работать по одному из двух алгоритмов.
Вариант 1: Скачанные базы распаковываются и перемещаются в место постоянного хранения.
Вариант 2: Скачанные базы не распаковываются, а только перемещаются в место постоянного хранения.
Выбор пост обработки добавлен в переменные.
Нужный вариант задается через переменную $BAZA_PACK.
Требуется раскоментировать нужный вариант. Не нужный вариант, закоментировать.
Сами алгоритмы пост обработки перемещены в функции.
Анонс.
Написан новый скрипт CreArch.sh
Единственная его функция находить в папке хранения
- единых архивов файлы с префиксами a.fb2 и a.usr. И перепаковывать их в один большой архив.
- На выходе получаются два больших архива с префиксами a.fb2 и a.usr.
- В перспективе. Создание инструмента для создания месячных архивов.
- В принципе уже сейчас возможно. Но думается будут доработки..
Сейчас тестирую в боевой обстановке, вылезут какие либо косяки или нет.
Полностью, с нуля переписан скрипт MakeFlibSingle.sh.
- Появилась возможность настроить префиксы, в имени создаваемых архивов.
vymhz
Перезалил раздачу.
Изменения:
Полностью, с нуля переписан скрипт MakeFlibSingle.sh.
- Появилась возможность настроить префиксы, в имени создаваемых архивов.
-Создан скрипт CreArch.sh. Единственная его функция находить в папке хранения
- единых архивов файлы с префиксами a.fb2 и a.usr. И перепаковывать их в один большой архив.
- На выходе получаются два больших архива с префиксами a.fb2 и a.usr.
-Имеется возможность изменять префиксы входящих и выходящих архивов.
vymhz
Сегодня вылезла ошибка.
Не правильно определялся последний скачанный файл.
Этот фрагмент кода еще из кода предыдущего автора. Исправил пока как есть.
Подумаю над тем, что бы подобного больше не было.
Еще переписан скрипт Delet_arc.sh, переписан полностью и переименован в DelArch.sh.
Появилась возможность настроить префиксы удаляемых архивов.
azazar
Нет сидов. Может лучше его на GitHub залить было?
vymhz
azazar писал(а):
Нет сидов. Может лучше его на GitHub залить было?
Не занимался такими вещами . Делал для себя. Решил поделиться.
vymhz
Есть новые доработки в скриптах.
Но в свете грустной новости о Сильвере. Теперь даже не знаю что делать. Может это все зря. Руки опускаются.
vymhz
Все таки решил продолжить.
Полностью переписан скрипт GetFlibDaily.sh (стал более компактный) и переименован в GetDaily.sh.
Устранена ошибка не правильного определения id последней скачанной книги.
Переписан скрипт MakeFlibSingle.sh (стал более компактный) и переименован в MakArch.sh.
GetFlibSql.sh переименован в GetSql.sh.
vymhz
Сегодня попробовал собрать месячный архив за сентябрь. Использовал скрипт CreArch.sh.
Получил два архива
f.fb2-797607-800800.zip
f.usr-797607-800800.zip
Сравнил с архивами выложенными в раздаче https://booktracker.org/viewtopic.php?t=49016
Итог:
fb2 один в один.
Usr, мой чуть больше. На 696303 байт
Можно считать результат вполне приемлемым.
banana123
Спасибо за раздачу.
А как можно скачать архивы за предыдущий период? НАпример за последний год? Или вообще все время?
vymhz
banana123 Этот скрипт предназначен для скачивания архивов с сайта флибусты. Там обычно выложены архивы свежих поступлений . Максимум недельной давности. Если вы хотите скачать полный архив флибусты то вам нужно смотреть раздачи.
