Bash скрипт получения файлов с Флибусты

Может быть кому то пригодятся наработки по автоматизации скачивания архивов и баз с Флибусты . Изначально брал за исходники файлы с раздачи https://booktracker.org/viewtopic.php?t=67933
Но в дальнейшем. В итоге глубокой переработки получился универсальный скрипт. Который может работать на большинстве операционных систем linux.

1 апреля 2025 г.
- В MakArch.sh и CreArch.sh вместо использования zip и unzip, используется 7z.
- За счет многопоточности кратно увеличилась скорость распаковки и упаковки архивов.
- В GetDaily.sh и GetSql.sh, при запуске проверяется на наличие установленных пакетов 7z.
- Удален скрипт Start.sh (практически не используется).

Топик был перенесен из раздела Полные сборки библиотеки Флибуста в раздел Библиотека Флибуста

922cobra963

Анонс.
Написан новый скрипт CreArch.sh
Единственная его функция находить в папке хранения
- единых архивов файлы с префиксами a.fb2 и a.usr. И перепаковывать их в один большой архив.
- На выходе получаются два больших архива с префиксами a.fb2 и a.usr.
- В перспективе. Создание инструмента для создания месячных архивов.
- В принципе уже сейчас возможно. Но думается будут доработки..
Сейчас тестирую в боевой обстановке, вылезут какие либо косяки или нет.
Полностью, с нуля переписан скрипт MakeFlibSingle.sh.
- Появилась возможность настроить префиксы, в имени создаваемых архивов.

Перезалил раздачу.
Изменения:
Полностью, с нуля переписан скрипт MakeFlibSingle.sh.
- Появилась возможность настроить префиксы, в имени создаваемых архивов.
-Создан скрипт CreArch.sh. Единственная его функция находить в папке хранения
- единых архивов файлы с префиксами a.fb2 и a.usr. И перепаковывать их в один большой архив.
- На выходе получаются два больших архива с префиксами a.fb2 и a.usr.
-Имеется возможность изменять префиксы входящих и выходящих архивов.

Сегодня вылезла ошибка.
Не правильно определялся последний скачанный файл.
Этот фрагмент кода еще из кода предыдущего автора. Исправил пока как есть.
Подумаю над тем, что бы подобного больше не было.
Еще переписан скрипт Delet_arc.sh, переписан полностью и переименован в DelArch.sh.
Появилась возможность настроить префиксы удаляемых архивов.

Нет сидов. Может лучше его на GitHub залить было?

Не занимался такими вещами . Делал для себя. Решил поделиться.

Есть новые доработки в скриптах.
Но в свете грустной новости о Сильвере. Теперь даже не знаю что делать. Может это все зря. Руки опускаются.

Все таки решил продолжить.
Полностью переписан скрипт GetFlibDaily.sh (стал более компактный) и переименован в GetDaily.sh.
Устранена ошибка не правильного определения id последней скачанной книги.
Переписан скрипт MakeFlibSingle.sh (стал более компактный) и переименован в MakArch.sh.
GetFlibSql.sh переименован в GetSql.sh.

Сегодня попробовал собрать месячный архив за сентябрь. Использовал скрипт CreArch.sh.
Получил два архива
f.fb2-797607-800800.zip
f.usr-797607-800800.zip
Сравнил с архивами выложенными в раздаче https://booktracker.org/viewtopic.php?t=49016

f.fb2-797607-800800.zip
2,39 GB (2564910627) в раздаче
2,4 GB (2564910627) мой архив

f.usr-797607-800800.zip
9,94 GB (10677728481) в раздаче
9,9 GB (10678424784) мой архив

Итог:
fb2 один в один.
Usr, мой чуть больше. На 696303 байт
Можно считать результат вполне приемлемым.

Спасибо за раздачу.
А как можно скачать архивы за предыдущий период? НАпример за последний год? Или вообще все время?

banana123 Этот скрипт предназначен для скачивания архивов с сайта флибусты. Там обычно выложены архивы свежих поступлений . Максимум недельной давности. Если вы хотите скачать полный архив флибусты то вам нужно смотреть раздачи.

Библиотека Flibusta (только FB2) на 01.10.2024 (639985 книг) (локальная коллекция, пополняемая ежемесячно) + MyHomeLib + inpx https://booktracker.org/viewtopic.php?t=46979

либо

Библиотека Flibusta.net [fb2&usr] на 1.10.2024 (локальная коллекция, ежемесячно пополняемая) + MultiLib https://booktracker.org/viewtopic.php?t=49016