Loading...
Error

О проекте

Страницы:  1, 2  След.

Ответить на тему

 | 

 
Автор Сообщение

Drunkenmunky

Раздачи описываемого раздела основываются на т.н. официальных ежемесячных обновлениях библиотеки Flibusta.is, и являются их логическим развитием(если не завершением).

Структура файловой системы приведена в некоторый упорядоченный вид (как я себе это представляю) - каждый отдельный файл упакован в отдельный же zip-архив, и помещен в папку соответствующую дате добавления книги в библиотеку.

В архив с не-fb2 файлом дополнительно помещается файл fbd, который содержит всю необходимую информацию(в xml формате) для идентификации книги.

Раздачи разделены по годам(по дате добавления книги) и типам файлов.
Всего типов два: fb2 и не-fb2 (более известен как "usr"), то есть все прочие.
Таким образом, желающим иметь полный сборник "неудаленных" книг обоих типов будет необходимо скачивать все раздачи с годом добавления книг в названии. И помещать их в одну директорию (неправильный, но рабочий, способ).
Либо после скачивания создавать символические ссылки и помещать в единую директорию уже их (рекомендуемый способ).
"Неудаленными" в библиотеке называют все книги доступные через поиск на сайте.

Для желающих же скачать книги только одного какого-нибудь жанра(или нескольких) будут добавляться, с периодическим обновлением, так называемые "жанровые выборки"(пока в тестовом режиме) за все время существования библиотеки.
Данные раздачи-выборки полностью совместимы с полной раздачей, и энтузиасты смогут получить еще несколько источников повышения рейтинга на трекере, а следовательно и уважения в нашем небольшом сообществе.

О создании коллекций в каталогизаторах.
Предлагаемая структура файловой системы в раздачах упрощает требования к разработчику ПО.
Путь к файлу можно получить простым sql запросом, не зная наверняка где находится сам файл.
Тем не менее для уже имеющегося каталогизатора будет подготавливаться и обновляться файл INPX.
1. Скачать все части выборки. Или все выборки. Сохранив папки 2007, 2008 ... 2019 в одну директорию(Например G:\Files\Flibusta).
2. Скачать файл INPX. Скопировать файл flibusta.all-yyyy-mm-dd.inpx под именем my-flibusta.inpx
3. В папке с файлом my-flibusta.inpx создать текстовый документ с расширением .bat поместив в него следующий код:

Код:

"C:\Program Files\7-Zip\7z.exe" d -tzip "my-flibusta.inpx" -x@delete_inp_listfile.txt
В этой же папке создать текстовый документ с именем delete_inp_listfile.txt
Поместив в него следующие строки:

Код:

*.info
fb2-ru-ok-*adv*.inp
fb2-ru-ok-*child*.inp
fb2-ru-ok-*det*.inp
fb2-ru-ok-*sf*.inp
(при необходимости лишние строки удалить)
Эта процедура удалит из вашего INPX все, что не попадает под перечисленные шаблоны имен файлов.
4. Запустить ранее созданный файл с расширением .bat, удалив с его помощью из файла my-flibusta.inpx лишние .inp
5. Создать коллекцию в каталогизаторе из файла my-flibusta.inpx, указав путь к книгам как G:\Files\Flibusta.

NikLeon писал(а):

Мой опыт создания библиотеки с использованием LightLib и INPX для Flibusta rev2.0

Файлы библиотеки расположены не только локально, но и на внешнем HDD при подключении к компьютеру имеющему фиксированную букву диска.
Ссылки с внешнего HDD сделаны символическими. Т.е. библиотеки разделены по типу файлов fb2 и usr

Теперь о самом создании библиотеки.
Указываем INPX
Указываем каталоги в которых находятся файлы библиотеки или символические ссылки на них, при этом сам внешний HDD может быть как подключенным так и нет, лично у меня создание библиотеки прошло безошибочно в обоих случаях.



LightLib Начиная с версии 1.7.7 поддерживает fbd в usr файлах, поэтому миниатюры обложек показываются корректно.


если внешний HDD не подключен то при попытке открыть на чтение данный файл выдается ошибка о его отсутствии.


ну а если что-то не совсем понятно, то автор LightLib поддерживает справку программы в актуальном состоянии.

Благодарности: создателю данной раздачи Drunkenmunky и создателю библиотеки LightLib proa
Об "удаленных" книгах
На протяжении практически всего существования раздачи файлов библиотек пользователи сетовали на большое количество мусора, особенную ненависть вызывали так называемые дубли. Ну вот, дождались.
Со временем, естественно, мусор накопится снова, значит раздачи будут снова почищены. О чем в их названии появится дополнительная пометка о номере версии. Года через три-четыре.

О не-fb2 книгах.
Особенностью хранения таких файлов в самой библиотеке является их крайне удручающее состояние.
Какие-то из них хранятся в архивах, какие-то нет. Их целостность, толком, не проверяется, алгоритм сравнения по md5 имеет изъяны из-за неверного типа данных присвоенного соответствующей колонке в базе. Часто имеет место неверное расширение. И т.п.
В fbd часто отсутствуют обложки, добавляются они только вручную, что при добавлении, естественно, аплодерами не используется.
Сам файл fbd имеет ошибки в структуре
Короче ужас.
В данной раздаче все не-fb2 файлы распакованы(кроме некоторых, содержащих множество файлов) и протестированы, как раз таки методом извлечения обложек(выводом на печать первых страниц), до половины из которых добавлены в исправленные fbd. Также исправлены расширения, битые файлы и дубли по md5 удалены.
Ну, и так, по мелочи. Вроде снятия DRM и т.д.

Об особенностях многофайлового торрент-файла.
Чем больше в нем записей(файлов), тем большее время торрент-клиенту нужно чтобы его запустить(поставить на раздачу).
Поэтому рекомендуется такие раздачи запускать и останавливать вручную. То есть, прежде чем закрыть торрент-клиент, остановите все раздачи этого проекта. Иначе, при следующем запуске клиенту понадобится длительное время.

Описание все еще в процессе разработки.
Если вы считаете, что какой-то вопрос не освещен, напишите об этом в комментарии.

ghostable

Цитата:

3 В папке с файлом my-flibusta.inpx создать текстовый документ с раширением .bat поместив в него следующий код:

Код:

"C:\Program Files\7-Zip\7z.exe" d -tzip "my-flibusta.inpx" -x@delete_inp_listfile.txt
А что делать тем, у кого winrar?

и ещё "раСширением"

Цитата:

Код:

*.info
fb2-ru-ok-*adv*.inp
fb2-ru-ok-*child*.inp
fb2-ru-ok-*det*.inp
fb2-ru-ok-*sf*.inp
(при необходимости лишние строки удалить)
это список УДАЛЯЕМЫХ жанров или тех, которые ОСТАНУТСЯ?

NikLeon

ghostable писал(а):

Цитата:

3 В папке с файлом my-flibusta.inpx создать текстовый документ с раширением .bat поместив в него следующий код:
(при необходимости лишние строки удалить)
это список УДАЛЯЕМЫХ жанров или тех, которые ОСТАНУТСЯ?
Inpx по факту это обычный zip, удалить из него можно и руками.
В приведенном примере то что должно остаться, обратите внимание на 1 строку, она должна обязательно остаться.
Посмотрите hттps://booktracker.org/viewtopic.php?t=64690, тот же глубокоуважаемый автор делал для другой раздачи, но для понятия темы не помешает

Drunkenmunky

ghostable писал(а):

А что делать тем, у кого winrar?
Оплатить лицензию и передавать привет с наилучшими пожеланиями Евгению Лазаревичу.

Drunkenmunky

Обновил основные раздачи за 19-ый год и INPX.
Выборки будут до конца недели.

Drunkenmunky

Обновил выборки.
В следующий раз, наверное, я их на части поделю, как Фантастику. Уж очень большие.

yuriysam07

Подскажите люди добрые: как физически удалить всё лишнее из библиотеки Флибусты и Либрусека, какой прогой. Ну не понимаю я, к примеру, ни китайский, ни корейский. MHL и иже с ней можно отсортировать по языкам, но меняются названия файлов. Удалить из inpx-а не вариант, ОНИ остаются на диске... ai av aq .

Drunkenmunky

yuriysam07 писал(а):

как физически удалить всё лишнее из библиотеки Флибусты и Либрусека, какой прогой.
Только для Flibusta rev2.0
Алгоритм примерно следующий:
1 Получить список файлов к удалению (полные пути)
2 Поместить его в текстовый файл
3 В начало каждой строки записать "DEL "
4 Переименовать текстовый файл в файл с расширением .bat

Как вариант - получить список файлов не подлежащих удалению, и батник составить с командой RENAME, все, что останется после перемещения, удалить из контекста.

Цитата:

Удалить из inpx-а не вариант, ОНИ остаются на диске...
Вышеупомянутый список файлов можно получить с помошью INPX, или файла коллекции полученного из него.
Файл коллекции MHL это база данных SQLite. Базы данных SQLite можно просмотреть с помощью программы-менеджера баз данных SQLite.
Их множество(например SQLiteStudio). Такая возможность есть, в том числе, в различных офисных пакетах.

yuriysam07

Охо-хо-х... Буду лопатить ручками at Nuke shok0 R.I.P. .

Drunkenmunky

Вы собираете что-то конкретное, или есть что-то общее(например жанр) у "нужных" книг?

SerberXXX

Drunkenmunky
Хочу сказать, что вы большой молодец, но ваш вариант библиотеки - это аналогия библиотеки Траума, когда все хорошо пока один человек - ее создатель, ей занимается. Как только ему это надоедает - получаем больше 200 гигов необновляемого "мусора" - в моем понимании. Обидеть никого не хочу.
Чтобы понять перспективу проекта, хотя бы для себя, хотелось бы узнать - планируете ли вы разработку инструмента автоматизации обработки и адаптации обновлений Флибусты / Либрусека к вашей библиотеки, чтобы в случае чего кто-то смог перехватить инициативу по обновлению вашей библиотеки либо вообще чтобы каждый с помощью этого инструмента мог бы это делать...?

ghostable

SerberXXX писал(а):

планируете ли вы разработку инструмента автоматизации
или приспособить что-нибудь существующее под свои нужды

Drunkenmunky

SerberXXX писал(а):

Чтобы понять перспективу проекта, хотя бы для себя, хотелось бы узнать - планируете ли вы разработку инструмента автоматизации обработки и адаптации обновлений Флибусты / Либрусека к вашей библиотеки, чтобы в случае чего кто-то смог перехватить инициативу по обновлению вашей библиотеки либо вообще чтобы каждый с помощью этого инструмента мог бы это делать...?
Ничего сложного там нет. Со "старыми" файлами пришлось повозиться. Современные же обновления довольно-таки просты.
Даже начинающий программист, изучивший азы какого-нибудь скриптового языка (я, в основном, использую PHP и батники).
Если есть такой начинающий программист, подумывающий о "перехвате" так сказать инициативы из слабеющих рук некого энтузиаста - я пока здесь, спрашивайте. По конкретным моментам.

Drunkenmunky

SerberXXX писал(а):

аш вариант библиотеки - это аналогия библиотеки Траума,
А вот тут обидно было. Вообще не похоже.

SerberXXX

Drunkenmunky писал(а):

А вот тут обидно было. Вообще не похоже.

SerberXXX писал(а):

Обидеть никого не хочу.
ag bk
Это я про то, что занимается один человек и без него все это может лечь мертвым грузом. Пока, как мне видится, некоторая схожесть по этой черте у проектов может констатироваться хоть и в неопределенном будущем.

Drunkenmunky писал(а):

Ничего сложного там нет. Со "старыми" файлами пришлось повозиться. Современные же обновления довольно-таки просты.
Даже начинающий программист, изучивший азы какого-нибудь скриптового языка (я, в основном, использую PHP и батники).
Если есть такой начинающий программист, подумывающий о "перехвате" так сказать инициативы из слабеющих рук некого энтузиаста - я пока здесь, спрашивайте. По конкретным моментам.
Если хотите, чтобы Ваш труд не постигла судьба библиотеки Траума, то боюсь пилить обработчик на bat придется вам, если вы такми знаниями обладаете либо хотя бы выложить свои имеющиеся наработки в надежде на то, что придет кто то интересующийся и достаточно грамотный чтобы запилить полноценный обработчик.
Просто, к его библиотеке Траума тоже можно было бы все это запилить, но как видим таких людей - энтузиастов, не нашлось, а желающие все это вручную делать быстро отпали. Мне было обидно за библиотеку Траума, и также будет обидно и за Ваш труд, если он когда-либо придет к этой стадии...

Еще раз повторюсь - абсолютно четко видно, что вами была проделана колосальная работы, за что вам спасибо. Но вашему проекту не хватает продуманности в части его определения либо как разового проекта типа я выложил "а дальше дело ваше" либо проекта с судьбой долгой, а для этого нужны публичные инструменты...
Показать сообщения:    
Ответить на тему