Библиотека Flibusta (только FB2) на 01.04.2024 (621668 книг) (локальная коллекция, пополняемая ежемесячно) + MyHomeLib + inpx

Я почитал. Только мне такие фразы как "стыковочный архив" ни о чём не говорят. Тем более, когда речь идёт о формировании Флибусты на основе Либрусека. Сразу встаёт вопрос - нафига? Есть Флибуста, есть Либрусек. Знаю, что первая откололась от второго пару-тройку лет назад, но если раздел называется "Полные сборки библиотеки ФЛИБУСТА", то при чём здесь Либрусек? Всё это только путает и сбивает с толку. В соответствующем разделе на ЭТОМ трекере или ещё где-то?

vv1974 viewforum.php?f=255

vlbeznosov Нижайше прошу прошу меня извинить, но... как этим пользоваться? Скачал архив из шапки. Можно ли выдернуть 1 конкретную книгу, чтобы читать на другом устройстве?

Извините, разобрался. Поначалу объём (и то, что всё в архивах) подавляет.

miuz Ничего не понял. Какой архив из шапки вы скачали? Последнее обновление? И зачем оно вам без всей остальной коллекции?

Честно говоря, непонятно почему бестолково-то так?
В раздаче присутствуют архивы с книгами, которые давным давно из библиотеки удалены.
Например в архиве fb2-000024-030559.zip целых 12 тысяч файлов просто не нужны - они отмечены в каталоге библиотеки как удалённые. Ну и зачем всё это лежит в раздачах?
Если выкинуть лишнее, то объём можно уменьшить если не в половину, то на треть точно без какого-либо вреда для функционала и читателя.

vv1974 Уважаемый, данная раздача сформирована на основе коллекции Кайзера, которая позиционировалась как полная и официальная. Если удалённые файлы попадают в дампы базы данных, из которых формируется конечный каталог библиотеки, и в ежедневные обновления, из которых формируется ежемесячный архив - то это не ко мне вопрос. И даже не к трекеру. Книг, помеченных как удалённые, в архивах присутствует порядка 50 тысяч, если мне не изменяет память. В сжатом виде - это пол-гигабайта, ну гигабайт от силы. И я не буду заниматься перепаковкой всех архивов плюс правкой базы данных, чтобы уменьшить размер раздачи на этот мизер по сравнению с её общим объёмом, только чтобы угодить лично вам. И никто не будет, смею думать. Хотя бы потому, что это выльется в серьёзные проблемы с последующими обновлениями.

В общем, не нравится - не качайте, никто не неволит. Вон на библиотеку Траума обратите внимание - там дублей меньше и вычищена она получше. Но и обновляется не столь регулярно. И не забывайте о том, к чему приводит посещение чужих монастырей с одновременным размахиванием собственным уставом.

vlbeznosov >> Книг, помеченных как удалённые, в архивах присутствует порядка 50 тысяч, если мне не изменяет память. В сжатом виде - это пол-гигабайта, ну гигабайт от силы.

А это, действительно, так???? Ибо в MHL я вроде читаю любые, даже и помеченные серым цветом (удалённые). Т.е. физически они в архивах есть. И ничем не отличаются, кроме пометки, от неудалённых. И запакованы в тех же архивах. И при этом, если из 250000 книг 50000 - удалённые, они занимают 1 гиг из 80??? Как-то сильно сомнительно. А по теме - кому как. Я скачиваю всё, ибо с двумя двухтерабайтниками и постоянным каналом - мне как-то по.. Да и удаление - дело тонкое и часто "по личным мотивам", так что иногда и "удалённые" читаю. А вот вычистка от действительно старых версий - гигантский труд, куда больший, нежели просто пополнение от тысяч энтузиастов. Кроме того при этом, что куда хуже, меняются и старые версии архивов, что автоматом приведёт не только к докачке месячных, а и к перекачке по новой бывших. Что хуже - не знаю. Впрочем, с другой стороны, поскольку любая правка (хоть запятой) приводит к заведению новой версии, что будет, когда станет по пятьдесят версий всех книг, да ещё и их возрастающего кол-ва - не знаю...

AlanV Ну да, пожалуй, я загнул насчёт гигабайта. Но Fb2, в принципе, должен хорошо сжиматься, поскольку это текстовый формат. Если скачивать fb2.zip с той же Флибусты, то размер архива обычно как минимум в три раза меньше, чем у исходного файла. Кроме того, среди удалённых много отдельных рассказов, которые были удалены после закачки соответствующего сборника. Соответственно, размер у них обычно невелик. В общем, по моим прикидкам, размер удалённых книг может составлять 5-10 гигов, но никак не треть от общего объёма раздачи. Наконец, и эти удалённые файлы могут быть кому-то нужны - потому что, к примеру, были отсканированы с других изданий. И ещё, я не уверен, входят ли удалённые книги в общее число. Возможно, следует говорить о 250 тысячах книг плюс 50000 удалённых. Вычистка удалённых и устаревших версий - действительно гигантский труд, которым я заниматься не буду, как уже говорил. Во-первых, одному мне это не потянуть. Во-вторых, из-за этого возникнут проблемы с последующими обновлениями - в том числе и из-за необходимости перепаковки старых архивов при чистке. В-третьих, в базе данных Флибусты, как и Либрусека, полно дыр, что автоматически делает операцию чистки невозможной для автоматики. В-четвёртых, это никому не нужно. В-пятых, при современных скоростях инета лишние 5-10 гигов погоды не делают. Всё равно раздачу целиком нужно выкачать лишь раз, а затем лишь докачивать ежемесячные обновления по два-три гигабайта. Кому жалко места - пользуйтесь встроенной в MHL Флибустой-онлайн. И да, кто считает, что в этой раздаче много мусора - посмотрите на полный вариант Либрусек, который триста с лишним гигабайт. Вот там лишнего действительно может быть примерно треть - как из-за дырок в базе данных, так и из-за огромного количества дублей. Подчёркиваю - может быть. Не утверждаю, что так и есть.

Но Fb2, в принципе, должен хорошо сжиматься, поскольку это текстовый формат. - Это да, должно. И здорово. Однако... Может на Флибусте жмут не с теми параметрами... Если, к примеру, открыть каталог с этими zip-ами в Winrar и посмотреть "info" по каждому zip-у - там везде размер архива - 40-50% от исходных. Если скачивать fb2.zip с той же Флибусты, то размер архива обычно как минимум в три раза меньше, чем у исходного файла. - Ага, только вот при этом, что удалённые, что нет, сжимаются одинаково. Кроме того, среди удалённых много отдельных рассказов, которые были удалены после закачки соответствующего сборника. Соответственно, размер у них обычно невелик. - А вот это может повлиять. В общем, по моим прикидкам, размер удалённых книг может составлять 5-10 гигов, но никак не треть от общего объёма раздачи. - Скорее 10-15 гигов. Наконец, и эти удалённые файлы могут быть кому-то нужны - потому что, к примеру, были отсканированы с других изданий. - Разве на Флибусте удаляют разные издания? Я думал, что лишь после "исправлений" одной и той же книги, либо после выкидывания "разобранных на листы" сборников. Вычистка удалённых и устаревших версий - действительно гигантский труд, которым я заниматься не буду, как уже говорил. Во-первых, одному мне это не потянуть. - Само собой. Вообще-то это как-то всем "флибустьянам" стоит делать как-то "попериодно" совместно. Ну, к примеру, раз в год. И тогда уже скачать опять одноразово новые версии. В-третьих, в базе данных Флибусты, как и Либрусека, полно дыр, что автоматически делает операцию чистки невозможной для автоматики. ... Кому жалко места ... - "Дырки" это что? Пропуск позиций индекса? И что с того? Зачем им быть строго последовательными? Да не, ну кому очень треба и охота "для себя" оставить лишь неудалённые, всё можно легко ручками написать для автомата, причём тут дырки? В MHL вроде каталог на MySQL? Скачиваешь полный вариант архивов. Читаешь базу, для всех "серых" названий удаляешь из zip-ов соответствующие файлы. Ну а потом скачиваешь лишь новые появившиеся месячные архивы, причём операцию чистки можно периодически повторять...

AlanV Точно сказать не могу. Просто об этих дырах не раз говорилось в соседних топиках, вот и подхватил это выражение. Подозреваю, что это некие ошибки базы данных, в силу которых реальное содержание библиотеки не вполне соответствует её каталогу. И дело не только и не столько в удалённых файлах, сколько в том, что в базу не всегда попадают даже нормальные книги. Или попадают не в тот жанр, скажем, не в ту книжную серию, к другому автору и т.д. Не в последнюю очередь из-за ошибок заливающих книги на саму Флибусту или Либрусек. На том же Либрусеке, к примеру, довольно регулярно возникали одно время проблемы с дампами MySQL. Ну и кто в итоге поручится за точное соответствие коллекции каталогу?

Насчёт размеров раздачи и архивов могу сказать следующее: сильно подозреваю, что архивы как на Флибусте, так и ежемесячные здесь создаются не с максимальной степенью сжатия, а послабже. Почему - не знаю. Наверное, есть на то какие-либо причины. Возможно, каталогизатор не может работать с такими архивами или их создание сильно напрягает сервер. Так что, если перепаковать все архивы этой раздачи, скажем, 7-zip со степенью сжатия Ультра - возможно, объём раздачи уменьшится на треть.

В общем, чтобы закрыть эту тему, ещё раз скажу: библиотека раздаётся по принципу "as is", т.е. что берём с самой библиотеки, то и раздаём. Со всеми вопросами и претензиями по этой теме - на Флибусту.

Заблуждаетесь. Только пересжатие первого fb2 архива с выкидыванием оттуда удалённых книг уменьшило его размер вполовину! Т.е. на эти самые пол-гига. А таких архивов далеко не один. Так что 1/3 от объёма как пить дать. Я посчитаю и опишусь здесь, что получилось, ибо не вижу смысла хранить у себя на винте балласт - винт не резиновый. Ох ты, ёлки зелёные. Вы все замечания воспринимаете в таком ключе? Обвинения посыпались сразу. Я же вроде чисто по-человечески спросил, ни на кого не наезжал, революции устраивать не призывал. Тут штука в том, что удалённые книги - это НЕНУЖНЫЕ книги, потому что удалены они вследствии наличия в библиотеке более новой и более лучше версии. А так, конечно, я про то и говорю, что сделали например fb2 архив 2 года назад, с актуальными книгами на тот момент, а потом прошло 2 года, кучу книг из этого архива заменили на свежие, но сам архив от раздаче к раздаче ползёт в неизменном виде. Ничего гиганского там нет. Один SQL запрос строит txt файл с номерами удалённых книг. Шелл-скрипт в 10 строчек распаковывает архив, удаляет файлы с данными номерами и запаковывает то, что осталось. У меня обработка первого fb2 архива заняла 20 минут из которых на написание всего ушло минуты 3, а остальное время - работа архиваторов. Но, как вы понимаете. конечно, вас никто этим заниматься не заставляет. Заниматься будет тот, кому это нужно. Моей целью было обратить внимание на сам факт. Не может такого быть. Основной поток всё-таки не качает с торрентов, а читает онлайн и скачивает с сайта. Если то, что вы описали имеет место быть, то сама идея библиотеки идёт коту под хвост.

Скажу, что с каталогом (базой данных) Флибусты я очень хорошо знаком, собственно поэтому и написал пост. Да, несоответствия жанров бывают, но это не означает, что книга при этом УДАЛЕНА или удаляется после того как у неё поправили жанр. Объёмы очень существенно можно уменьшить даже простым перекодированием РУССКИХ FB2 книг из UTF-8 в cp1251. Собственно вполовину, ибо UTF-8 кодирует один символ двумя байтами, а cp1251 одним. А можно вас ещё помучить? Где с Флибусты скачать вот те самые архивы, которые "as is"?

Вовсе не обязательно. Книги удаляются из Флибусты по разным причинам, и указанная вами - кстати, далеко не факт, что основная. Угу. И после этого книги перестанут читаться на любых портативных ридерах. Ни одна известная мне читалка на электронных чернилах не поддерживает cp1251. Разве что насчёт андроида не уверен. Ежемесячные архивы, насколько мне известно, Флибуста не делает. Они формируются здесь, на трекере, одним энтузиастом, и содержат ВСЕ файлы, попавшие в ежедневные обновления. Ежедневные обновления можно скачать как с самой Флибусты, так и здесь на трекере, в разделе Ежедневные обновления. Обновления, публикуемые на трекере, идентичны таковым на сайте, потому как вытягиваются оттуда роботом.

Зная как там библиотекари относятся к удалению книг и как готовы биться до последнего, думаю, что так оно и есть в 99.9% случаев, хотя от ошибок, конечно, никто не застрахован. Впрочем и вероятность наступить на такую ошибку тоже близка к нулю. Тем не менее, соотношение cp1251 и UTF8 в архивах где-то 50 на 50, что же получается - они не читабельны? С другой стороны, мы говорим о хранении - перекодировать в любую кодировку проблемы не представляет. Как же тогда вы предлагаете мне обращаться на Флибусту по поводу того, что они не делают? Формируются здесь, сюда и обращаюсь

Я не спорю про ВСЕ файлы. Я говорю о том, что с течением времени очень многие файлы теряют актуальность, потому что загружаются более новые или более качественные версии книг. Но поскольку архивы не перепаковываются, то они продолжают хранить уже никому не нужные файлы (ну разве что каким-то очень замороченным коллекционерам), что негативно отражается на размере всей раздачи, хотя по факту ничего полезного не даёт.

Не надо ничего удалять и перепаковывать. Это приведет не к уменьшению скачиваемого объема, а к его многократному увеличению. Чуть-чуть подумайте, охладив голову. Сейчас раз в месяц нужно докачать 1 (один) месячный объем. Если же найти найти людей, которые будут заниматься ежемесячной чисткой (тех книг, которые удалены за каждый очередной месяц) - это приведет к тому, что каждый месяц всем придется перекачивать ВСЮ библиотеку. Или значительную часть - т.к. достаточно удаления 1 книги в месячном архиве, чтобы пришлось перекачивать его полностью.

NonameNoSecondName Вот, кстати, да, Вы правы. О том, что процесс чистки должен быть регулярным, иначе он просто не имеет смысла, я и не подумал. И это действительно зарубает всю идею на корню, поскольку перекачивать по 10 и более гигабайт (а боюсь, что по факту будет от 30 и выше) ежемесячно могут только обладатели "очень толстого" канала в интернет. Впрочем, я так или иначе ничего перепаковывать и удалять не собирался, как уже не один раз говорил выше. С моей стороны это было чисто умозрительное обсуждение.