Дополнение №42 и корректировка №37 к библиотеке FIDONET до состояния на 1 мая 2016г

Дополнение №42 и корректировка №37 к библиотеке FIDONET до состояния на 1 мая 2016г

Раздача включает новые файлы для библиотеки FIDONET

• Количество файлов: 1263
• Всего наименований: 1263
• Обьем файлов: 1,0 Gib
• Количество авторов: 643
• Жанров:94
• Формат: FB2(1246),DOC(15),RTF(1),TXT(1)

Исправлений к предыдущему состоянию нет

Список добавленых книг в корне раздачи, файл files.42.bbs.txt

Другие новые файлы в корне раздачи:

• files.42.bbs список новых файлов, включенных в дополнение 42, кодировка cp866/DOS
• genres_nonfb2.glst файл жанров для MyHomeLib

Порядок работы с дополнением

• Распаковываем все архивы в дереве раздачи за один проход (оставляя извлеченые архивы) в каталоги с именами, совпадающими с названиями архивов. Два варианта:
  
  Вручную: Пройдясь по всему дереву каталогов, для каждого архива в контекстном меню проводника (по правому клику на файл архива) выбрать "Extract to имя_архива\", появившиеся при этом подкаталоги не просматривать, архивы в них не распаковывать
  
  Командным файлом extract.bat: Запускаем файл extract.bat в корне каталога куда были скачаны файлы
  Важно:Для корректной работы батника нужно при необходимости изменить путь до архиватора rar/unrar во второй строчке этого файла. По-умолчанию считается, что архиватор называется rar и путь до него присутствует в переменной окружения PATH. Исправьте, если не так
  Внимание:После выполнения файла extract.bat исходные архивы будут удалены! Сохраните их заранее, если они вам нужны
• Копируем файлы и каталоги в корень библиотеки, соглашаясь на замену уже существующих файлов
• Из каталога Patch37 запускаем links.bat

Обязательно проверьте результат запуском файла check.bat. В журнале check.log не должно быть сообщений о пропущеных файлах/разделах

После добавления этого дополнения в библиотеке должно быть:

• Количество файлов: 193170
• Обьем файлов: 125,0 Gib
• Уникальных объектов (книги и утилиты): 195293
• Количество авторов: 51555
• Жанров:433
• Серий:11052

Файлы импорта в My Home Lib

• bookz.inpx - старый формат, совместимый с унивирсальной оболочкой, работа с архивами.
• fidolib.inpx - новый формат, см. сообщение:viewtopic.php?p=35054#35054, требует адаптированой версии MHL, работа с текстами внутри архивов.

Отказ от ответственности: автор раздачи слагает с себя всякую ответственность за то что следование вышепреведенным инструкциям и выполнение вложенных командных файлов приведет в любом случае к ожидаемому результату. Наилучшей практикой является создание резервной копии всех данных, которые Вы считаете важными для себя, перед выполнением любых операций за корректность которых не ручаетесь Вы лично.

Спасибо. Супер! А когда будет кумулятивная раздача 16-42? Ребята, а как бы прикрутить MyHomeLab к библиотеке Homelab на Рутрекере? Я всю скачал(320Gb), там техническая литература, но с Каталогом - полный Аминь. 400 раздач по 700 Mb - жесть. Я посмотрел MyHomeLab - это типа магнитофона без записывающей головки, без пол-литры не разберешься хорошего специалиста Библиотеку не сделаешь.... мда... проигрывает читает зато бесплатно.

Без доброй воли разработчика MHL наверное не получится. А он к своей программе охладел походу. Нормально там всё с каталогом. Хоумлаб целиком (хотя и с задержкой) заливается на ЛибГен. Либген регулярно выкладывает бэкап своей базы. Можно сделать таблицу CSV типа автор:название:прочие данные:локальный путь:URL. И уже с этой таблицей идти к Корейцу, может добавит в MHL новую библиотеку.

Там не беллетристика, там Книжки-то технические... Надеяться на Генезис? ну-ну... его гоняют как вшивого по бане, как и Либрусека с Флибустой и трекерами, и хз че по осени будет. Там каталог ББК/УДК к раздаче прикрутить надо. Это вроде бы решаемо, у Корейца есть MHLGenreEditor, в онлайне есть ББК/УДК, можно набить. http://www.altspu.ru/Res/Handbook/glossary.phtml?gl...0%B0%D1%80%D1%8F

Загнать книжку в Базу программой MyHomeLab - 5 секунд, +15 сек чтобы открыть книгу, на 2-ой странице найти ББК/УДК и забить их в "жанры"(словечко-то какое) ИМХО- не намного больше(а то и меньше, чем лепить CSV, т.к. ББК/УДК все равно вручную вводить, рано или поздно) Главная засада с MyHomeLab: отказывается создавать Пользовательскую библиотеку из архивов, хоть умри. ... хотя у gav-m все получилось как-то быстро легко и просто... и даже в rar-архивах.

Если сделать «жанры» ББК/УДК потом забить папками с книжки(без архивации) в Базу с привязкой к «жанрам», а потом идти к Корейцу чтоб помог архивировать папки? Так «жанры» могут слететь после архивации, и не факт что Кореец не положил на это все…. И, кстати, MyHomeLab пользовательский INPX-каталог лепит с "неправильной" кодировкой, .. с кодировками для «Пользовательской» Библиотеки там вообще каша: INPX с сайта MiHomeLib librusec_local_all.inpx version.info UTF8 (без BOM) collection.info UTF8 usr-153600-153838.inp UTF8 (без BOM)

traum_library_2-33_all_ru.inpx version.info UTF8 (без BOM) collection.info Windows-1251 structure.info UTF8 (без BOM) books_fb2_ru.inp UTF8 (без BOM)

2.1 fidolib.inpx version.info UTF8 (без BOM) collection.info UTF8 structure.info UTF8 (без BOM) books.inp UTF8 (без BOM)

Моя Библиотека NNN с ББК/УДК (жанр genres_nonfb2.glst) version.info UTF8 (без BOM) collection.info UTF8 (без BOM) (?????????) structure.info UTF8 (без BOM) books.inp UTF8 (?????????)

genres_fb2.glst UTF8 (без BOM) genres_nonfb2.glst UTF8 (?????????)

В ЛибГене для ХоумЛаба это уже сделано, хотя и не в полном объеме. Но, если есть желание поработать руками, то непонятен смысл вашего первого комментария.

Хмм.. Я верю, что на ЛибГене эти книги есть. И не только на Либгене. Только вот как сделать каталог с "жанрами" для 50 тыс. книг, что у меня скачаны? Впрочем, если на ЛибГене ХоумЛаб выделен в отдельную Коллекция и можно оттуда взять и Каталог ББК/УДК и Программу для просмотра, которые подойдут для моей Коллекции - Спасибо, посмотрю. Смысл поста простой: когда страна дрейфует от "Знание-Сила" к "Знание-Богатым", предпочитаю вложиться в винчестеры. Кстати, обратите внимание: и Либрусек, и Флибуста уже "обезличили" свои "бесплантые" раздачи, вместо Автора/Названия в Базе только номера... Завтра тот же "Ларин", к примеру свяжет по хэшу очередное обновление с INPX - и приплыли... форматируйте винты. Останется только Траум, слава богу у него все в порядке... ну, и ФИДО, есс-но...

В каждой раздаче(папке) Хоумлаба имеется файл с md5 хэшами сотавляющих его файлов. в формате "ХЭШ*имя файла.расширение". Там где их нет(первые несколько раздач) эти файлы можно сделать соответствующим софтом. В базе Либгена есть соответствующая (MD5) же колонка. Таким образом можно проиндексировать абсолютно все файлы из всех раздач ХоумЛаба, поместив индексы подходящую таблицу. В том числе INP. За это отвечают колонки `library`и `topic` соответственно из таблицы `updated`

Угу, Либген-библиотекарь просматривал. быстрее всего набить Базу и «жанры»(ББК/УДК) с помощью MyHomeLib, увы… Со временем туго. Хотя без знания программирования результат будет более чем скромный, на торренты такое выкладывать стыдно будет, ногами запинают. К сожелению, в MyHomeLib создание Библиотеки «с нуля» для чайников – это только урезанная опция от Корейца. Конечно, ИМХО, но идентифицировать по хэшу MD5 опасная затея. Из-за одного вшивого бита всю книгу потеряешь… При передаче файла – да, при длительном хранении… особенно при «надежности» современных носителей… я бы поостерегся. В MyHomeLib уже нету поля md5 хэша… MyHomeLib «из коробки» создает «для чайника» inpx с такой структурой AUTHOR;GENRE;TITLE;SERIES;SERNO;FILE;SIZE;LIBID;DEL;EXT;DATE;INSNO;FOLDER;LANG;KEYWORDS;

Каким образом это возможно, если специально не удалять? Риторический вопрос Именно об этом я и говорил в ответ на ваш первый комментарий, там где про "добрую волю" Могу попробовать(на досуге) сделать описанную мной таблицу. Но мне нужны все файлы spec.md5 с хэшами, т.к. раздач ХоумЛаба не имею. Их (или большую часть) можно упаковать за один раз с помощью скрипта.

Со стратегией надо определиться, чтоб время впустую не тратить.... В далеком прошлом я пусконаладчик вычислительных комплексов(технарь), и диски сыпались, и микросхемы горели – навидались. И тем не менее, года 3 назад я крупно погорел, когда я сбросил важные данные на флешку, закрыл PGP, продублировал на вторую флешку, и все было прекрасно… полгода. А потом финиш. Какая-то пуля микрочастица из космоса прилетела, и ага. И товарищ мой упал. Оба. Насмерть. Реальная ситуация с Библиотекой: Открываешь файл с книгой .txt или .doc затем меняешь в тексте точку на запятую - Вуаля! у файла другой хэш md5, библиотечный Каталог с идентификацией книги по хэшу после этой замены (точки на запятую), книгу уже "не увидит"

В общем, если использовать хэш md5 как главный идентификатор книги в Базе, то, чтобы не терять книги, надо КАТЕГОРИЧЕСКИ (поскольку Библиотека живет дольше, чем DVD/винчестер/флешка):

1. Предусмотреть режим регулярного автоматического перехеширования всех книжных файлов по md5 (перепроверки и, если надо, исправления md5 с главной опорой на Автора и Название)

2. Поскольку перехеширование даже 50 000 книг (300Gb) займет до 40 часов, надо разбить Библиотеку на архивы, по 500-1000 книг в одном архиве(кстати, как у Либрусека), переодически автоматически перепроверять хэши md5 архивов(2-5минут), и только при несовпадении перехешировать нужный архив(пункт1., в этом случае потребуется 30-60 минут на архив).

Кстати, у Траума эта перепроверка md5 НЕ передусмотрено, хотя поле md5 и задействовано. У Либрусека сделано топорно: название книги это её номер в INPX-каталоге. Тупо, зато работает… но только в MyHomtLib. Хитрец этот Кореец…

По сабжу Раздачи 0-183 – Автор и Название книг только на латинице (не соответствует описанию в Каталоге) Раздачи 183-406 – Автор и Название книг только на русском(соответствие описанию в Каталоге под вопросом)

Раздачи(CD и DVD), где есть список хэш md5 81-169

225-327

386-407 Кстати, в списках хэш md5 названия книг только на латинице и не по алфавиту… – опять засада. Часть 386-407 и образцы выложил, остальное тож делаю выложу позже. https://yadi.sk/d/Y-hmjbcRsFEF7

Кстати, на EXCEL-форуме сделали простенькую xlsm-программу(17Kb) по преобразованию inp-каталогов из INPX-архива в EXCEL и обратно(замена символов-разделителей EOT в строках inp-файлов на TAB для EXCEL-я и обратно). Для Либрусека и Флибусты работает вроде нормально. Например, можно щелчком мыши обнулить 9-е поле всех строк Каталога (запрет на чтение) – все книжки Библиотеки будут видны. Или, наоборот, записать в это поле "1" и закрыть от детей "непотребное". После импорта inp-файла в EXCEL, по окончании работы Мастере текста, по CTRL^Q разбивает по столбцам, а по CTRL^E сохраняет inp-файл Только работает начиная с EXCEL-2007, надо разрешить макросы и название не должно начинаться со спец-символов. https://yadi.sk/d/-wIjO8pJrvBXt

04.06.16 16:36 добавил хэши md5 от раздач 81-169 и 225-327 https://yadi.sk/d/UrwieiJusFRXo

Это не к спеху. Образцы забрал. Сегодня-завтра посмотрю что можно сделать. Отпишусь.

Ok... буду пока забивать ББК и УДК в файл жанров genres_nonfb2.glst для MyHomeLib Кстати, сегодня на форуме torrent . rus . ec (официальная раздача Либрусека) Кореец стер ВСЕ(!!!) мои посты за последнюю неделю(он там модератором), после моего ОЧЕНЬ вежливого вопроса, почему файлы inp-каталогов в INPX-архиве, созданном MyHomeLib получаются в кодировке "UTF-8", хотя все файлы inp-каталогов в INPX-архиве от Либрусека, Флибусты, Траума и ФИДО выкладываются в кодировке "UTF-8(без BOM)" и почему файлы жанров genres_fb2.glst для Либрусека, Флибусты, Траума и файл жанров genres_nonfb2.glst для Чайника Пользователя также имеют разные кодировка. (смотри мои пост от 03-Июн-2016 16:42 выше про "кашу с кодировками") Определенно, тут какая-то СТРРРРАШНАЯ корейская тайна...

Техническая(пополняемая) Библиотека из MyHomeLib

Вариант А. Делать «как есть», т.е. «из коробки» для чайника-Пользователя. Плюсы: - Используя режим Синхронизации(коллекция –Обслуживание-Синхронизация), Можно перемещать файлы из одной папки в другую, создавать новые папки в пределах Главной папки Библиотеки. Минусы: - Нельзя работать с zip/rar-архивами - Нельзя блокировать режим Редактирования(Защита от дурака) - Нельзя пополнять Библиотеку, если раздаешь по торренту: Поскольку раздавать можно только в виде ISO-образа, то после пополнения Библиотеку надо полностью(!!!) перекачать(меняется хэш)… Короче –хлам.

Вариант Б Танцы с Бубном. Сделать(бы) «Техно-Либрусек(Флибуста)-2» по аналогии с Либрусеком и Флибустой Плюсы как у Либрусека: - Можно работать с архивами - Режим Редактирования блокируется(есть «Защита от дурака») - Можно одновременно и работать с Библиотекой, и пополнять Библиотеку, и раздавать по торренту, надо только перехешировать раздачу, перекачать не надо.

Короче, надо(бы) сделать Конвертор INPX из формата «для чайника-Пользователя» в формат «Либрусек» При этом заменять Автора/Название книги на 6-значный номер(как у Либрусека) КРАЙНЕ не желательно… Если никак нельзя иначе, тогда НЕОБХОДИМА программа обратного пере-присвоения «номерному» файлу его настоящего имени в виде «Автор – Название»… Иначе читатели Технической Библиотеки пошлют на…, устоят бойкот и будут искать книги в своей Библиотеке через Блокнот или (продвинутые) через EXCEL … номера вместо имен …мда…мрак...

Чем отличается «Либрусековский» формат Библиотеки от «Пользовательско-чайниковского»

MyHomeLib определяет «Либрусековский» формат по структуре Архива INPX и его соответствия скачиваемым архивам с книгами: 1. По коду 65537 в третьей строке collection.info для всех(fb2 и no-fb2, т.е. «usr» т.е txt,doc. pdf, djvu) коллекций 2. По коду 65536 в третьей строке collection.info для всех(fb2)- коллекций 3. Правила заполнения остальных строк collection.info (??) 4. По кол-ву и структуре полей в .inp-файле В «Либрусековском» формате Первые 11 полей идентичны «Пользовательскому», 12 поле «язык» последние 13 и 14 не используются. В «Либрусековском» формате, в отличие от «Пользовательского» формата, возможны различные варианты фильтрации спецсимволов в определенных полях, например в поле FILE у Либрусека используется, по факту, только латинские буквы(в ранних вариантах) и только цифры(сейчас), а в Пользовательском – как латинские так и русские и цифры. inp-файл Либрусека AUTHOR;GENRE;TITLE;SERIES;SERNO;FILE;SIZE;LIBID;DEL;EXT;DATE;LANG;LIBRATE;KEYWORDS;

В «Пользовательском» формате добавлено поле FOLDER благодаря которому Можно перемещать файлы из одной папки в другую, создавать новые папки в пределах Главной папки Библиотеки. inp-файл Пользователя AUTHOR;GENRE;TITLE;SERIES;SERNO;FILE;SIZE;LIBID;DEL;EXT;DATE;INSNO;FOLDER;LANG;KEYWORDS;

5. По «правильной» кодировке: для «Либрусека» в inpx-архиве файлы должны иметь кодировку: inp-файлы в кодировке UTF-8 (без BOM) version.info в кодировке UTF-8 (без BOM) collection.info в кодировке UTF-8 в папке MyHomeLib Файл жанров genres_fb2.glst в кодировке UTF-8 (без BOM)

6. При создании «Пользовательской» Библиотеки Файл жанров genres_fb2.glst переименовать в genres_nonfb2.glst затем добавить в него жанр ББК и УДК. При преобразовании «Пользовательской» в «Либрусековскую» переименовать обратно, т.к. Либрусек-all работает с genres_fb2.glst 7. В «Либрусековском» формате название inp-файла должно ТОЧНО соответствовать названию книжного архива, который он описывает. например, usr-161831-166042.inp соответствует usr-161831-166042.zip 8 . Правильность заполнения Имя INPX-архива – (??) 9. Правильность заполнения version.info (??)

В общем выводы мои такие. Подружить ХоумЛаб и МайХоумЛиб возможно. Займет немного больше времени, так как есть несколько узких мест, надо выделить вечер-другой на подумать. Имею некоторый опыт составления кастомных inpx. Это освоено. Предлагаю использовать жанры принятые на Флибусте или Либрусеке. Для этого необходимо дополнить прилагаемую ниже таблицу колонкой с соответствующими кодами.

Пример 621 Юридические науки\\\\Криминология, криминалистика 311 305 623 Юридические науки\\\\Криминология: Суд. экспертиза 312 305

Дополнить ячейками sci_juris из файла genres_fb2.glst чтобы получилось:

621 Юридические науки\\\\Криминология, криминалистика sci_juris 311 305 623 Юридические науки\\\\Криминология: Суд. экспертиза sci_juris 312 305

Либо же дополнять указанную таблицу другими кодами к другому(готовому) списку жанров Кое-что пропущено. В данный момент отсутствуют: 000-080 169 170-223 224 231 246 250 253 266 271 282 283 298 328-385