Loading...
Error

Дополнение №42 и корректировка №37 к библиотеке FIDONET до состояния на 1 мая 2016г

Страницы:   Пред.  1, 2, 3, 4, 5, 6, 7

Ответить на тему

 | 

 
Автор Сообщение

Drunkenmunky

Цитата:

то есть 400 CD-раздач по 700Mb
Если хотите, можете все торрент-файлы упаковать в один архив. И регулярно его обновлять.
Только пасскей из них удалите.

Цитата:

опасно для неквалифицированного пользователя, т.к. доступен режим "Редактирование" с искажением информации о книге и возможно уничтожение книжных файлов
Не ошибается тот, кто ничего не делает.
Достаточно перехэшировать раздачу, и всё восстановится.
Пр и редактировании же информации о книге, если не использовать fbd, раздача не затрагивается.

Krutass

Drunkenmunky писал(а):

Цитата:

то есть 400 CD-раздач по 700Mb
Не ошибается тот, кто ничего не делает.
Достаточно перехэшировать раздачу, и всё восстановится.
Пр и редактировании же информации о книге, если не использовать fbd, раздача не затрагивается.
Опасный Вы человек. По отношению к обычному Пользователю это негуманно. ab
Я сейчас ковыряю Либрусековский INPX, пока принципиальных проблем по преобразованию INPX Пользователя в INPX Либрусека не нашел, кириллицу в поле "FILE" декодирует нормально, в поле "BookID" можно номер менять без проблем,... если только в поле "GENRE" "номер жанра" надо преобразовать в "код жанра" ...хотя хз... я ж не программист.

Krutass

Возможность создание пополняемой Библиотеки HomeLab CD с раздачей zip-архивами 1 … 10Gb, типа Библиотеки Либрусек, на основе MyHomeLib (на примере раздачи spec299) ab
В Архиве файл каталога homelab.inpx для раздачи spec299 и Программа-Библиотекарь MyHomeLib ver.2.2
Скачать:
https://yadi.sk/d/KUIiHfQosU3N2

1. В раздаче HomeLab CD Открыть папку spec299, выделить все файлы и упаковать архиватором 7-ZIP как zip-архив(т.е. только сами файлы, без папки spec299 !).
2. Переименовать полученный zip-архив в homelab-000001-000145.zip
3. На Рабочем столе создать новую папку, назвать её, например HomeLab и положить туда архив homelab-000001-000145.zip
4. Разархивировать MyHomeLib_2_2.rar на рабочий стол.
Используя MyHomeLib ver.2.2., создать Библиотеку HomeLab из homelab.inpx(при создании Библиотеки выбрать «коллекция из файла INPX») и указать папку HomeLab как папку с книгами.

Как сделать INPX Пользователя со структурой Либрусека

Общая идея: из архива librusec_local_all.inpx от Либрусека взять файлы collection.info и version.info, добавить к ним файл book.inp из INPX от Пользователя(или ЛибГена) и из этих 3-х файлов архиватором 7-ZIP сделать INPX Пользователя со структурой Либрусека.
Файл book.inp предварительно надо обработать EXCEL-ем, удалив поле FOLDER
И добавив(если book.inp от ЛибГена) поле SERNO.
Файл book.inp необходимо переименовать в homelab-000001-000145.inp
Имя inp-файла должно точно совпадать с именем соответствующего zip-архива с книгами. Это правило программы MyHomeLib.
Т.е. файлу-каталогу homelab-000001-000145.inp соответствует архив с книгами homelab-000001-000145.zip
Кодировка inp-файла должна быть UTF-8(без BOM)
Обработку файла book.inp (Замена разделителей EOT на TAB перед подачей в EXCEL, очистка от запрещенных спецсимволов [\], [/], [:], [*], [?], ["]. [<], [>], [|] и перекодировку в UTF-8(без BOM) удобно делать Программой Notepad++ , этой же программой можно делать "косметические" изменения файла collection.info не забывая что это файл формата UNIX , т.е. символ конца строки LF вместо CR LF у Windows)

Структура inp-файла для Библиотеки Либрусека(нет поля FOLDER)
AUTHOR;GENRE;TITLE;SERIES;SERNO;FILE;SIZE;LIBID;DEL;EXT;DATE;LANG;LIBRATE;KEYWORDS;

Структура inp-файла для Библиотеки Либгена( нет поля SERNO)
AUTHOR;GENRE;TITLE;SERIES;FILE;SIZE;LIBID;DEL;EXT;DATE;INSNO;FOLDER;LANG;KEYWORDS;

Структура inp-файла для Библиотеки Пользователя(создается программой MyHomeLib ver.2.2 при экспорте в INPX)
AUTHOR;GENRE;TITLE;SERIES;SERNO;FILE;SIZE;LIBID;DEL;EXT;DATE;INSNO;FOLDER;LANG;KEYWORDS;

Проблемы: несовместимость полей GENRE у Пользователя и у Либрусека. ac
Для Либрусека в поле GENRE записывается «код жанра», например «detective», т.е.Детективы, а для Пользователя программа MyHomeLib записывает в это поле номер этого же жанра, в данном случае «0.2.0», что также означает Детективы.
Код жанра и соответствующий ему номер жанра записаны в файлах genres_fb2.glst и genres_nonfb2.glst в папке с MyHomeLib.
Для правильного заполнения(т.е перекодировки с номера на код) поля GENRE нужна помощь программиста.
В EXCEL-е перекодировку сделать тоже можно, но слишком геморройно... ab

Drunkenmunky

Цитата:

Как сделать INPX Пользователя со структурой Либрусека
Это инструкция? Или вопрос? Если первое, то кому?

Цитата:

( нет поля SERNO)
Добавлю, раз оно вам дорого.

Цитата:

Для Либрусека в поле GENRE записывается «код жанра», например «detective»
Как раз наоборот. «detective» - это альяс(псевдоним) жанра.
Если список жанров не пересортировывался, то без разницы что в поле GENRE записывается - код или альяс.

Цитата:

Общая идея: из архива librusec_local_all.inpx от Либрусека взять
Я так понял вам хочется чтобы коллекция была не редактируемой.
Это делать не следует.
Пользователи должны иметь возможность править коллекцию.
Данные в базе Либгена для некоторых книг очень своеобразны. Обработать их автоматически не всегда удается. Из-за чего есть некоторый процент мусора.
Выкладывать такое пользователю, без возможности исправления некорректно.

Krutass

Хмм.. Вообще-то это очередная попытка вербовки убеждения и завуалированная просьба сделать Программу по перекодировке жанров "под Либрусек". ah

Кстати, попутно выяснилась не слишком приятная вещь:
После перекодировка Вашего ЛибГеновского INPX в Либрусековский (под раздачу spec299), 80% pdf-файлов перестали читаться... хотя все djvu-файлы читаются без проблем...

Сделал Пользовательский INPX из всех "проблемных" pdf-файлов(20штук), добавил 5 djvu-файлов и затем сделал преобразование INPX из Пользовательского формата в "Либрусековский" - все нормально, все 25 файлов читаются...(в inp-файле я делал последовательную нумерацию полей LIBID для 25 файлов)
Мистика.
Подозреваю, что это из-за требования(?)последовательной нумерации полей LIBID в строках inp-файла для Либрусека или (и) мусора из спецсимволов(круглые и квадратные скобки, запятые, точки с запятой)... но почему это влияет только на pdf-файлы ... и проявляется только в zip-архиве... хз...
... или действительно для "Либрусековского" варианта приемлемы только латиница с цифрами - хз... может и есть какая-то сырмяжная правда в переходе на цифры в названиях файлов... ac

Drunkenmunky писал(а):

Цитата:

Как сделать INPX Пользователя со структурой Либрусека
Я так понял вам хочется чтобы коллекция была не редактируемой.
Это делать не следует.
Пользователи должны иметь возможность править коллекцию.
Выкладывать такое пользователю, без возможности исправления некорректно.
Нельзя одновременно править коллекцию и сидеть на раздаче.
Надо что-то одно.
Шибко грамотные запишут в 3-й строке info-файла "1" и поправят все что им надо.

Krutass

Ндаа.. что-то это не айс… Мечты о Либрусеке летят под откос. Слишком много всяких засад… или надо полностью переходить на номера, как у Либрусека, что тоже не айс... ac

Ну что ж, есть вариант «Б»
Сохранить “spec” (750Mb) как элементарную(неделимую) единицу и из 400 существующих раздач сделать 40 раздач по 10 “spec” в каждой.
Перекачивать не надо, создать 40 папок “spec1-10”; “spec11-20”; … “spec401-410” , раскидать все “spec” по этим папкам и перехешировать раздачи.
Величина каждой раздачи – 7,5 Gb
Удобно и для DVD и для флешки.
Торрент-файл раздачи получается нормальным, порядка 120-300kb

MyHomeLib в режиме Пользователя допускает вложенные папки в пределах Главной папки с книгами, т.е. можно добавлять папки с книгами пределах Главной папки, указанной при создании Библиотеки.
После перемещения папки с книгами надо только сделать синхронизацию Коллекции.(Коллекция-обслуживание-синхронизация)

ISO-файл пока не делать,… чтобы Библиотека была пополняемой.
inp-файл будет содержать >50000 строк, после добавления очередной партии книг “specXXX-XXX” его надо будет полностью переделывать… ac

Можно еще В 3-ю строку collection.info записать «0», как у Траума,, чтоб как-то ограничить Пользователя от самопального «импорта», хоть это и слабо…

Krutass

Хмм.. с перекодировкой Жанров «под Либрусека» не все так плохо! ag ag ag
Оказывается, MyHomeLib старых версий 1.6 и 1.7 не только поддерживает режим Редактирования «кода Жанра» (в вашей терминологии «альяс» или псевдоним) в «Либрусековской» Библиотеке, но и создает INPX-архив с Кодом жанра(«альянсом»), в поле GENRE inp-файла (типа science: sci_medicine: )
Это уже кое-что… Это уже потом Кореец (редиска) ag отключил эту возможность, начиная с ver 2.0…

Скачать MyHomeLib старых версий 1.6 и 1.7
https://yadi.sk/d/7N3J0SdFsYGNw

Такой вариант:
1. В MyHomeLib ver 2.2 сделать Пользовательскую не-FB2 Библиотеку(500-1000 книг) без жанров и экспортировать «Пользовательский» INPX
2. Конвертировать полученный INPX в «Либрусековский»INPX ver.2.2
3. Открыть INPX в MyHomeLib ver 1.6 (или 1.7), сделать жанры и экспортировать INPX ver1.6 (ver 1.7)
4. Еще раз переконвертировать полученный INPX в «Либрусековкий» ver.2.2

Drunkenmunky

Цитата:

Открыть INPX в MyHomeLib ver 1.6 (или 1.7), сделать жанры и экспортировать INPX ver1.6 (ver 1.7)
Если припоминаете, я раз пять предлагал(+1) открыть таблицу из вложения и вручную, минут за 15-30 ввести альясы вручную.
Что я кстати и сделал, параллельно составив новый список жанров для MHL.
После чего коды жанров Либгена будут конвертироваться в коды Либрусека автоматически.

Drunkenmunky

Теперь о состоянии дела.
Всё настроено, всё работает.
Однако, в процессе индексации файлов, из базы Либгена запрашивается ячейка "Авторы", данные в которой сохранялись за всю историю Библиотеки Генезис как бог на душу положит.
Бо'льшую часть авторов выдернуть в форматированном виде(или около того) удалось.
Это больше 60 тыс фамилий.
Однако не смотря на то, что используемым для этого регулярным выражением можно вызвать нечто потустороннее, нескольким сотням строк удалось проскочить.
Судя по "почерку", эти строки вводил один и тот же человек. С необычайно богатым внутренним миром.
Так что на сегодня занимаюсь этими строками вручную.
Свободного времени мало - как закончу (день-два, неделя, месяц - не скажу) выложу готовый INPX в разделе с раздачами Хоумлаба.

Krutass

Drunkenmunky писал(а):

Цитата:

Открыть INPX в MyHomeLib ver 1.6 (или 1.7), сделать жанры и экспортировать INPX ver1.6 (ver 1.7)
Если припоминаете, я раз пять предлагал(+1) открыть таблицу из вложения и вручную, минут за 15-30 ввести альясы(!!) ac ac вручную.
Что я кстати и сделал, параллельно составив новый список жанров для MHL.
После чего коды жанров Либгена будут конвертироваться в коды Либрусека автоматически.
Та блииин! ak
Что ж вы мне не сказали, что MyHomeLib старых версий 1.6 и 1.7 может сохранять inp-файл с «альянсом» в поле GENRE (!!!)
Тем более, в вашем test12.inpx для раздачи spec299 в поле GENRE inp-файла бал записан не «альянс», а номер!!
К тому же, Набивать Фамилии/Названия/Жанры в MyHomeLib или в EXCEL-е это ж 2 большие разницы…

Но есть БОЛЬШАЯ(для меня) проблема – я не могу нормально перекодировать в формат Либрусека Ваш(ЛибГеновский?) test12.inpx для раздачи spec299
Хоть умри, но при перекодировке читаются все 100% djvu-файлов и только 20% pdf-файлов.(Ошибка: Формат файла[pdf] не поддерживается или файл поврежден) Перепробовал все варианты, менял Акробат ридер, менял содержимое полей inp-файла, все впустую.

Когда я сам создаю Пользовательскую Библиотеку из всех «проблемных» pdf-файлов, и потом экспортирую в INPX, перекодирую INPX в «Либрусек», потом делаю из книг zip-архив - они все читаются без проблем. aq

Сдуру дернулся с вопросом к Корейцу – он стер мой пост на Либрусековском трекере rus.ec и влепил последнее предупреждение перед баном ac

Вопрос
1. Вы получаете от ЛибГена inp-файл с «альянсом» (т.е. «код жанра» science: sci_medicine ) в поле GENRE ?
Вы можете сбросить INPX- файл? ... или хотя бы inp-файл с «альянсом»?
У «Либрусековской» Библиотеки в меню есть режим смены файла жанров(Коллекция-Обслуживание – Обновить), но для Либрусека в поле GENRE должен быть «альянс», а не «номер»
2.Чтобы MyHomeLib нашла все книги Библиотеки из test12.inpx, и spek299 надо после создания Библиотеки сделать синхронизацию. Синхронизация 146 файлов занимает где-то 16-20 секунд... Синхронизация 50000 файлов займет порядка 2 часов?


Хмм… полистал Форум, нашел Ваше сообщение:
10-Июн-2016 21:14

Drunkenmunky писал(а):

Цитата:

Как переделать INPX "под Либрусек"
Из базы Либгена можно получить код жанра.
Но в базе ЛибГена другие коды жанров.
Чтобы оно работало с жанрами Либрусека, жанры ЛибГена нужно ассоциировать с жанрами Либрусека.
Что я и предложил вам сделать сообщением выше.
Под "код жанра" Вы имели ввиду " science: sci_medicine: " и т.п?
Ну, тогда супер!
Тогда можно делать "Либрусековский" вариант со сменой файла жанров на ЛибГеновский с добавкой ББК, УДК и совместимостью с Библиотек HomeLab c ЛибГеном и Либрусеком ab .., но сначала надо "подружить" Ваш ЛибГеновский test12.inpx с Либрусеком, чтобы нормально читались все pdf-файлы...

Krutass

Фуу… Вроде заработало… Всему виной моя неаккуратность, «Тщательнее надо»(с)… ab
Переделал Ваш test12.inpx от ЛибГена на homelib.inpx «для Либрусека»
Теперь читаются все djvu и pdf-файлы в zip-архиве… az
Для проверки надо архиватором 7-ZIP сделать zip-архив из всех(146) файлов внутри spec299, затем переименовать в usr-000001-000500.zip, затем создать на Рабочем столе папку, например Book и положить архив в эту папку.
Затем сделать «с нуля» Библиотеку из MyHomeLib ver 2.2, используя homelib.inpx (в Архиве) и папки Book с книжным zip-архивом usr-000001-000500.zip
Скачать Архив (10Kb)
https://yadi.sk/d/IinTlbyysZARj

Теперь осталось только прикрутить к нему жанры с помощью MyHomeLib ver 1.6 / ver 1.7 ab

Krutass

Задержка переключения Библиотеки «Либрусек» на другой файл жанров (не зависит от того, что записано в поле GENGE: Номер или Код; и не зависит от обоъема Библиотеки) ac

1. Библиотека переходит на другой файл жанров, например с genres_fb2.glst(150 жанров) на genres_nonfb2.glst (200 жанров) за 20-30 секунд
2. Если дополнительно ввести ББК(2 000 жанров), тогда переход с жанров genres_fb2.glst на жанры (ББК+ genres_fb2.glst) увеличивается до 3,5 минут.
3. Если дополнительно ввести еще и УДК(10 000 жанров), тогда переход с жанров (genres_fb2.glst) на жанры (УДК+ББК+ genres_fb2.glst) увеличится (теоретически) до 10 минут и более… ac

4. ПРИ ЭТОМ Время Инициализации(включения) готовой Библиотеки Либрусек(900Gb, 450 000 книг) после перезагрузки компьютера составляет 50 секунд, и НЕ зависит от файла жанров. ab
Короче, не все так плохо ab

Krutass

Прикольная вещь…
Оказывается в он-лайне нету полной современной версии УДК. ac
Книжная мафия подмяла «идею УДК» под и себя и стрижет купоны с Авторов, которым присваивает УДК за деньги.
Современная версия УДК, урезанная раз в 30, есть «для ознакомления» на официальном сайте
http://forum.udcc.ru/showthread.php?t=1373
Все остальные сборники УДК в Интернете и на торрентах – старые(1985г), неполные и искаженные…мда. Нашел полную версию на сайте ГПНТБ, оттуда надо тянуть Телепортом, че-то долго… уже вторые сутки тянет…
Кстати, не пойму чего на Генезисе СНОВА решили «изобретать велосипед» с классификацией…Делать им нефиг? Взяли хотя бы ГРНТИ, если уж им УДК влом…
Классификатор ГРНТИ от ГПНТБ
https://yadi.sk/d/nNoDSwVQseSnm

regidrer

**
Показать сообщения:    
Ответить на тему