К вопросу об автоматическом разборе и упорядочивании большого кол-ва литературы

---

---

Зачастую приходится разгребать массу технической литературы, при ручном методе обработки отнимает уйму времени, многие файлы имеют ни о чем ни говорящие имена, бывает неправильное расширение и сами они бывают битыми. предлагается некоторый набор софта для решения этих пороблем,

1) прежде всего надо выяснить правильное ли расширение стоит у файла, есть спец. плагин Total commander для проверки расширений у файлов по их сигнатурам WDX TrID: http://en.totalcmd.pl/download/wdx/fls/WDX_TrID он не распознает все расширения на свете, но необходимый минимум - pdf\djvu\chm\doc\rtf распознает

если у вас повально стоят неправильно расширения, то тут может пригодится и опция группового переименования TC: в поле Маска имени прописывается [N].[=trid.Match 0.Extension] в поле расширение -ничего

в ряде случаев так же поможет при определении битый файл или нет -если начало файла занято нулями, то расширение плагином определено не будет

2) Проверка файла на битость: если часть файла забита нулями, то тут поможет скрипт (by msink) ftp://free-books.dontexist.com/genesis/!%F1%EA%F0%E...%EB%EA%E8/!SOFT/!badfile%20checker%20(Msink)/ck-1.zip

он проверяет то, чтобы начало файла не было занято нулями, и сегменты файла заданного размера не были заняты нулями. размер сегмента файла выставляется вручную в файле ck.bat<div class="c-wrap"><div class="c-head"><b>Код:</b></div><div class="c-body">@echo off for /r %%F in (*.*) do call :test "%%F" goto :EOF :test echo Checking %~nx1 ... ckzero --sector=1024 %1 >nul 2>&1 if not ERRORLEVEL 1 exit /b echo File %1 is broken! >> bad.txt rem òóò ìîæíî âûïîëíèòü ëþáûå äðóãèå êîìàíäû äëÿ ôàéëà %1</div></div>в приведенном примере если сегмент файла в 1024 байта занят нулями то выводит такой файл в список bad.txt для ряда типов файлов нули совершенно не допустимы - для djvu файлов, некоторых типов pdf (картиночные), архивы с ненулевым сжатием, сжтые типы каринок - Jpeg, если такие файлы скрипт вывел в список то однозначно эти файлы битые

3) Распаковка архивов: есть 2 программы для групповой распаковки с заданными параметрами: а) скрипт (by msink) ftp://free-books.dontexist.com/genesis/!%F1%EA%F0%E...%F9%E0%EB%EA%E8/!SOFT/%F0%E0%F1%EF%E0%EA%EE%E2%F9%E8%EA%E8(Msink)/3(+%E7%E8%EF+%EC%ED%EE%E3%EE%F2%EE%EC%ED%FB%E5/

автоматически распаковывает rar\zip архивы содержащие 1 файл (+ файлы исключения если есть) если архивы запаролены, то вводит пароль - он прописывается в файле unp_all.bat<div class="c-wrap"><div class="c-head"><b>Код:</b></div><div class="c-body">@echo off set PASSWORD=infanata for /r %%A in (*.rar *.zip *.7z) do (     cd %%~pA || exit /b 1     set _S_=""     for /f "tokens=*" %%S in ('echo.^|%~dp0\7z.exe l -p%PASSWORD% -scsWIN -xr@"%~dp0\exclude.txt" "%%~nxA"') do (         set _S_=%%S

........</div></div>так же работает с многотомными архивами - в конце имени файла должно быть прописано .partN.rar

в файле exclude.txt прописываются файлы-исключения - многие сайты кладут в архив с книжкой различные рекламные файлы, называются они как правило одинаково, поэтому такие файлы при распаковке архива скрипт удаляет, а саму распакованную книгу переименовывает так же как назывался архив, сам архив так же удаляет

в случае если попадается архив с другим паролем, битый, содержащий больше 1 файла (не считая перечисленного в exclude.txt ) такой архив пропускается - переходит к другому *в пути к папке не должно быть пробелов б) есть и более продвинутая программа : processing archive (by Spacelib) http://spacelib.narod.ru/Download/processingarchive.rar

функции те же, что и у вышеописанного скрпта,

но так же можно задавать фильтр на имя файла(ов) в архиве, указывать папки для перемещения архивов, которые обработать не удалось - многотомные, запароленные, битые,

приписывать к именам распакованных файлов имя архива, где они находились (опция "присваивать новые имена")

4) после этого можно проверить имеющийся у вас каталог книг на повторы по хешу- программ для этого масса предпочитаю использовать программу clonespy http://www.clonespy.com/ там есть полезная опция - оставлять файлы с наиболее длинными именами файлов(путем к файлу)

5) далее можно привязать полученные файлы к существующим он-лайн библиотекам или каталогам по контрольной сумме - хешу это проекты Library genesis и Spacelib а) для проекта Spacelib - есть база имен+ CRC32 хешей http://spacelib.narod.ru/Download/allbook.rar и есть http://spacelib.narod.ru/Download/FindNameDocs.rar б) Для проекта Library Genesis: предаставляет из себя базу данных с библиографической информацией+ комплект хешей + собственно сама колекция книг - имена файлов =MD5 хеши этих файлов

библиоттекуу предполагается использовать через web интрерфейс

для подключения уже имеющихся книг - поиска книг по мд5 хешу и переименованию следует использовать программу paranoia 0.1rc (by Atomic XP)

http://extracoder.com/download/paranoja/paranoja.0.1.beta.7z чтобы использовать полученное в итоге структуру надо скачать код сайта: http://gen.lib.rus.ec/files/gen.lib.rus.ec_v16_dist.7z и базу: http://gen.lib.rus.ec/files/bookwarrior.updated%2020090705%200150.rar инструкция по установке: если нет желания ставить веб-сервер, то сначала можно прогнать вашу коллекцию через paranoia 0.1rc потом запустить *.bat для переименования: MD5=имя файла.ext ftp://free-books.dontexist.com/genesis/!%F1%EA%F0%E...%EF%EA%E0%F5.bat (кодировка DOS!) поскольку в хозяйстве имена файлов, которые делает paranoia 0.1rc не пригодны

6) если в итоге всего этого остался некоторый массив неразобранной литературы, то можно использовать программу FindISBN (в связке с frtotxt и Fine reader8 (так же есть вариант с использованием Cuneiform, но она хуже распознает)): http://rulib.narod.ru/downloads/FindISBN.part1.rar http://rulib.narod.ru/downloads/FindISBN.part2.rar http://spacelib.narod.ru/Download/frtotxt.rar Осуществляетяся поиск по текстовому слою (если есть, или OCR если нет) первых или последних страниц книги номера ISBN с последующей их сверкой с базой ISBN интрернет-магазинов или каталогов гос. библиотек

подробное описание: http://rulib.narod.ru/findisbn.html

Замечание: у меня операция ассоциирования frtоtxt c *.htm файлами почему то не проходит, тогда идем в Панель управления - свойства папки - типы файлов и указываем программу для их открытия вручную

надо так же помнить с какого года в книгах стал указываться ISBN - т.е нет смысла использовать эту программу для книг старее указанных годов

для обработки библиографической информации полученной Findisbn и хранящейся в ее служебных файлах можно использовать скрипт от tigranav (должен быть установлен python)

http://blog.tigranav.ru/files/findISBN/parseISBN.v1.pl

7) если в итоге остались еще книги, которые не были идентифицированы ни по каталогам хешей, ни по ISBN, то для более удобного ручного переименования\сортировки можно использовать программу AllDocView (by Spacelib) http://spacelib.narod.ru/Download/alldocview.rar подробное описание: http://spacelib.narod.ru/p_adocv.html

BG 02/08/2009