Loading...
Error

Журнальный проект - ТЗ

Ответить на тему

 | 

 
Автор Сообщение

Bill_G

Перетащу сюда обсуждение с флибусты и bibliography.ufacom.ru/library
чтоб сконцентрировать его тут,а не распылять по форумам

Bill_G

Цитата:

певоначально обсудив с vladk, сошлись на следующем:
проект будет на друпале + журнальный модуль,
под каждую подшивку будет таблица, см. либрусек или http://www.isfdb.org/wiki/index.php/Magazines

после формирования таблицы с номерами,
добавление может идти через веб-форму по одному в пустую ячейку,
или пакетно - на основе таблицы скрипт генерирует нам список номеров -как они должны быть поименованы - указывается папка на фтп с поименованными таким образом номерами, после чего запускается скрипт и происходит привязка данной папке к таблице, если в папку с журналом в последствии докладывается что-то, то скрипт запускается снова и происходит прописывание
новых №№ в таблице

на повестке дня:
1) виды нумерования журналов - сквозной список попорядку, ежемесячные выпуски, сдвоенные\строенные номера, периодичность выхода, непериодичные спец. выпуски,
и обсуждение конструктора создания таблицы и стандарта именования файлов на основе вышеперечисленного
2) какие еще поля должны быть на странице журнала - общее его описание, редактор, язык, статистика по номерам - сколько всего выходило, сколько есть
3) страница по каждому конкретному номеру - нужна ли вообще, и что там должно быть, что можно автоматизировать - например извлечение из файла 1 страницы как обложки или информации о числе страниц,
ситуация когда есть 2 варианта одного и того же номера,
подсчет хешей с файлов
Anarchist

Цитата:

Bill_G пишет:

Цитата:

на повестке дня:
1) виды нумерования журналов - сквозной список попорядку, ежемесячные выпуски, сдвоенные\строенные номера, периодичность выхода, непериодичные спец. выпуски
Возможность совмещения шкал (да и номеров) предусматривается?
По интересующей меня подшивке:
1. Сквозная (причём начиная с нулевого номера);
2. Циклическая по годам;
3. При этом в рамках года достаточно часто встречаются сдвоенные номера (с сменой года --- не помню).
Bill_G

Цитата:

я так полагаю, что основной может быть или циклическая или сквозная, на которой и будет строится таблица,
а не обе сразу,
то есть заливаете допустим 1990-05, а дополнительно указываете если хотите, что это номер 499, но этот номер не будет влиять на структуру библиографии
Qua

Цитата:

Я правильно понял, что это проект по созданию библиотеки периодики?

Цитата:

Bill_G пишет:

на повестке дня:
1) виды нумерования журналов - сквозной список попорядку, ежемесячные выпуски, сдвоенные\строенные номера, периодичность выхода, непериодичные спец. выпуски,
и обсуждение конструктора создания таблицы и стандарта именования файлов на основе вышеперечисленного
2) какие еще поля должны быть на странице журнала - общее его описание, редактор, язык, статистика по номерам - сколько всего выходило, сколько есть
3) страница по каждому конкретному номеру - нужна ли вообще, и что там должно быть, что можно автоматизировать - например извлечение из файла 1 страницы как обложки или информации о числе страниц,
ситуация когда есть 2 варианта одного и того же номера,
подсчет хешей с файлов
1. Опираться на сквозной список нумерования журнала затруднительно, как раз из-за наличия сдвоенных\строенных номеров, непериодических спецвыпусков. Есть журналы, которые даже не ведут сквозной нумерации. Т.е. за основу лучше взять время - дату выпуска. Лучше всего период - просто год. Журналы разные бывают - что-то выходит еженедельно, что-то раз в пару месяцев, квартал.
Т.о. вид нумерования - год (четырёхзначное число), выпуск в году (лучше трёхзначное число - подстраховка для газет), дополнительные параметры.
Первые два параметра точно указывают экземпляр.
Дополнительные параметры описывают его свойства (Nxxxx - номер в сквозной официальной нумерации журнала, Mxxxx - месяц или Kxxxx - квартал выпуска, Sxxxx - обозначение выпуска как внепериодического, специального); и свойства файлов (Fxxxx - обозначения формата, Dxxxx - дубля файла одинакового формата).

И в то же время, наличие списка со сквозной нумерацией журналов тоже необходимо, т.к. часто ссылки даются на номер выпуска.

2. Возможно указание известных авторов, публицистов с номерами журнала, где печатались.

3. Нужна. Обложка с описанием; содержание с числом страниц; ссылки на разные форматы, дубли.
Bill_G

Цитата:

Цитата:

Я правильно понял, что это проект по созданию библиотеки периодики?
правильно, и вот соображаем как это сделать при минимальном ручном труде
Цитата:

Есть журналы, которые даже не ведут сквозной нумерации. Т.е. за основу лучше взять время - дату выпуска. Лучше всего период - просто год. Журналы разные бывают - что-то выходит еженедельно, что-то раз в пару месяцев, квартал.

справедливо и обратное, классический пример:

Buton D Or 15.rar
Buton D Or 14.RAR
Buton D Or 18.djvu
Buton D Or 87.rar
Buton D Or 11.djvu
Buton D Or 13.rar
Buton D Or 89.rar
Buton D Or 17.djvu
Buton D Or 85.rar
Buton D Or 88.djvu
Buton D Or 81.rar
Buton D Or 78.rar

что когда и с какой периодичностью выходило не ведомо, какой номер на данный момент -последний тоже, в журнале не пишут, в сети тоже ничего нет,
так что обе модели (со сквозной нумерацией и периодическая) справедливы,

сквозую нумерацию тоже можно сделать как таблицу по 10 №№ в строке
1 2 3 4 5 6 7 8 9 10
11 12 13 14 15 16 17 18 19 20
21...
чтоб не скроллить длинные списки

Цитата:

Дополнительные параметры описывают его свойства (Nxxxx - номер в сквозной официальной нумерации журнала, Mxxxx - месяц или Kxxxx - квартал выпуска, Sxxxx - обозначение выпуска как внепериодического, специального); и свойства файлов (Fxxxx - обозначения формата, Dxxxx - дубля файла одинакового формата).
не совсем верно, мы сначала формируем таблицу, на ее основе генерируется список файлов - как они должны называться,
а потом уже привязываем имеющиеся файлы к таблице, а различные уточнения - доп. сквозная нумерация, разбиение по мес., и тп идет уже в таблицу, а сами файлы не трогаются, тут надо изучить опыт isfdb.org

по поводу формата именования, я думаю, что вида:
Техника молодежи 1944-05 или
Техника молодежи 1944-06-07 - то есть номер сдвоенный, будет достаточно.

по поводу периодичности тоже не вижу проблем, если журнал издается ежеквартально (=4 номера в год), то необходимо и достаточно будет папки с файлами вида:
Техника молодежи 1944-01
Техника молодежи 1944-02
Техника молодежи 1944-03
Техника молодежи 1944-04

если еженедельно, то:
Техника молодежи 1944-01
....
Техника молодежи 1944-52

есть сложные случаи, когда в первом полугодии журнал выпускался 1 номер в мес, а во втором полугодии допустим 2 номера в мес., но эти тонкости нам не пригодятся
Цитата:

И в то же время, наличие списка со сквозной нумерацией журналов тоже необходимо, т.к. часто ссылки даются на номер выпуска.

вы видимо имеете ввиду разный формат вывода имеющегося:
http://www.isfdb.org/wiki/index.php/Magazine:Fantas..._Science_Fiction - табл
http://www.isfdb.org/cgi-bin/pe.cgi?20325 - список
но сквозная нумерация не обязательна, можно и на основе периодической табл. генерировать такие листинги

2, 3- справедливо, но это дело будушего, когда будут юзеры, пока же цель запихнуть имеющееся в описанную систему
vladk

Цитата:

Моё предложение по нумерации:
1. создается/хранится "внутренняя" табличка : издание->год->к-во физ.номеров в этом году(без привязки к "логическим" номерам). На основе её и формируется:
2. табличка "логических" номеров -
издание->
год->
физ.номер в году (для сортировки и привязки к пред. табличке)->
{погодный номер(одинарный, сдвоенный, строенный...)
[И/ИЛИ]сплошной номер(аналогично)
[И/ИЛИ]дата выхода номера
[И/ИЛИ]временной период(характерно для еженедельников, ежеквартальников,двумесячников и т.п.)}
Т.е. предусмотреть все варианты нумерации, но ориентироваться на "физический" номер
vladk

Цитата:

Хотя, и этот вариант не бесспорен. а)Если точно неизвестно к-во физ.номеров в году, то может потребоваться перераскладка. Напр. №12 может оказаться 11-м, если обнаружится (позже) сдвоенный номер
Bill_G

Цитата:

1. создается/хранится "внутренняя" табличка : издание->год->к-во физ.номеров в этом году(без привязки к "логическим" номерам). На основе её и формируется:

тут нарушена описанная выше логика - привязка физ. номеров к таблице, а не наоборот,
потому что потом вдруг вылезет, что был сдвоенный номер, или еще что-то, и к сквозной нумерации самого журнала и поготовой нумерации прибавится еще внутренний ID таблицы, и мы погрязнем в формализме, пытаясь это все увязать, а если подшивка на 1000 номеров?
я не отрицаю, что в базе может быть свой служебный ID - но он никак не должен быть привязан к библиографии, каждому свежезагруженному файлу присваивается след. номер ID и не более.

+ мы не рассмотрели вариант когда есть журнал представлен 2 файлами (разные форматы напр.), тут указанная схема не работает
Bill_G

Цитата:

алгоритм добавления новой подшивки мне видится следующий:
1) создается новая запись о журнале, -
заполняются поля: редактор, ISNN, язык, тематика, описание (желательно из выпадающего списка, чтоб не писали отсебятину) - если известно,
папка на фтп, где будут лежать файлы

2)потом переходим к формированию списка:
а)выбор вида нумерования журнала: сквозной или периодический,
-- если сквозной, то дополнительно указывается первый номер (по умолчанию =1) и последний
--если периодический - то указание периодичности выхода в год(1, 6, 12, 24, 52 и пр.)
и далее указание певого выпущенного номера и последнего (последнего если журнал больше не выпускается, а если выпускается, то стоит добавить возможность автоматического добавления новых ячеек под новые номера)

этого достаточно, чтоб построить таблицу,
3) редактирование таблицы -
--объединение номеров - если были сдвоенные\строенные номера
--указание в какие мес. журнал не издавался (только для периодически нумерованного журнала)

после чего генерируется список как должны быть поименованы файлы в папке на фтп(без расширений)
и происходит привязка файлов на фтп к таблице - т.е. ячейки, которым был найден соотв. файл на фтп становятка кликабельными
Anarchist

Цитата:

Цитата:

3) редактирование таблицы -
--объединение номеров - если были сдвоенные\строенные номера
А строенные были? Не встречал...

На этап добавления оно никак не встраивается?
rna51

Цитата:

Например, Техника Молодежи 1992 №05-06-07
БИП 1999 №06-10
Anarchist

Цитата:

Цитата:

Например, Техника Молодежи 1992 №05-06-07
БИП 1999 №06-10
Спасибо.
Последний пример показывает, что объединение трёх номеров --- не предел.
Qua

Bill_G пишет:

Цитата:

Цитата:

1) создается новая запись о журнале, -
заполняются поля: редактор, ISNN, язык, тематика, описание (желательно из выпадающего списка, чтоб не писали отсебятину)
С выпадающим списком очень хорошо. Только пунктов побольше - тираж, логотип издания, место издания (страна, город), тип (журнал, газета и т.п.), ссылка на интернет-сайт и т.д.
Цитата:

Цитата:

2)потом переходим к формированию списка:
а)выбор вида нумерования журнала: сквозной или периодический,
-- если сквозной, то дополнительно указывается первый номер (по умолчанию =1) и последний
--если периодический - то указание периодичности выхода в год(1, 6, 12, 24, 52 и пр.)
и далее указание певого выпущенного номера и последнего (последнего если журнал больше не выпускается, а если выпускается, то стоит добавить возможность автоматического добавления новых ячеек под новые номера)
этого достаточно, чтоб построить таблицу,
Каким образом можно совместить два этих типа таблиц? Можно обе параллельно иметь?
Цитата:

Цитата:

3) редактирование таблицы -
--объединение номеров - если были сдвоенные\строенные номера
--указание в какие мес. журнал не издавался (только для периодически нумерованного журнала)
А как в таблице выделять отдельные спецномера?
Bill_G

Цитата:

Цитата:

Каким образом можно совместить два этих типа таблиц? Можно обе параллельно иметь?
теоретически да, но их можно совместить только если мы имеем полную подшивку, и точно знаем когда и что выходило, не было ли пропусков,
практически - нет, но можно конечно дополнительно указывать в периодическую таблицу сквозные номера, но они будут для красоты, а не для формирования таблицы

Цитата:

А как в таблице выделять отдельные спецномера?

если они выходят непериодически, то выделять в отдельную таблицу\подшивку
см. например
http://free-books.dontexist.com/2000ad%20Scan%20Lis...02008-07-04.html
vladk

Цитата:

Если интересно (и будет понятно), я могу прямо здесь или в файл расписать конкретные таблицы, как я их вижу.
Про характеристики издания (которые из выпадающего списка) - полностью согласен. Именно так и предполагается. Причем с указанием временных рамок (напр. редактор Иванов - с янв. 1990 по нояб. 1994, редактор Петров с нояб. 1994 по наст. время...)
По нумерации через "физ. номер". Я, наверное, не там акцент сделал. "Физ. номер" - это не то, что ID номера (он его не заменяет), он внутригодовый, т.е. от 1 до, скажем, 12. Нужен он во-первых, чтобы формировать список отсутствующих номеров и сортировать номера. Во-вторых -он независим от типа реальной нумерации (хоть сквозная, хоть по датам...).
По форматам файлов. К одному номеру может быть привязано сколько угодно файлов: в разных форматах, в разном качестве... Это уже третий уровень детализации: Первый - издание в целом (с набором характеристик), второй - отдельный номер (с содержанием), третий - файл (формат, качество). К файлам обязательно "прикладывается" md5.
Bill_G

Цитата:

Цитата:

Если интересно (и будет понятно), я могу прямо здесь или в файл расписать конкретные таблицы, как я их вижу.
распишите

Цитата:

По нумерации через "физ. номер". Я, наверное, не там акцент сделал. "Физ. номер" - это не то, что ID номера (он его не заменяет)
в качестве служебного я готов его рассматривать,
и герерируется он автоматически исходя из введенных юзером данных?

Цитата:

По форматам файлов. К одному номеру может быть привязано сколько угодно файлов: в разных форматах, в разном качестве... Это уже третий уровень детализации: Первый - издание в целом (с набором характеристик), второй - отдельный номер (с содержанием), третий - файл (формат, качество). К файлам обязательно "прикладывается" md5.
совершенно правильная иерархия, жаль, что другие б-ки не взяли ее изначально за основу
Anarchist

Цитата:

Цитата:

совершенно правильная иерархия, жаль, что другие б-ки не взяли ее изначально за основу
Инерция... Sad И фактическое отсутствие этапа начального проектирования.

Можно высказать пожелание не ограничиваться md5, а хранить полный манифест (+ размер в байтах + sha256?
vladk

Цитата:

Цитата:

Если интересно (и будет понятно), я могу прямо здесь или в файл расписать конкретные таблицы, как я их вижу.

распишите
ОК. Есть предложение - ко всем: Есть тестовый вариант проекта (основа - друпал+модуль Либрусека в качестве печки). Там открыт стандартный друпаловский форум. Можно всем заинтересованным лицам собираться там - во-первых, сразу же наглядно видны результаты (я могу сделать одновременно несколько версий), во-вторых, можно развернуть обсуждение по пунктам. Нужно?

Цитата:

Цитата:

По нумерации через "физ. номер". Я, наверное, не там акцент сделал. "Физ. номер" - это не то, что ID номера (он его не заменяет)
в качестве служебного я готов его рассматривать,
и герерируется он автоматически исходя из введенных юзером данных?
Да. Именно - это будет служебное поле, которое будет основным только если/пока нет более точных данных (номера или даты). + в любом случае, оно будет использоваться внутри движка для сортировки при выводе перечня номеров, скажем, за год, ибо общий формат номера или даты не всегда позволяет ранжировать правильно.

К файлам обязательно "прикладывается" md5.

К характеристикам файла относятся (я вижу пока): исходное или преобразованное имя файла; формат (из списка, чтобы не было отсебятины); размер; md5.
Bill_G

Цитата:

вот такой проект нашел:
http://ucpr.arbicon.ru/
непонятно, почему у них все с 2000 года только
vladk

Цитата:

Одного каталога маловато будет. В бумажном виде выходили Летописи периодических изданий. А в эл. виде эл. каталога РНБ хватит, имхо.
А что с 2000 у них, я так понимаю, это только начало.
Bill_G

Цитата:

Цитата:

А в эл. виде эл. каталога РНБ хватит, имхо.
?
можно прямую ссылку?

на РГБ есть каталог периодики,
не могу к ним попасть увы, не грузит страницу,
зато нашел отсканированный каталог по периодике Р. 1900-1916 гг, хотя он слабоактуален,

вообщем с библиографиями пока туго, и видимо по некоторым подшивкам табл. будет строиться исходя из имеющихся номеров,
есть например номера за 2006-2007 - будем строить табл. для 2006-2007,
появится номер за 2005 - будем достраивать ячейки за 2005г

Цитата:

А что с 2000 у них, я так понимаю, это только начало.
мне кажется они описывают только то, что у них есть на руках, а не все что выходило в свет,
а в библиотеках сейчас 10-летней давности литературу списывают, периодику -тем более
вот напр. журнал наталья:
http://ucpr.arbicon.ru/ntki00.html
у меня есть 2006-2008 г, у них про него нет упоминания...
Bill_G

Цитата:

по комиксам, втч журналам комиксов есть хорошая БД
http://www.comics.org
vladk

Цитата:

Цитата:

А в эл. виде эл. каталога РНБ хватит, имхо.

?
можно прямую ссылку?
http://www.nlr.ru/rlin/Periodika_rus.php
http://www.nlr.ru/rlin/Periodika_in.php
Конечно, это тоже только то, что есть в РНБ, но у них есть практически всё.

Цитата:

вообщем с библиографиями пока туго, и видимо по некоторым подшивкам табл. будет строиться исходя из имеющихся номеров,
Да, так и придется действовать. у меня есть один выпуск Летописей периодических изданий в бумаге, но в нем только газеты...
Цитата:

зато нашел отсканированный каталог по периодике Р. 1900-1916 гг, хотя он слабоактуален,

Почему же? У нас есть журналы этого периода - Нива, Огонек, др.
Этот каталог есть в эл. виде на ФЭБ.
Bill_G

Цитата:

Цитата:

Конечно, это тоже только то, что есть в РНБ, но у них есть практически всё
забил пару названий, выходивших в ссср миллионными тиражами - по нулям...
vladk

Цитата:

Конечно, это тоже только то, что есть в РНБ, но у них есть практически всё.

забил пару названий, выходивших в ссср миллионными тиражами - по нулям...

У них с поиском туго. Я всегда долго колдую, чтобы получить результат, но всё находится. Нужно делать очень общий поиск а потом долго листать результаты пока не получишь искомое...
Показать сообщения:    
Ответить на тему