Loading...
Error

Библиотека Flibusta (только FB2) на 01.09.2019 (450712 книг) (локальная коллекция, пополняемая ежемесячно) + MyHomeLib + inpx

Страницы:   Пред.  1, 2, 3 ... 78, 79, 80 ... 156, 157, 158  След.

Ответить на тему

 | 

 
Автор Сообщение

EgorD

vlbeznosov!

Проблема в ДНС была где-то рядом со мной, потому что адрес просто не резолвился. При подстановке ip через hosts - всё в полный рост. Где враги - я в понедельник буду разбираться.

По скорости - я уже как-то писал, что меня волнует скорее не она сама, сколько то, что на больших файлах (больше ста мегабайт усреднённо) wget где-нибудь, да отвалится. А докачки в нём либо нет, либо я не нашёл.
В этом случае мне проще скормить ссылку на файл фаерфоксу, у него почему-то всё закачивается без лишних вопросов. Печалит только то, что это вручную.

Crystal

EgorD

Честно скажу, ещё ни разу не сталкивался с тем, чтобы wget отваливался - ни под Виндами, ни под Линуксом.

Докачка в wget есть:


−c


−−continue

Continue getting a partially-downloaded file. This is useful when you want to finish up a download started by a previous instance of Wget, or by another program. For instance:

wget −c ftp://sunsite.doc.ic.ac.uk/ls−lR.Z

If there is a file named ls−lR.Z in the current directory, Wget will assume that it is the first portion of the remote file, and will ask the server to continue the retrieval from an offset equal to the length of the local file.

Note that you don’t need to specify this option if you just want the current invocation of Wget to retry downloading a file should the connection be lost midway through. This is the default behavior. −c only affects resumption of downloads started prior to this invocation of Wget, and whose local files are still sitting around.

Without −c, the previous example would just download the remote file to ls−lR.Z.1, leaving the truncated ls−lR.Z file alone.

Beginning with Wget 1.7, if you use −c on a non-empty file, and it turns out that the server does not support continued downloading, Wget will refuse to start the download from scratch, which would effectively ruin existing contents. If you really want the download to start from scratch, remove the file.

Also beginning with Wget 1.7, if you use −c on a file which is of equal size as the one on the server, Wget will refuse to download the file and print an explanatory message. The same happens when the file is smaller on the server than locally (presumably because it was changed on the server since your last download attempt)−−−because "continuing" is not meaningful, no download occurs.

On the other side of the coin, while using −c, any file that’s bigger on the server than locally will be considered an incomplete download and only "(length(remote) − length(local))" bytes will be downloaded and tacked onto the end of the local file. This behavior can be desirable in certain cases−−−for instance, you can use wget −c to download just the new portion that’s been appended to a data collection or log file.

However, if the file is bigger on the server because it’s been changed, as opposed to just appended to, you’ll end up with a garbled file. Wget has no way of verifying that the local file is really a valid prefix of the remote file. You need to be especially careful of this when using −c in conjunction with −r, since every file will be considered as an "incomplete download" candidate.

Another instance where you’ll get a garbled file if you try to use −c is if you have a lame HTTP proxy that inserts a "transfer interrupted" string into the local file. In the future a "rollback" option may be added to deal with this case.

Note that −c only works with FTP servers and with HTTP servers that support the "Range" header.
Под Линуксом пару раз прерывал работу скрипта закачки вручную - и всякий раз wget начинал докачивать с того момента, на котором его прервали. Так что тут всё согласно тому описанию, которое я привёл под спойлером.
Видимо, wget, портированный в Windows, работает иначе.

EgorD

vlbeznosov!
У меня это происходит примерно так:
downloading...
--2015-11-29 12:43:25-- http://flibusta.is/daily/f.fb2.427666-427752.zip
Resolving flibusta.is... 81.17.19.227
Connecting to flibusta.is|81.17.19.227|:80... connected.
HTTP request sent, awaiting response... 200 OK
Length: 102357996 (98M) [application/zip]
Saving to: `p:/flibusta/book2/f.fb2.427666-427752.zip'

27% [=========> ] 28,659,016 --.-K/s in 2m 49s

2015-11-29 12:46:16 (165 KB/s) - Read error at byte 28659016/102357996 (Unknown
error). Giving up.
Сейчас изменил скрипт - убрал удаление архива, не прошедшего проверку - и добавил --continue wget'у
За наводку, конечно, спасибо. ПОЧЕМУ я с этим облажался - се тайна велика есть. Может быть, первые тесты были с ещё более старым wget'ом.

Докачка пошла - но валиться wget не перестал.

Ну знаю. Может попробовать CygWin вместо GnuWin32 попользовать... ?

Crystal

EgorD

Вот честно, даже предположений никаких нет, почему wget у вас может падать. Точнее, понятно, что виной тому - нестабильность соединения с Флибустой, но почему так происходит... Можно, конечно, попробовать увеличить таймаут соединения wget. В мануале к wget написано, что по умолчанию таймаут определяется системными библиотеками (By default, there is no connect timeout, other than that implemented by system libraries.) Может, попробовать указать его явно?

Да, а wget у вас какой версии?

j_sim

vlbeznosov писал(а):

EgorD

Я, кстати, заметил, что с .is скорость скачивания заметно пониже, чем было раньше с flibusta.net, даже через Тор. У меня редко выше 500 кб/сек поднимается, в основном держится в диапазоне 100 - 300 кб/сек.
6,5 Мб/с стабильно.

EgorD

vlbeznosov!
GNU Wget 1.12.1-dev Mar 04 2010 (mainline-013c8e2f5997)
Тот что в GNUWin32, который с 2011 года не обновлялся, увы...

Crystal

EgorD

https://eternallybored.org/misc/wget/ - вот тут новее есть. Тоже официальный репозиторий бинарников для Виндоус, между прочим, ссылка на основном сайте есть. Я отсюда брал как раз.

Crystal

01.12.2015. Раздача обновлена. Пожалуйста, перекачайте торрент-файл.
Добавлен архив f.fb2-425051-428054.zip. Файл inpx обновлён.

По сложившейся традиции, обновления на Яндекс.Диске:

INPX:https://yadi.sk/d/9ZPDkRLTksghm

Архив:https://yadi.sk/d/gkvjw2t8ksgiV

antobel

Спасибо!!!
Встал на раздачу...

fedor.de

vlbeznosov писал(а):

По сложившейся традиции, обновления на Яндекс.Диске:
INPX:https://yadi.sk/d/9ZPDkRLTksghm
Архив:https://yadi.sk/d/gkvjw2t8ksgiV
Спасибо!

EgorD

vlbeznosov! Спасибо! Забираю, на раздаче буду.

wget - спасибо, попробую. Вернее, уже попробовал - но разницы заметить не удалось, потому что всё сегодняшнее уже было успешно скачано. Smile

Я-то себе искал (причём не в это лето, а минимум на год раньше, были и другие нужды) относительно полный комплект портированых никсовых утелей, мало ли что из них пригодится, поэтому и качнул GNUWin32 несмотря на древность.

arkadash

Спасибо огромное как всегда. Удачи. ab

NeW59

vlbeznosov,
Thank You

Rushmore

В свежем архиве f.fb2-425051-428054.zip наряду с номерными файлами присутствует нечто под названием "Elena Petrova_Leyna-3.Sdelat vybor.Chast1 (SI).fb2". В индексе отсутствует ai

NeW59

Rushmore писал(а):

В свежем архиве f.fb2-425051-428054.zip наряду с номерными файлами присутствует нечто ...
Только что проверил этот архив у себя. Результат: 3 914 321 659 байт в 2 193 файлах, все файлы "номерные", никаких "нечто" не обнаружено.
Показать сообщения:    
Ответить на тему