Большой архив статей, книг, документации по программированию, вебдизайну, компьютерной графике, сетям, операционным системам и многому другому
 
<Добавить в Избранное>    <Сделать стартовой>    <Реклама на сайте>    <Контакты>
  Главная Документация Программы Обои   Экспорт RSS E-Books
 
 

   Сети -> Internet -> Обзор программы Offline Explorer Pro


Обзор программы Offline Explorer Pro

Сразу хотел бы предупредить, что это не сравнительный обзор менеджеров загрузки. Статья написана для тех, кто остановил свой выбор на программе Offline Explorer Pro или хочет узнать, почему это сделал я. Программу использую давно, загрузил ей около сотни сайтов, и просто хотел бы поделиться некоторым опытом ее использования.

 

Содержание

Основные настройки
Шаблоны
Тонкая настройка
Подробнее о работе программы
   Последовательность запуска
   Работа из командной строки
   Макро-команды
На заметку
   Запуск внешней программы
   Загрузить результат формы
   Как загрузить только несколько ссылок с некоторой страницы?
   Использование различных proxy-серверов для проектов
   Как добавить одну ссылку к проекту?
   Что такое Извлечение данных?
Итог
Ссылки по теме

 

Основные настройки

При первом запуске программы отключите Советы - Wizard & Tips of the Day (уберите флажок у Show tips at startup) и переключите программу на русский язык (меню: View\Languages\Russian).

Далее советую изменить некоторые настройки программы (меню: Вид\Настройки).

1) Уменьшите Автосохранение до 5 минут.

2) Включите опцию Работа в области списка задач, чтобы программа сворачивалась в "трей" при минимизации.

3) Укажите опцию минимизации. Теперь программа будет сворачиваться в трей при нажатии на кнопку "Х" закрытия окна.

4) Измените каталог загрузки сайтов на диск, где у Вас больше места.

5) Укажите опцию Предотвращать перегрузку каталогов.

Обратите внимание: при выборе этой опции программа не будет создавать более 1000 файлов в каждом директории при загрузке сайтов. Создадутся дополнительные каталоги (%&ovrX) куда поместятся файлы. Эта возможность очень пригодится пользователям операционных систем Windows 95/98/Ме, в которых количество файлов в одном директории значительно ограничено по сравнению с другими системами. Если не выставить эту опцию, то при загрузке больших сайтов каталог может переполниться и не все страницы загрузятся. Указание опции никак не сказывается на просмотр загруженных сайтов. При Экспорте (см.ниже) программа автоматически поменяет все ссылки с учетом созданных ею каталогов (%&ovrX).

Замечательным свойством программы является возможность создать папку со своей настройкой каталога и все проекты в папке будут использовать каталог загрузки папки.

Остальные настройки выбирайте на ваше усмотрение. У меня они меняются в зависимости от ставящейся задачи (см.ниже).

Шаблоны

Следующим шагом советую настроить шаблоны для загрузки. Шаблон - это набор установок, использующийся для создания новых проектов. Список шаблонов можно найти в меню Файл\Шаблоны. Один из них является шаблоном по умолчанию (основным) и используется для новых проектов, когда не применяется Мастер или другой шаблон.

Стандартно я использую 3-4 шаблона, и они почти всегда меня устраивают. Если загружаемый сайт имеет некоторую особенность, то я создаю проект с помощью Мастера (меню: Файл\Проект\Мастер).

Особенности моего самого частого шаблона:
1) Уровень глубины (вложенности) загрузки установлен равным 99.

2) Включено: Не загружать существующие файлы. Т.о., если прервать закачку и запустить снова, программа не будет проверять обновление страниц и сразу начнет загружать отсутствующие.

3) Отключено: Видео, Аудио, Архивы.

4) Для изображений у меня указано Загружать только с начального сервера, чтобы не грузить счетчики, баннеры и пр.

Замечу, что для каждого типа файлов можно установить помимо других ограничений, ограничение по размеру. Помню, я загружал некий сайт и сохранил себе время и траффик, ограничив размер картинок, и не выгрузил галерею, которая шла немного не в тему к основному материалу сайта.

5) Укажите так же фильтр URL для серверов, чтобы программа не начала "гулять" по всему интернету:

6) Далее, настоятельно рекомендую для каталогов добавить исключения форумов, голосований и прочего:

Полный список рекомендуемых каталогов для исключения:

*/phorum/*
*/forum/*
*/phorums/*
*/forums/*
*/club/*
*/conf/*
*/confs/*
*/confers/*
*/board/*
*/webboard/*
*/voting/*
*/ratings/*

Аналогично для исключения из загрузки файлов (Фильтры URL | Имя файла) рекомендую указать:

*print* - обычно используется на сайтах как "Версия для печати"
*mail* - аналогично для "Отправить другу"
*comment* - чаще "Послать комментарий"

и, по необходимости:

*.pdf
*.exe
*.ppt
*.doc
*.xls

Внимательнее с шаблоном *.exe. Есть сайты, на которых расширение exe имеют скрипты и, соответственно, при исключении этого расширения некоторые страницы просто не загрузятся.

7) Когда необходимо загрузить только часть сайта можно ограничить загрузку начальным каталогом:

В общем-то, с шаблонами все. Далее выбираете созданный шаблон (Файл\Проект\Шаблоны\<Название шаблона>), вводите URL и загружаете сайт.

Перед загрузкой любой сайт следует слегка исследовать. Как правило, это сводится к тому, чтобы найти "тяжелые" каталоги для загрузки и исключить их по маске. Каталоги презентаций, фотоальбомов, программ, конференций, если, конечно, не они являются целью загрузки. Дополнительно следует исключить файлы по маске, которые могут повторяться почти на каждой странице, например: Отправить страницу другу, Отправить ссылку, Версия для печати, Оставить примечание в гостевой и т.п.

После загрузки сайта рекомендую выполнить экспорт проекта (Файл\Экспорт) чтобы программа поправила ссылки, если были созданы каталоги %&ovrX (см. выше) или выполнить другие действия с уже загруженным сайтом.

 

Тонкая настройка

Замечали, наверное, что не все сайты поддаются загрузке менеджерами. Подобной "хитрецой" обладает всем известный Firststeps.ru Однако программа справилась и с ним. Устанавливаем в настройках одно (!) соединение и паузу между загрузками 3 секунды. И все. Сервер "думает", что пользователь с паузами грузит странички и конечно их отдает без проблем.

Все очень просто, хотя и качается, конечно, дольше. Однако и это еще не все. Чтобы ускорить загрузку отключите получение изображений при установленном одном соединении. Когда странички загрузятся, можете установить даже 50 соединений для загрузки картинок, в то время как отключена загрузка страничек. Сайт построен на скриптах и отслеживает интервалы выдачи страничек, однако за изображениями он следить не умеет.

Чтобы еще более спутать скрипт возвращающий страницы можно указывать случайную паузу между загрузками. Например, 3-10 - Offline Explorer будет ждать от 3 до 10 секунд после загрузки предыдущего файла.


 

Автор: Михаил
Источник: www.zipsites.ru

 

 
Интересное в сети
 
10 новых программ
CodeLobster PHP Edition 3.7.2
WinToFlash 0.7.0008
Free Video to Flash Converter 4.7.24
Total Commander v7.55
aTunes 2.0.1
Process Explorer v12.04
Backup42 v3.0
Predator 2.0.1
FastStone Image Viewer 4.1
Process Lasso 3.70.4
FastStone Image Viewer 4.0
Xion Audio Player 1.0.125
Notepad GNU v.2.2.8.7.7
K-Lite Codec Pack 5.3.0 Full


Наши сервисы
Рассылка новостей. Подпишитесь на рассылку сейчас и вы всегда будете в курсе последних событий в мире информационных технологий.
Новостные информеры. Поставьте наши информеры к себе и у вас на сайте появится дополнительный постоянно обновляемый раздел.
Добавление статей. Если вы являетесь автором статьи или обзора на тему ИТ присылайте материал нам, мы с удовольствием опубликуем его у себя на сайте.
Реклама на сайте. Размещая рекламу у нас, вы получите новых посетителей, которые могут стать вашими клиентами.
 
Это интересно
 

Copyright © CompDoc.Ru
При цитировании и перепечатке ссылка на www.compdoc.ru обязательна. Карта сайта.