Wayback Machine

Материал из Wikibrand
Wayback Machine

Wayback Machine () — бесплатный онлайн-архив некоммерческой библиотеки «Архив Интернета». С помощью поисковых роботов Wayback Machine архивирует и делает общедоступной бо́льшую часть «открытого» интернетаЗа первые 20 лет существования Wayback Machine каталогизировал и сохранил коллекцию из более чем 286 млрд веб-страниц..

Сервис был запущен в 1996 году, однако стал доступен для общественности только в 2001 году. Архивные снимки отображаются в формате HTML, JavaScript и CSS. Благодаря сохранённым в Wayback Machine документам пользователи могут отслеживать происходящие на сайтах изменения и сравнивать разные версии правок. По состоянию на октябрь 2025 года Wayback Machine предоставляет доступ к более чем 1 триллиону сохранённых веб-страниц.

На момент 10 октября 2024 года в связи с начавшейся 9 октября DDoS атакой сервис оказался недоступен. По заявлению основателя Брюстера Кейла сервис был отключён дабы сохранить данные в ущерб доступности сервиса. 11 октября он также заявил, что данные сервиса повреждены не были, а в настоящее время идут работы по модернизации их внутренних систем. Кейл предполагает, что это займёт дни, а не недели. 14 октября сервис восстановил работу, временно приостановив возможность сохранять страницы, а 28 декабря — вернулся к полноценной работе.

Создание

В 1989 году английский учёный Тим Бернерс-Ли создал всемирную паутину — систему, позволяющую передавать данные через подключённые к интернету компьютеры. Однако с распространением всемирной паутины были выявлены две базовые проблемы. Первая состояла в нехватке мест для хранения всех данных, из-за чего многие документы и веб-страницы удалялись. Решить эти недостатки стремилась американская цифровая библиотека « Другая проблема заключалась в том, что после редактирования веб-страницы (например, по юридическим причинам) пользователи не могли посмотреть её изначальную версию.Архив Интернета» — некоммерческая организация, созданная программистами Брюстером Кейлом и в 1996 году. При сотрудничестве с Alexa Internet (дочерней компанией Amazon, занимающейся веб-индексированием) «Архив» инициировал создание и хранение копий существующих сайтов для развития «универсального доступа к знанию». Организация предоставляла бесплатный публичный доступ к оцифрованным материалам, таким как веб-страницы, книги, аудиозаписи, включая живые концерты, видео, изображения и программное обеспечение. На 2021 год штаб-квартира «Архива Интернета» находится в Сан-Франциско, в здании бывшей христианской церкви, расположенной в районе Ричмонд. Журналист местной радиостанции в 2019 году сравнивал офис «Архива» с римским храмом. Организация ставит перед собой цель спасти интернет от исчезновения.

Wayback Machine стал самым популярным проектом «Архива». Онлайн-сервис был назван в честь машины времени из мультсериала 1960-х годов «Шоу Рокки и Буллвинкля». Он предоставляет доступ к цифровой коллекции из более чем 800 млрд различных веб-страниц. Проект Wayback Machine был задуман как решение проблемы ошибки 404, означающей, что сервер не может найти данные по запрошенному адресу. Это ассоциировалось с так называемым вымиранием ссылок — нарастающей недоступностью некогда опубликованных данных. В 2003 году этот показатель составил 100 дней. Так, в 1997 году средняя продолжительность жизни веб-страницы составляла 44 дня. Проведённый в 2008 году анализ ссылок на 2700 цифровых ресурсов, большинство из которых не имеет печатных аналогов, показал, что около 8 процентов ссылок переставали работать через год. К 2011 году, по прошествии трёх лет, 30 процентов ссылок в коллекции были неработающими. Благодаря интеграции с Alexa, столкнувшийся с сообщением об ошибке пользователь мог получить доступ к заархивированной версии страницы через внедрённую в браузер панель инструментов. Если копия недоступной страницы присутствовала в базе данных Wayback Machine, то загоралась специальная кнопка. Одновременно пользователи могли предоставить браузеру разрешение на просмотр и регистрацию активности — в таком случае все посещаемые сайты архивировались на портале.

Wayback Machine был запущен в мае 1996 года, однако стал доступным для общественности только в 2001 г. — до этого вся записанная на цифровых магнитных лентах информация была открыта только для ограниченного числа учёных и исследователей. К моменту «открытия» архив содержал более 10 млрд заархивированных страниц. К декабрю 2014 года руководство Wayback Machine сообщило, что сохранило 435 млрд веб-страниц по всему миру. С технической точки зрения программное обеспечение Wayback Machine не является архивом, а скорее общедоступным интерфейсом к ограниченному подмножеству всех хранилищ. Так, Wayback Machine нельзя считать поисковой системой коллекции организации, так как она не осуществляет поиск по базе данных другой крупной виртуальной библиотеки — Open Library, позволяющей пользователям бесплатно получать доступ к цифровым копиям книг, которые загружаются и архивируются в формате проекта.

Характеристика

С запуском Wayback Machine «Архив Интернета» стал одним из самых популярных и узнаваемых онлайн-порталов и главным сервисом веб-архивирования.

В 1999 году «Архив» начал расширять коллекцию за пределы архивного веб-контента, чтобы обеспечить статус как к оцифрованным, так и изначально цифровым ресурсам, в том числе книгам, аудио, фильмам, изображениям, документам, программному обеспечению и видеоиграм. Некоторые сканирования выполняются поисковыми роботами самого архива, а другие — партнёрскими организациями. Отдельные базы данных могут приобретаться за счёт пожертвований пользователей и целевых приобретений. Сами создатели организации сравнивали свою коллекцию с Александрийской библиотекой.

На 2021 год Wayback Machine содержал около 424 млрд веб-страниц — больше, чем документов в Библиотеке Конгресса.

Принцип работы

Платформа Wayback Machine функционирует за счёт двух основных элементов — поисковых роботов (или веб-краулеров) и интерфейса. Веб-краулеры занимаются посещением, извлечением, загрузкой и архивацией веб-страниц. В свою очередь, через интерфейс пользователи получают доступ к онлайн-коллекциям.

Поисковые роботы

Изначально коллекция архива пополнялась за счёт браузерного Плагина от Alexa Internet, который автоматически фиксировал и сохранял каждую веб-страницу по мере её посещения, затем передавая всю собранную информацию в «Архив Интернета». Пользователи также могли установить бесплатную панель инструментов, позволявшую проверять статус архивирования выбранного веб-сайта.

В 2002 году «Архив» запустил собственного поискового робота с открытым исходным кодом —. Коды краулеров записаны с помощью комбинации программных языков Си и Perl. Помимо этого, «Архив Интернета» также принимает данные сканирования от других доноров. Отсканированные копии веб-сайтов автоматически конвертируются в файлы размером около 100 МБ, которые затем сохраняются на серверах. В 2002 году общая скорость пополнения архива составляла около 10 Терабайт в месяц.

Веб-краулеры запечатляют версию сайта такой, какой она была сохранена на момент доступа к ней через URL. Роботы регулярно сканируют большое количество веб-страниц, рекурсивно загружая, анализируя и отображая HTML-, JavaScript- и CSS-страницыНа момент создания «Архива Интернета» всемирная сеть была настолько маленькой, что веб-краулеры могли совершить обход всех сайтов за один сеанс.. Механизм работы краулеров похож на работу поисковых систем — роботы самостоятельно ищут порталы для архивирования через систему поиска путей, сканируя страницы и связанные с ними сайты, следовательно формируя сеть порталов. Однако со временем постоянный рост онлайн-порталов и их изменчивость сделали полный обход всей сети практически невозможным. Таким образом, не все изменения на сайтах зафиксированы в Wayback MachineСканер начинает с веб-страницы, а затем следует по каждой гиперссылке на этой веб-странице, чтобы перейти на новые сайты.. Руководство «Архива Интернета» не уточняет то, как роботы находят и выбирают страницы для сканирования, однако заявляет, что чаще всего краулеры направляются на те сайты, которые имеют перекрёстные ссылки с других порталов и находятся в открытом доступе. На каждой из новых веб-страниц поисковый робот повторяет процесс. Он будет продолжаться до того момента, пока архивация не будет остановлена или не достигнет установленного скриптом лимита. Помимо этого, каждый пользователь может использовать специальную форму на портале и вызвать краулер, который сохранит страницу в текущем состоянии. Wayback Machine сканирует только общедоступные веб-страницы и не может получить доступ к контенту, защищённому паролем или расположенному на частном сервере.

Интерфейс

Интерфейс Wayback Machine позволяет пользователям осуществить два основных действия — получить доступ к истории изменений сайта и просмотреть все сделанные на порталах правки. Также доступна функция сравнения разных версий сайтовЗвёздочка после некоторых дат применяется для обозначения обнаруженных на странице изменений.. Для этого в специальное окно поиска вводится URL интересующего портала, после чего Wayback Machine выдаёт список дат архивации. URL-адрес заархивированной страницы начинается с web.archive.org.

Любой пользователь может сохранить URL-адреса для архивирования, а с бесплатной учётной записью в архиве можно создать и заархивировать любые исходящие или внешние ссылки на исходной странице и получить обзорный отчёт.

Хранение

На 2018 год коллекция «Архива Интернета» составляла более 40 Петабайт, или 40 тыс. терабайт данных, Wayback Machine предоставлял доступ к примерно 63 % всех имеющихся материалов. На февраль 2020 года в архиве Wayback Machine числилось более 900 млрд URL-адресов и более 400 млрд веб-страниц. На июнь 2021 года Wayback Machine предоставлял доступ к более чем 581 млрд сохранённых веб-страниц. В октябре 2025 года сервис достиг 1 триллиона сохранённых страниц.

Использование

Портал Wayback Machine зачастую применяют в правовой сфере — юристы используют сервис для поиска информации по гражданским искам, уголовным делам, в административном делопроизводстве и патентных процессах. Полученные через Wayback Machine архивные версии сайтов могут использоваться для решения вопросов о патентном праве или установлении наказания за публикацию материалов, которые позднее были удалены из сети. Несмотря на широкое использование коллекции «Архива Интернета» для предоставления доказательств, некоторые суды США отказывались принимать скриншоты веб-страниц, ссылаясь на юридическую сложность отождествления оригинала документа и его заархивированной версии. В 2018 году Апелляционный суд США по второму федеральному апелляционному округу постановил, что скрины с архива веб-страниц Wayback Machine относятся к законным доказательствам, которые могут быть использованы в судебных разбирательствах; ранее аналогичное решение вынес Апелляционный суд США по третьему федеральному апелляционному округу; позднее Апелляционный суд США по седьмому федеральному апелляционному округу также признал скриншоты веб-архивов допустимыми электронными доказательствами.

Благодаря архивированным в Wayback Machine статьям авторы могут устанавливать право на открытие или на публикацию. Для социологов и историков Wayback Machine предлагает ценный крупномасштабный источник данных для анализа поведения компаний, стратегий продаж, социальных практик. Также Wayback Machine позволяет получать доступ к журналам открытого доступа. Так, с начала 2000-х годов из интернета исчезло 84 журнала ОД по естественным наукам и ещё около 100 — по социальным и гуманитарным.

Активисты и исследователи используют портал для борьбы с дезинформацией, особенно усилившейся после избрания президента Дональда Трампа в США. В ответ на участившиеся противоречивые заявления со стороны администрации президента «Архив» создал отдельную коллекцию под названием «Архив Трампа», содержащую выступления президента на телевидении и твиты. «Архив» надеется, что его хранилище поможет другим выявлять ложную информацию и проверять подозрительный контент. Однако в некоторых случаях отдельные активисты утверждали, что заархивированные Wayback Machine ресурсы наоборот способствовали распространению дезинформации. Так, с началом пандемии коронавируса сторонники конспиративных теорий использовали сохранённые порталом скриншоты для распространения ложной информации о коронавирусе. В качестве контрмер в ноябре 2020 года «Архив» внедрил в Wayback Machine инструменты проверки информации на достоверность. Для этого некоммерческая организация начала сотрудничать с различными компаниями, занимающимися проверкой фактов, чтобы предоставлять пользователям причины удаления той или иной страницы из коллекции. При открытии заархивированной версии сайта Wayback Machine предоставляет пользователям сведения о причине её удаления в виде жёлтого баннера вверху экрана. При подозрении на причастность веб-страницы к кампании по дезинформации Wayback Machine предоставляет данные об организации, проводившей проверку на достоверность, и ссылку на её отчёт.

В отдельных случаях полученная через Wayback Machine информация фигурировала в крупных скандалах. Так, Wayback Machine хранит копию удалённого сообщения со страницы, озаглавленной «Сводки от Стрелкова Игоря Ивановича» в социальной сети «ВКонтакте», о сбитом самолёте АН-26, который в действительности оказался пассажирским Boeing 777. В мае 2021 года издание Bellingcat Из-за неправильно установленных настроек приватности другие пользователи получили доступ к секретной информации. выяснило, что находящиеся в Европе американские военные использовали для хранения засекреченных данных детские мобильные приложения для запоминания информации. После обнаружения утечки информации военные удалили все карточки, но они остались в сервисе Wayback Machine.

Правовой статус

«Архив Интернета» не запрашивает разрешения на копирование веб-сайтов перед удалённым сбором данных, однако удаляет или ограничивает доступ к архивным материалам по запросу. Ранее владельцам веб-сайтов предоставлялась возможность «отказаться» от архивирования через стандартный файл robots.txt, который исключает веб-сайты или их отдельные страницы, каталоги, из списка порталов для веб-краулеров. По состоянию на 2022 год заявки на удаление сайтов или их страниц из архива принимаются только после прямого запроса от администрации удаляемого сайта. Однако из-за сохранения других данных «Архив Интернета» находится в уязвимом юридическом положении. Так, в 2005 году Wayback Machine оказался втянутым в спор о товарных знаках между компаниями Healthcare Advocates и Health Advocate. Последняя использовала Wayback Machine для доступа к веб-страницам Healthcare Advocates, датируемым 1999 годом, в попытке найти информацию, которая поддержала бы дело. В ответ Healthcare Advocates подала в суд как на Health Advocate, так и на «Архив», утверждая что архив нарушил Закон об авторском праве в цифровую эпоху. В дальнейшем дело было урегулировано в досудебном порядке.

В 2002 году «Архив» удалил из своей системы ссылки на архивные копии портала Xenu.net, принадлежащего критику церкви Андреасу Хельдал-Лунду. Удаление произошло по требованию юристов Церкви саентологии, заявивших, что владеют правом собственности на выдержки из документов Церкви, опубликованные на сайте.

Ограничения

Исследователи и активисты критикуют Wayback Machine и деятельность «Архива Интернета» за попытку сохранить все онлайн-материалы, многие из которых не представляют должной ценности. Согласно мнению отдельных исследователей, это ассоциировалось с устаревшей политикой «Архива», который был основан в конце 1990-х годов — тогда, на заре создания интернет-архивов, считалось, что данные интернета должны сохраняться в полном объёме. Однако с созданием множества однодневных сайтов многие исследователи и активисты поменяли своё мнение. Другие критические замечания относятся к техническим ограничениям сервиса — Wayback Machine не позволяет сохранять и обрабатывать определённые элементы JavaScript, а также может создавать заархивированные страницы, содержащие неработающие ссылки, отсутствующую графику или являющиеся неполными по иным причинам. Сканеры захватывают только статический снимок сайта — функции порталов на основе Java или Flash работать не будут. Это означает, что бо́льшая часть функциональных возможностей исходной веб-страницы теряется.

Блокировки

В 2015 году Роскомнадзор принял решение заблокировать Wayback Machine за копию страницы текста «Одиночный джихад в России», содержащего информацию о «теории и практике партизанского сопротивления». Соответствующая страница в «Архиве Интернета» была добавлена в официальный реестр запрещённых веб-сайтов в России 23 июня 2015 года, из-за чего некоторые российские интернет-провайдеры были вынуждены полностью заблокировать сайт «Архива». Доступ к Wayback Machine был заново открыт в 2016 году, после того как запрещённые ролики удалили с портала.

В 2019 году представители «Ассоциации по защите авторских прав в интернете» (АЗАПИ) подали серию исков против сервиса Wayback Machine за нарушение авторских прав. Представители АЗАПИ запросили Мосгорсуд вынести решение о вечной блокировке портала на территории России, однако на август 2020 года «Архив Интернета» по-прежнему продолжал свою работу.

В 2017 году портал был заблокирован в Индии и Кыргызстане за содержание «экстремистских материалов». По информации на 2021 год, сайт заблокирован в Китае.

В июне 2022 года Таганский райсуд Москвы оштрафовал «Архив Интернета» на 800 тыс. рублей за неудаление из WayBack Machine видео о способах изготовления коктейля Молотова.

Примечания

Литература

Ссылки

Источник — https://wikibrand.ru/index.php?title=Wayback_Machine&oldid=62529