Исследования и технологии новостных редакций: Проблемы с извлечением контента

Проблемы с извлечением контента

Автоматическая попытка извлечь статью с новостной страницы не привела к получению основного текста, согласно журналу извлечения — только к материалам подвала, виджетам комментариев, ссылкам на тренды и одной обрезанной строке из биографии автора, упоминающей инженерный опыт и интерес к политике, связанной с Тайванем. Этот случай подчеркивает растущий разрыв между издателями контента и инструментами, которые исследователи и агрегаторы используют для сбора отчетности.

Инженеры, создающие скрейперы, указывают на несколько распространенных причин. Многие сайты теперь полагаются на скрипты, выполняемые браузером, чтобы вставить основной текст после загрузки первоначального HTML. Другие скрывают контент за подписными стенами или предоставляют различный разметку для ботов. В результате примерно треть новостных сайтов не может быть надежно обработана с помощью простых правил извлечения, как отметила гипотетический разработчик, работающий над инструментами для открытого кода. "Если страница не предоставляет текст в первом ответе HTML, вы часто получаете только оболочку — не статью," — сказала она.

Последствия для исследователей и фактических проверок

Последствия выходят за рамки недовольства инженеров. Академики, проверяющие факты и небольшие издания, которые зависят от машинного сбора, сталкиваются с пробелами в архивах и цепочках доказательств. Юрист по авторскому праву, с которым я беседовал для этой статьи, предостерег, что агрессивное скрейпинг может также вызвать юридические споры и предупредил, что неполные захваты усложняют атрибуцию и лицензирование. "Вы не можете проверить утверждение, если у вас нет полного контекста," — сказал юрист.

Практические решения

Существуют практические решения, которые стоит рассмотреть. Издатели могут предоставить более четкие метаданные и сделать полные текстовые фиды или API доступными для доверенных партнеров. Создатели инструментов все чаще используют безголовые браузеры для имитации реальных пользователей и рендеринга страниц, управляемых скриптами, хотя такие подходы требуют больше вычислительных ресурсов. Защитники стандартов предлагают более широкое внедрение структурированных метаданных и простых, последовательно размещенных тегов статей, чтобы сделать автоматизированное извлечение более надежным для законных целей.

В этом конкретном извлечении единственным содержательным намеком на отсутствующую статью была обрезанная строка биографии, описывающая автора как инженера с интересом к делам через пролив. Без основных абзацев редакторы не могут подтвердить факты или оценить источники. Поэтому, если вам нужен полный отчет, экстрактор запрашивает либо полный HTML страницы, либо более крупный снимок верхней части статьи, который включает заголовок, авторство и открывающие абзацы.

Заключение

Пока издатели и разработчики инструментов не скоординируют свои действия, автоматизированные экстракторы будут продолжать возвращать неполные страницы. Это означает, что исследователи должны ожидать периодические пробелы и быть готовыми запрашивать более полные копии страниц, когда они сталкиваются только с подвалами, тегами и запросами на вход.

В конечном итоге, для достижения более надежного извлечения контента необходимо сотрудничество между всеми участниками процесса. Это поможет обеспечить доступ к полным и точным данным, что является критически важным для всех, кто работает в области новостей и исследований.