Баги парсера (403/429, дубли лент), поддержка зеркал и ЧПУ-ссылки на статьи #1
Loading…
Reference in a new issue
No description provided.
Delete branch "%!s()"
Deleting a branch is permanent. Although the deleted branch may continue to exist for a short time before it actually gets removed, it CANNOT be undone in most cases. Continue?
Что сейчас работает некорректно (Баги)
403 Forbiddenи429 Too Many Requests):User-Agentбиблиотекиhttpxблокируется защитой сайтов (WAF / Cloudflare) с кодом403.429.feeds.conf:https://site.com), а сервер делает редирект на/feed/, в базе сохраняются и опрашиваются оба адреса одновременно.feeds.confссылки на полные тексты статей внутри RSS-ленты всё равно ведут на основной заблокированный домен, из-за чего полные тексты не скачиваются.Что нужно исправить и добавить (Задачи)
1. Устойчивый парсинг без сторонних костылей (вроде RSSHub)
httpxна браузерные (илиcurl_cffiс имитацией TLS-отпечатка Chrome) и добавить реалистичные заголовки (User-Agent,Accept,Accept-Language).ETagиLast-Modifiedдля источников в БД и передаватьIf-None-Match/If-Modified-Since(обрабатывать304 Not Modified).429с учётом заголовкаRetry-After.feeds.conf(учитывать редиректы и завершающий слеш/), чтобы не плодить дубли в БД.2. Поддержка зеркал и постоянных идентификаторов в
feeds.conffeeds.conf, например:FEED = https://example.org | Категория | slug=media-slug | mirror=original.orgslug, чтобы при смене зеркала сохранялась история статей.mirror=) на домен рабочего зеркала изFEED.3. Публичные ЧПУ-ссылки на статьи и кнопка «Поделиться»
slugдля источников и статей (транслитерация заголовка + защита от коллизий).https://mirq.link/<slug_media>/<slug_article>(например,/nikto/sharkey), чтобы ссылкой можно было делиться напрямую вместо ссылки на сайт-источник.og:title,og:description,og:image) при открытии таких ссылок, чтобы в Telegram и соцсетях формировалось красивое превью.Слияние: mirq/media!2