Баги парсера (403/429, дубли лент), поддержка зеркал и ЧПУ-ссылки на статьи #1

Closed
opened 2026-11-12 17:33:10 +01:00 by tr · 1 comment
Owner

Что сейчас работает некорректно (Баги)

  1. Блокировки со стороны источников (403 Forbidden и 429 Too Many Requests):
    • Стандартный User-Agent библиотеки httpx блокируется защитой сайтов (WAF / Cloudflare) с кодом 403.
    • При перезапусках или ручном обновлении парсер делает несколько запросов подряд к одному домену без пауз и кэширования, из-за чего получает бан 429.
  2. Дублирование источников при синхронизации feeds.conf:
    • Если в конфиге указать корневой домен (например, https://site.com), а сервер делает редирект на /feed/, в базе сохраняются и опрашиваются оба адреса одновременно.
  3. Нет поддержки зеркал СМИ:
    • При использовании зеркала сайта в feeds.conf ссылки на полные тексты статей внутри RSS-ленты всё равно ведут на основной заблокированный домен, из-за чего полные тексты не скачиваются.
    • При смене домена-зеркала сбрасывается идентификатор медиа и создаётся новый дубль источника.

Что нужно исправить и добавить (Задачи)

1. Устойчивый парсинг без сторонних костылей (вроде RSSHub)

  • Заменить стандартные запросы httpx на браузерные (или curl_cffi с имитацией TLS-отпечатка Chrome) и добавить реалистичные заголовки (User-Agent, Accept, Accept-Language).
  • Добавить HTTP-кэширование: сохранять ETag и Last-Modified для источников в БД и передавать If-None-Match / If-Modified-Since (обрабатывать 304 Not Modified).
  • Добавить случайные задержки (jitter 1.5–3.5 сек) между запросами к одному домену и корректную обработку 429 с учётом заголовка Retry-After.
  • Нормализовать URL при чтении feeds.conf (учитывать редиректы и завершающий слеш /), чтобы не плодить дубли в БД.

2. Поддержка зеркал и постоянных идентификаторов в feeds.conf

  • Добавить поддержку опциональных параметров в feeds.conf, например:
    FEED = https://example.org | Категория | slug=media-slug | mirror=original.org
  • Привязать источник к постоянному slug, чтобы при смене зеркала сохранялась история статей.
  • При скачивании полного текста статьи автоматически подменять основной домен (mirror=) на домен рабочего зеркала из FEED.

3. Публичные ЧПУ-ссылки на статьи и кнопка «Поделиться»

  • Добавить генерацию уникальных slug для источников и статей (транслитерация заголовка + защита от коллизий).
  • Сделать роутинг в веб-интерфейсе и API по формату https://mirq.link/<slug_media>/<slug_article> (например, /nikto/sharkey), чтобы ссылкой можно было делиться напрямую вместо ссылки на сайт-источник.
  • Добавить на сервере подстановку OpenGraph-тегов (og:title, og:description, og:image) при открытии таких ссылок, чтобы в Telegram и соцсетях формировалось красивое превью.
  • Добавить в читалку рядом с кнопкой «Открыть оригинал» кнопку «Поделиться» (копирование ссылки в буфер обмена с уведомлением).
### Что сейчас работает некорректно (Баги) 1. **Блокировки со стороны источников (`403 Forbidden` и `429 Too Many Requests`):** - Стандартный `User-Agent` библиотеки `httpx` блокируется защитой сайтов (WAF / Cloudflare) с кодом `403`. - При перезапусках или ручном обновлении парсер делает несколько запросов подряд к одному домену без пауз и кэширования, из-за чего получает бан `429`. 2. **Дублирование источников при синхронизации `feeds.conf`:** - Если в конфиге указать корневой домен (например, `https://site.com`), а сервер делает редирект на `/feed/`, в базе сохраняются и опрашиваются оба адреса одновременно. 3. **Нет поддержки зеркал СМИ:** - При использовании зеркала сайта в `feeds.conf` ссылки на полные тексты статей внутри RSS-ленты всё равно ведут на основной заблокированный домен, из-за чего полные тексты не скачиваются. - При смене домена-зеркала сбрасывается идентификатор медиа и создаётся новый дубль источника. --- ### Что нужно исправить и добавить (Задачи) #### 1. Устойчивый парсинг без сторонних костылей (вроде RSSHub) - [ ] Заменить стандартные запросы `httpx` на браузерные (или `curl_cffi` с имитацией TLS-отпечатка Chrome) и добавить реалистичные заголовки (`User-Agent`, `Accept`, `Accept-Language`). - [ ] Добавить HTTP-кэширование: сохранять `ETag` и `Last-Modified` для источников в БД и передавать `If-None-Match` / `If-Modified-Since` (обрабатывать `304 Not Modified`). - [ ] Добавить случайные задержки (jitter 1.5–3.5 сек) между запросами к одному домену и корректную обработку `429` с учётом заголовка `Retry-After`. - [ ] Нормализовать URL при чтении `feeds.conf` (учитывать редиректы и завершающий слеш `/`), чтобы не плодить дубли в БД. #### 2. Поддержка зеркал и постоянных идентификаторов в `feeds.conf` - [ ] Добавить поддержку опциональных параметров в `feeds.conf`, например: `FEED = https://example.org | Категория | slug=media-slug | mirror=original.org` - [ ] Привязать источник к постоянному `slug`, чтобы при смене зеркала сохранялась история статей. - [ ] При скачивании полного текста статьи автоматически подменять основной домен (`mirror=`) на домен рабочего зеркала из `FEED`. #### 3. Публичные ЧПУ-ссылки на статьи и кнопка «Поделиться» - [ ] Добавить генерацию уникальных `slug` для источников и статей (транслитерация заголовка + защита от коллизий). - [ ] Сделать роутинг в веб-интерфейсе и API по формату `https://mirq.link/<slug_media>/<slug_article>` (например, `/nikto/sharkey`), чтобы ссылкой можно было делиться напрямую вместо ссылки на сайт-источник. - [ ] Добавить на сервере подстановку OpenGraph-тегов (`og:title`, `og:description`, `og:image`) при открытии таких ссылок, чтобы в Telegram и соцсетях формировалось красивое превью. - [ ] Добавить в читалку рядом с кнопкой «Открыть оригинал» кнопку **«Поделиться»** (копирование ссылки в буфер обмена с уведомлением).
tr self-assigned this 2026-11-12 17:33:10 +01:00
tr started working 2026-11-12 17:33:22 +01:00
tr stopped working 2026-11-13 04:52:10 +01:00
11 hours 18 minutes
Author
Owner

Слияние: mirq/media!2

Слияние: mirq/media!2
tr closed this issue 2026-11-13 05:06:56 +01:00
Sign in to join this conversation.
No labels
No milestone
No project
No assignees
1 participant
Notifications
Total time spent: 11 hours 18 minutes
tr
11 hours 18 minutes
Due date
The due date is invalid or out of range. Please use the format "yyyy-mm-dd".

No due date set.

Reference
mirq/media#1
No description provided.