Как не публиковать одну новость дважды: повторы в новостном канале

Повтор новости — это когда в вашем канале второй раз выходит то, что подписчики уже видели: пересылка того же поста, тот же ролик из другого канала или пересказ того же события другими словами. В новостных каналах это главная причина отписок, и чем больше источников, тем чаще это случается. Ниже — какие бывают повторы, почему обычные фильтры ловят только часть и как не пропустить остальное.

Четыре вида повторов

Первые два вида поймать несложно, и многие сервисы это умеют. Последние два — самые частые в новостных нишах, и их не видно ни по ссылке, ни по файлу: нужно понимать, о чём новость.

Почему стоп-слова и «совпадение текста» не помогают

Типичные фильтры автопостинга сравнивают текст буквально: совпали первые 100 знаков или 80% слов — значит, повтор. Это ловит копипаст, но не пересказ. Посмотрите на пару:

Музей Пушкина 12 ноября открывает выставку акварелей Тёрнера — впервые в России.

Впервые в России: с 12 ноября акварели Уильяма Тёрнера можно увидеть в ГМИИ им. Пушкина.

Общих слов мало, порядок другой, музей назван по-разному, но для подписчика это одна и та же новость. Обратная ошибка тоже частая: «Курс доллара вырос до 92» и «Курс доллара упал до 89» почти совпадают по словам, но это разные новости.

Как tsp узнаёт новость, пересказанную другими словами

tsp сравнивает не слова, а смысл: понимает, что «Музей Пушкина открывает выставку Тёрнера» и «Акварели Тёрнера можно увидеть в ГМИИ» — одна новость, хотя общих слов почти нет. При этом он не путает похожие тексты с разными фактами:

• Разные цифры — разные новости. «Курс вырос до 92» и «курс упал до 89» tsp не считает повтором, хотя тексты почти одинаковые.
• Продолжение истории — не повтор. Чем дальше новости друг от друга по времени, тем осторожнее tsp называет их повтором: продолжение истории через несколько дней обычно выходит, даже если похоже на начало.
• Рубрики источника — не повтор. tsp учитывает, что у канала есть свои рубрики: «Главное к утру» каждый день похоже на вчерашнее, но это новый выпуск.
• Любой источник и любая площадка. Новость узнаётся, даже если раньше она вышла у вас из другого канала или с другой площадки — Telegram, VK или MAX.

Точность проверки мы подбирали на реальных новостях русскоязычных каналов — с пересказами, развитием событий и похожими, но разными новостями.

Насколько строго отсекать

Строгость — компромисс: строже — меньше повторов, но иногда задержится и самостоятельная новость на ту же тему. В tsp пять уровней:

• Мягко — только явные пересказы, больше постов в ленте.
• Обычно — для развлекательных и тематических каналов.
• Строго — рекомендуем, подходит большинству каналов.
• Очень строго — для новостей: почти ни одного повтора.
• Максимум — ни одной новости на ту же тему, даже ценой части постов.

Отсеянное видно в кабинете на странице «Повторы»: какой пост не прошёл и с каким уже вышедшим он совпал. Если проверка ошиблась, пост возвращается одним нажатием — «Это другая новость».

Если ведёте канал руками

Без сервиса повторы тоже можно сократить:

• Держите 3–5 основных источников вместо 15: чем больше пересечений у источников, тем больше повторов.
• Перед публикацией ищите по своему каналу ключевое слово новости (имя, место, число) — поиск в Telegram по каналу работает быстро.
• Не публикуйте одну тему чаще раза в несколько часов: «развитие событий» лучше собирать в один пост.

Если источников больше десятка или постов больше 10 в день, вручную это уже не удержать, — подробнее о настройке в статье про автопостинг в Telegram.

Повторы — не единственный мусор в ленте из многих источников: посты не по теме канала отсекает фильтр по смыслу. В правиле он работает до проверки повторов.

Частые вопросы