Персонализированная новостая лента на тему технологий искусственного интеллекта

Информации много, как в ней не утонуть?

Началось все с желания получать новости из разных RSS источников. Что это такое и чем полезно?

Really Simple Syndication (Технология RSS)

• Что это: Формат, который позволяет автоматически получать новые материалы (новости, статьи, сообщения в блогах) с любимых сайтов без необходимости заходить на них по отдельности.
• Как работает: Веб-сайты, предоставляющие RSS-канал, создают специальный файл (ленту). Пользователи подписываются на этот канал с помощью программы-агрегатора, которая собирает все новые публикации в одном месте.
• Для кого: Полезно для тех, кто хочет быть в курсе новостей и обновлений на многих сайтах, не тратя время на их постоянное посещение.

Хочется быть в курсе самых важных и интересных событий, читать интересные материалы одним из первых, узнавать о новых моделях LLM, новых технологиях и прочем.

Проблемы, с которыми столкнулся

Найти новостные ленты с адресами несложно, но в одном месте все и сразу не найдешь. Надо искать и соединять из разных источников. Бывали дубли, когда есть основной канал, где все новости подряд, и специализированные, поделенные на разделы. Пришлось корректировать источники, пропускать дубли новостей, в общем, пришлось чистить источники.

Одна из первых версий телеграм бота, искала, загружала новости, переводила через LLM с английского на русский и публиковала в телеграм канал.

По началу все было просто, бот получил 15-20 адресов и стал загружать с них новости и анонсы статей. Публикация была в ручном режиме, но это быстро надоело. Было решено разрешить боту публиковать все новости, содержащие интересующие ключевые слова на тему искусственного интеллекта. Новостей показалось маловато из каналов общей компьютерной направленности, было найдено еще штук 30 адресов и процесс пошел бодрее. Но в какой-то момент в канал посыпались сотни постов. Сначала было интересно, но потом почувствовался явный перебор. Несколько знакомых пользователей не выдержали и суток :) подписались/отписались. Я их понимаю, не все было интересно, а если и интересно, то прочитать по несколько сотен в день постов нет никакой возможности. 

Были проблемы, что в некоторых лентах RSS была полная история сообщений, бывало и за 3 года. Такие себе новости, хотя и полезные материалы бывали. В общем, фильтрация по дате в какой-то момент тоже пригодилась.

Некоторые ссылки не работали или парсинг с них работал не сразу, тоже пришлось с ними повозиться.

Нужна персонализация новостной ленты

Разным пользователям могут интересны и полезны разные новости, статьи, обсуждения, даже на одну общую тему искусственного интеллекта. Разработчика-программиста могут интересовать новые модели LLM, новые open-source проекты. Юристу могут быть интересны новые решения для практической работы: агенты, CRM и ERP системы с внедрением технологий ИИ и так далее. В рамках единого канала такого добиться очень сложно, скорее всего это будут самые яркие и немногочисленные материалы, которые всех устроят.

Для создания своей ленты новостей есть несколько способов:

• выбрать типы материалов (новости, статьи, технические анонсы, обсуждения)
• выбрать тематику источников (разные IT темы, искусственный интеллект, компьютеры, программирование)
• задать нужные слова и слова-исключения
• настраивать поток материалов, выбирая интересные новости/статьи из потока и отмечая нежелательные
• в некоторых случаях можно попросить обобщение полученных новостей в виде дайджеста за последние 24 часа

Все эти способы добавлены в бота, идет тестирование работы, исправление ошибок отображения и улучшение пользовательского опыта.

Пока бот работает в тестовом режиме, кому интересно, можно зайти и проверить полезность и удобство.

 https://t.me/AST_Channel_Writer_bot

Резюме