Система інтелектуального розбору новинних повідомлень
Вантажиться...
Дата
2020-06
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Дипломний проєкт включає пояснювальну записку (57 с., 25 рис., 4 додатки).
Об’єкт розробки – система інтелектуального розбору новинних повідомлень.
Система допомагає автоматично будувати шаблон для новинного ресурсу, що звільняє користувача від написання індивідуального веб-скрапера для кожного веб-сайту. Також з використання єдиного веб-скрапера система дозволяє зменшити використання ресурсів комп’ютера.
Розроблена система дозволяє:
• автоматично створювати шаблон для заданого користувачем новинного веб-сайту;
• додавання шаблону створеного користувачем;
• обробляти велику кількість веб-сайтів в режимі реального часу;
• масштабування на декількох комп’ютерах;
• структуризація вихідних даних.
Розробка велася з використанням мови програмування Python та сучасних бібліотек. Використання асинхронного програмування дозволило підвищити швидкодію всієї системи.
Опис
Ключові слова
news resources, асинхронність, Python, інтернет, вебскрапінг, новинні ресурси, internet, asynchronousness, web scraping
Бібліографічний опис
Коровій, О. С. Система інтелектуального розбору новинних повідомлень : дипломний проект ... бакалавра : 123 Комп’ютерна інженерія / Коровій Олександр Сергійович. – Київ, 2020. – 70 с.