Аналіз даних веб-сайтів з використанням технологій web scraping
Вантажиться...
Дата
2024
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Дипломна робота виконана на 73 сторінках, містить 15 ілюстрацій, 7 таблиць, 2 додатки, 27 джерел в переліку посилань.
Мета роботи – створення алгоритмів збору даних за допомогою інструментів web scraping та асинхронного програмування, мобільного додатку та API для взаємодії із зібраними даними.
Методи та засоби: мова програмування Python, фреймворки Django та Django REST для створення API, за допомогою якого можна взаємодіяти з даними, фреймворк Flet для створення мобільного додатку, СКБД SQLite для збереження зібраних і проаналізованих даних із цільових веб-сайтів, середовище розробки PyCharm, бібліотеки requests, aiohttp з asyncio для відправлення на сервер синхронних та асинхронних запитів відповідно, beautifulsoup4 та openai для аналізу структури даних з подальшим відбором та обробки штучним інтелектом відповідно.
Результат – програмний продукт для взаємодії із зібраними та проаналізованими даними із цільових веб-сайтів на базі вакансій в українській сфері IT.
Опис
Даний програмний додаток містить механізм асинхронного збору та обробки даних з цільових веб-сайтів пошуку роботи в ІТ сфері українського ринку. Програма надає функціональні можливості для взаємодії із зібраними вакансіями, такі як: перегляд списку вакансій, перегляд окремої вакансії, оновлення списку, додавання вакансії до «Збережених», створення мапи технологій з можливістю перестворення та видалення. Також програма надає можливість створити власний обліковий запис або увійти в режимі гостя, який містить менше функціональних можливостей (перегляд списку вакансій або окремої вакансії та оновлення списку).
Ключові слова
Бібліографічний опис
Ключук, В. П. Аналіз даних веб-сайтів з використанням технологій web scraping : дипломна робота … бакалавра : 122 Комп’ютерні науки / Ключук Владислав Петрович. – Київ, 2024. – 73 с.