Аналіз даних веб-сайтів з використанням технологій web scraping

Скорочена інформація про документ
dc.contributor.advisorОтрох, Сергій Іванович
dc.contributor.authorКлючук, Владислав Петрович
dc.date.accessioned2024-09-10T08:49:23Z
dc.date.available2024-09-10T08:49:23Z
dc.date.issued2024
dc.descriptionДаний програмний додаток містить механізм асинхронного збору та обробки даних з цільових веб-сайтів пошуку роботи в ІТ сфері українського ринку. Програма надає функціональні можливості для взаємодії із зібраними вакансіями, такі як: перегляд списку вакансій, перегляд окремої вакансії, оновлення списку, додавання вакансії до «Збережених», створення мапи технологій з можливістю перестворення та видалення. Також програма надає можливість створити власний обліковий запис або увійти в режимі гостя, який містить менше функціональних можливостей (перегляд списку вакансій або окремої вакансії та оновлення списку).
dc.description.abstractДипломна робота виконана на 73 сторінках, містить 15 ілюстрацій, 7 таблиць, 2 додатки, 27 джерел в переліку посилань. Мета роботи – створення алгоритмів збору даних за допомогою інструментів web scraping та асинхронного програмування, мобільного додатку та API для взаємодії із зібраними даними. Методи та засоби: мова програмування Python, фреймворки Django та Django REST для створення API, за допомогою якого можна взаємодіяти з даними, фреймворк Flet для створення мобільного додатку, СКБД SQLite для збереження зібраних і проаналізованих даних із цільових веб-сайтів, середовище розробки PyCharm, бібліотеки requests, aiohttp з asyncio для відправлення на сервер синхронних та асинхронних запитів відповідно, beautifulsoup4 та openai для аналізу структури даних з подальшим відбором та обробки штучним інтелектом відповідно. Результат – програмний продукт для взаємодії із зібраними та проаналізованими даними із цільових веб-сайтів на базі вакансій в українській сфері IT.
dc.description.abstractotherThe diploma work is made on 73 pages, contains 15 illustrations, 7 tables, 2 appendixs, 27 sources in the list of links. The purpose of the work - creation of data collection algorithms using web scraping and asynchronous programming tools, mobile application and API for interaction with collected data. Methods and tools: Python programming language, Django and Django REST frameworks for API creation, to interaction with data, the Flet framework for creating a mobile application, SQLite DBMS for storing collected and analyzed data from target websites, PyCharm development environment, requests libraries and aiohttp with asyncio for sending synchronous and asynchronous requests to the server, respectively, beautifulsoup4 and openai for data structure analysis followed by sampling and artificial intelligence processing respectively. The result – a software product for interacting with the collected and analyzed data from target websites based on vacancies in the Ukrainian IT sector.
dc.format.extent73 с.
dc.identifier.citationКлючук, В. П. Аналіз даних веб-сайтів з використанням технологій web scraping : дипломна робота … бакалавра : 122 Комп’ютерні науки / Ключук Владислав Петрович. – Київ, 2024. – 73 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/68844
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.titleАналіз даних веб-сайтів з використанням технологій web scraping
dc.typeBachelor Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Kliuchuk_bakalavr.pdf
Розмір:
3.45 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Бакалаврські роботи (ЦТЕ)
Бакалаврські роботи