Автоматизація збору даних з веб-ресурсів і їх аналіз

Скорочена інформація про документ
dc.contributor.advisorСавченко, Ілля Олександрович
dc.contributor.authorБойко, Анна Валеріївна
dc.date.accessioned2024-11-06T09:13:16Z
dc.date.available2024-11-06T09:13:16Z
dc.date.issued2024
dc.description.abstractДипломна робота: 113 с., 6 табл., 8 рис., 2 дод., 20 джерел. Об'єкт дослідження: дані з веб-ресурсів. Предмет дослідження: методи збору, обробки та аналізу даних з веб-ресурсів для виявлення важливих інформаційних інсайтів. Мета роботи: розробка ефективних методів та інструментів для збору, обробки та аналізу даних з веб-ресурсів з метою виявлення важливих інформаційних інсайтів. Завдання дослідження включають: 1) аналіз існуючих методів та інструментів збору даних з веб-ресурсів; 2) вибір оптимальної мови програмування та бібліотек для реалізації проекту; 3) розробка скриптів для автоматизованого збору та обробки даних; 4) аналіз зібраних даних для виявлення ключових тем та трендів; 5) оцінка ефективності реалізованого рішення та порівняння з альтернативними підходами; 6) розробка рекомендацій щодо використання отриманих інсайтів для бізнесу. Результатом роботи є програмний продукт, розроблений за допомогою Python та бібліотек для обробки та аналізу даних, таких як requests, Scrapy, Pandas, NLTK тощо. Створений програмний продукт дозволяє автоматизувати процес збору та аналізу даних з веб-ресурсів, що спрощує виявлення ключових тем та трендів. Подальший розвиток предмету дослідження може включати розгляд більш складних методів машинного навчання та аналізу тексту для покращення точності та швидкості аналізу даних, а також розширення функціональності для роботи з різними типами веб-ресурсів.
dc.description.abstractotherDiploma Work: 113 pages, 6 tables, 8 figures, 2 appendices, 20 references. Object of Study: data from web resources. Subject of Study: methods of collecting, processing, and analyzing data from web resources to identify significant informational insights. Purpose of the Study: to develop effective methods and tools for collecting, processing, and analyzing data from web resources to identify significant informational insights. Given that web resources are a substantial source of data on various aspects of activity, this area of research is extremely relevant today. Research Tasks Include: 1) analysis of existing methods and tools for data collection from web resources; 2) selection of the optimal programming language and libraries for project implementation; 3) development and implementation of scripts for automated data collection and processing; 4) analysis of collected data to identify key topics and trends; 5) evaluation of the effectiveness of the implemented solution and comparison with alternative approaches; 6) development of recommendations for using the obtained insights in business and other fields. The result of the work is a software product developed using Python and libraries for data processing and analysis, such as requests, Scrapy, Pandas, NLTK, etc. The created software product allows automating the process of collecting and analyzing data from web resources, which simplifies the identification of key topics and trends. This tool can be useful for marketers, business analysts, and researchers involved in web data analysis.
dc.format.extent113 с.
dc.identifier.citationБойко, А. В. Автоматизація збору даних з веб-ресурсів і їх аналіз : дипломна робота ... бакалавра : 124 Системний аналіз / Бойко Анна Валеріївна. - Київ, 2024. - 113 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/70355
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectавтоматизація збору даних
dc.subjectвеб-ресурси
dc.subjectаналіз даних
dc.subjectтекстовий аналіз
dc.subjectdata collection automation
dc.subjectweb resources
dc.subjectdata analysis
dc.subjecttext analysis
dc.titleАвтоматизація збору даних з веб-ресурсів і їх аналіз
dc.typeBachelor Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз
Назва:
Boiko_bakalavr.pdf
Розмір:
4.76 MB
Формат:
Adobe Portable Document Format
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Бакалаврські роботи (ММСА)
Бакалаврські роботи