Спосіб обробки мовних даних для навчання

Скорочена інформація про документ
dc.contributor.advisorБоярінова, Юлія Євгенівна
dc.contributor.authorЗиков, Андрій Сергійович
dc.date.accessioned2024-12-26T08:20:00Z
dc.date.available2024-12-26T08:20:00Z
dc.date.issued2024
dc.description.abstractВеликі мовні моделі (LLM) відіграють значну роль у сучасному суспільстві, торкаючись усіх сфер життя, прийшовши на зміну багатьом традиційним підходам, зокрема до навчання. Застосування LLM сприяє підвищенню інтерактивності та персоналізації навчального процесу, дозволяючи студентам аналізувати свої помилки в режимі реального часу та навчатись на великому наборі згенерованих даних. Дана робота присвячена розробці інтерактивного способу обробки мовних даних, що базується на використанні локальних мовних моделей, таких як Gemma 2, для покращення ефективності навчального процесу. Актуальність теми Сучасна освіта потребує нових підходів, більше зосереджуючи увагу на самому учневі та його оточуючій інформації. Традиційні методи навчання мають низку обмежень, серед яких недостатня адаптація до мінливих індивідуальних потреб учнів і відсутність можливості швидкого зворотного зв'язку. Інтеграція локальних мовних моделей у навчальний процес дозволяє забезпечити якісно новий рівень взаємодії, що відповідає потребам сучасних освітніх тенденцій. Мета дослідження Розробка інтерактивної системи обробки мовних даних для навчання, що поєднує можливості локально розгорнутої великої мовної моделі із поєднанням системо пошуку та збереження контексту. Система має забезпечувати ефективну адаптацію навчального матеріалу, інтерактивний зворотний зв’язок і високу релевантність результатів у реальному часі. Зокрема, основними завданнями є інтеграція локальної мовної моделі у веб-додаток із підтримкою RAG-системи та пошукового двигуна, що дозволяє об'єднати результати локальної обробки з відкритими джерелами інформації будь-яким шляхом. Методи дослідження: У дослідженні застосовувалися методи аналізу та моделювання навчальних процесів за допомогою RAG-систем (Retrieval-Augmented Generation) та GCSE (Google Custom Search Engine) для забезпечення релевантності відповідей для тісній взаємодії з локальної великою мовною моделлю Gemma 2. Для інтеграції LLM використовували векторну базу даних ChromaDB та бібліотеку LangChain. Результат дослідження: Розроблено інтерактивну систему, що базується на локальній мовній моделі Gemma 2 2b, яка забезпечує високу точність та релевантність відповідей у навчальному контексті. Новизна розробки полягає у тому, що завдяки інтеграції двох систем з аналізу даних, таких як Retrieval-Augmented Generation та Google Custom Search Engine, об'єднувати локальні дані з результатами зовнішніх пошукових запитів, локальна модель забезпечуює високу необхідну точність при обробці мовних даних незалежно від набору параметрів, що відображається на продуктивності системи, та забезпечує високу релевантність навіть у вузькоспеціалізованих навчальних запитах. Проведені експерименти підтвердили ефективність запропонованого підходу, що дозволяє досягти балансу між швидкістю обробки даних і точністю відповідей. Практична цінність: Розроблена система може бути застосована для створення персоналізованих освітніх платформ, автоматизації аналізу мовних даних і покращення якості навчання у реальному часі. Використання локальних мовних моделей забезпечує конфіденційність даних та знижує залежність від хмарних сервісів, що особливо важливо для навчальних установ та агресивних оточуючих умов. Структура та обсяг роботи: Робота складається зі вступу, чотирьох основних розділів, висновку, літературних джерел та додатків. У першому розділі проводиться достатній аналіз шляху виникнення великих мовних моделей, принципів їх роботи та задач, що вони пропонують вирішувати. У другому розділі описується архітектурна ідея побудови удосконаленної системи з обробки мовних даних шляхом інтегрування двох систем аналізу та пошуку інформації із великою мовною моделлю. У третьому розділі проводиться демонстрація розробки, що базується на запропонованій архітектурі. У четвертому розділі проводиться аналіз та тестування системи із різним набором параметрів для збільшення швидкодії у різних поставлених задачах. Обсяг 82 сторінки. Ключові слова: штучний інтелект, великі мовні моделі, обробка мовних даних, навчальні системи, RAG-системи, локальні моделі, персоналізація навчання.
dc.description.abstractotherLarge-scale language models (LLMs) play a significant role in modern society, touching all areas of life, replacing many traditional approaches, including learning. The use of LLMs contributes to the interactivity and personalisation of the learning process, allowing students to analyse their mistakes in real time and learn from a large set of generated data. This paper focuses on the development of an interactive way of processing language data based on the use of local language models such as Gemma 2 to improve the efficiency of the learning process. Relevance of the topic Modern education requires new approaches, focusing more on the learner and the information around them. Traditional teaching methods have a number of limitations, including insufficient adaptation to the changing individual needs of students and the lack of quick feedback. The integration of local language models into the learning process allows for a qualitatively new level of interaction that meets the needs of modern educational trends. The purpose of the study Development of an interactive language data processing system for training that combines the capabilities of a locally deployed large-scale language model with a combination of context retrieval and preservation systems. The system should provide effective adaptation of learning material, interactive feedback and high relevance of results in real time. In particular, the main tasks are to integrate the local language model into a web application with support for the RAG system and a search engine that allows combining the results of local processing with open sources of information in any way. Research methods The study used methods of analysing and modelling learning processes using RAG (Retrieval-Augmented Generation) and GCSE (Google Custom Search Engine) systems to ensure the relevance of answers for close interaction with the local large-scale language model Gemma 2. The vector database ChromaDB and the LangChain library were used for the LLM integration. Research result An interactive system based on the local language model Gemma 2 2b has been developed, which ensures high accuracy and relevance of answers in the learning context. The novelty of the development lies in the fact that due to the integration of two data analysis systems, such as Retrieval-Augmented Generation and Google Custom Search Engine, combining local data with the results of external search queries, the local model provides the high required accuracy in processing language data regardless of the set of parameters, which is reflected in the system performance, and ensures high relevance even in highly specialised training queries. Experiments have confirmed the effectiveness of the proposed approach, which allows achieving a balance between data processing speed and answer accuracy. Practical value The developed system can be used to create personalised educational platforms, automate the analysis of language data and improve the quality of learning in real time. The use of local language models ensures data confidentiality and reduces dependence on cloud services, which is especially important for educational institutions and aggressive environments. Structure and scope of the work The work consists of an introduction, four main chapters, a conclusion, references and appendices. The first section provides a sufficient analysis of the way large-scale language models emerged, the principles of their operation and the tasks they are intended to solve. The second section describes the architectural idea of building an advanced language data processing system by integrating two information analysis and retrieval systems with a large language model. The third section demonstrates the development based on the proposed architecture. The fourth section analyses and tests the system with a different set of parameters to increase performance in various tasks. The volume is 82 pages.
dc.format.extent96 с.
dc.identifier.citationЗиков, А. С. Cпосіб обробки мовних даних для навчання : магістерська дис. : 123 Комп'ютерна інженерія / Зиков Андрій Сергійович. – Київ, 2024. – 96 с.
dc.identifier.urihttps://ela.kpi.ua/handle/123456789/71348
dc.language.isouk
dc.publisherКПІ ім. Ігоря Сікорського
dc.publisher.placeКиїв
dc.subjectштучний інтелект
dc.subjectвеликі мовні моделі
dc.subjectобробка мовних даних
dc.subjectнавчальні системи
dc.subjectRAG-системи
dc.subjectлокальні моделі
dc.subjectперсоналізація навчання
dc.subjectartificial intelligence
dc.subjectlarge language models
dc.subjectlanguage data processing
dc.subjectlearning systems
dc.subjectRAG systems
dc.subjectlocal models
dc.subjectpersonalisation of learning
dc.subject.udc004.8
dc.titleСпосіб обробки мовних даних для навчання
dc.typeMaster Thesis

Файли

Контейнер файлів
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
Zikov_AS_KV32mp_magistr_2024.docx
Розмір:
2.49 MB
Формат:
Microsoft Word XML
Завантажити
Ліцензійна угода
Зараз показуємо 1 - 1 з 1
Ескіз недоступний
Назва:
license.txt
Розмір:
8.98 KB
Формат:
Item-specific license agreed upon to submission
Опис:
Завантажити

Зібрання

Магістерські роботи (СПСКС)
Магістерські роботи