Спосіб обробки мовних даних для навчання
Ескіз недоступний
Дата
2024
Автори
Науковий керівник
Назва журналу
Номер ISSN
Назва тому
Видавець
КПІ ім. Ігоря Сікорського
Анотація
Великі мовні моделі (LLM) відіграють значну роль у сучасному суспільстві, торкаючись усіх сфер життя, прийшовши на зміну багатьом традиційним підходам, зокрема до навчання. Застосування LLM сприяє підвищенню інтерактивності та персоналізації навчального процесу, дозволяючи студентам аналізувати свої помилки в режимі реального часу та навчатись на великому наборі згенерованих даних. Дана робота присвячена розробці інтерактивного способу обробки мовних даних, що базується на використанні локальних мовних моделей, таких як Gemma 2, для покращення ефективності навчального процесу.
Актуальність теми
Сучасна освіта потребує нових підходів, більше зосереджуючи увагу на самому учневі та його оточуючій інформації. Традиційні методи навчання мають низку обмежень, серед яких недостатня адаптація до мінливих індивідуальних потреб учнів і відсутність можливості швидкого зворотного зв'язку. Інтеграція локальних мовних моделей у навчальний процес дозволяє забезпечити якісно новий рівень взаємодії, що відповідає потребам сучасних освітніх тенденцій.
Мета дослідження
Розробка інтерактивної системи обробки мовних даних для навчання, що поєднує можливості локально розгорнутої великої мовної моделі із поєднанням системо пошуку та збереження контексту. Система має забезпечувати ефективну адаптацію навчального матеріалу, інтерактивний зворотний зв’язок і високу релевантність результатів у реальному часі. Зокрема, основними завданнями є інтеграція локальної мовної моделі у веб-додаток із підтримкою RAG-системи та пошукового двигуна, що дозволяє об'єднати результати локальної обробки з відкритими джерелами інформації будь-яким шляхом.
Методи дослідження:
У дослідженні застосовувалися методи аналізу та моделювання навчальних процесів за допомогою RAG-систем (Retrieval-Augmented Generation) та GCSE (Google Custom Search Engine) для забезпечення релевантності відповідей для тісній взаємодії з локальної великою мовною моделлю Gemma 2. Для інтеграції LLM використовували векторну базу даних ChromaDB та бібліотеку LangChain.
Результат дослідження:
Розроблено інтерактивну систему, що базується на локальній мовній моделі Gemma 2 2b, яка забезпечує високу точність та релевантність відповідей у навчальному контексті. Новизна розробки полягає у тому, що завдяки інтеграції двох систем з аналізу даних, таких як Retrieval-Augmented Generation та Google Custom Search Engine, об'єднувати локальні дані з результатами зовнішніх пошукових запитів, локальна модель забезпечуює високу необхідну точність при обробці мовних даних незалежно від набору параметрів, що відображається на продуктивності системи, та забезпечує високу релевантність навіть у вузькоспеціалізованих навчальних запитах. Проведені експерименти підтвердили ефективність запропонованого підходу, що дозволяє досягти балансу між швидкістю обробки даних і точністю відповідей.
Практична цінність:
Розроблена система може бути застосована для створення персоналізованих освітніх платформ, автоматизації аналізу мовних даних і покращення якості навчання у реальному часі. Використання локальних мовних моделей забезпечує конфіденційність даних та знижує залежність від хмарних сервісів, що особливо важливо для навчальних установ та агресивних оточуючих умов.
Структура та обсяг роботи:
Робота складається зі вступу, чотирьох основних розділів, висновку, літературних джерел та додатків. У першому розділі проводиться достатній аналіз шляху виникнення великих мовних моделей, принципів їх роботи та задач, що вони пропонують вирішувати. У другому розділі описується архітектурна ідея побудови удосконаленної системи з обробки мовних даних шляхом інтегрування двох систем аналізу та пошуку інформації із великою мовною моделлю. У третьому розділі проводиться демонстрація розробки, що базується на запропонованій архітектурі. У четвертому розділі проводиться аналіз та тестування системи із різним набором параметрів для збільшення швидкодії у різних поставлених задачах. Обсяг 82 сторінки.
Ключові слова:
штучний інтелект, великі мовні моделі, обробка мовних даних, навчальні системи, RAG-системи, локальні моделі, персоналізація навчання.
Опис
Ключові слова
штучний інтелект, великі мовні моделі, обробка мовних даних, навчальні системи, RAG-системи, локальні моделі, персоналізація навчання, artificial intelligence, large language models, language data processing, learning systems, RAG systems, local models, personalisation of learning
Бібліографічний опис
Зиков, А. С. Cпосіб обробки мовних даних для навчання : магістерська дис. : 123 Комп'ютерна інженерія / Зиков Андрій Сергійович. – Київ, 2024. – 96 с.