integrallm.ru

IntegraLLM: AI-платформа для цифровой трансформации муниципального управления

Проект по автоматизации анализа и структурирования нормативно-правовых актов с использованием локальных нейросетей. Разработан и внедрен для оптимизации работы органов местного самоуправления.

Автор и архитектор: Кузнецов Сергей

Цифровая трансформация

Цели проекта

Решить задачу по миграции 3000+ НПА на платформу «Госвеб» без привлечения подрядчиков и расходования бюджета.

Сократить трудозатраты сотрудников (оценочно >750 часов) на ручной перенос и разметку документов.

Создать универсальный и многоразовый инструмент для автоматической семантической разметки и публикации документов в будущем.

Используемые технологии

GPU: NVIDIA GeForce RTX 4070 Ti Super

Backend: Python, Flask (для API).

LLM-инфраструктура: Локально развернутые большие языковые модели (LLM) под управлением фреймворка vLLM для максимальной производительности на собственном оборудовании

•Mistral-7B-Instruct-v0.3-GPTQ

•Mistral-7B-Instruct-v0.2-GPTQ

•Qwen2.5-14B-Instruct-GPTQ

Frontend и интеграция: PHP (в виде плагина для WordPress для создания интуитивно понятного интерфейса для сотрудников, а также сокращение затрат по разработке административной панели), JavaScript, REST API.

Методология разработки: AI-Driven Development. Для ускорения разработки и минимизации затрат на команду программистов использовались AI-ассистенты (Gemini и ChatGPT) в качестве команды junior-разработчиков при написании кода.

Результаты

Все цели были достигнуты, так как был создан масштабируемый продукт, а не разовое решение.

Эффективность рассчитывалась по двум ключевым метрикам: 

• прямая экономия бюджета (стоимость услуг подрядчиков)
• экономия человеко-часов, пересчитанная в денежный эквивалент.

Проект доказал, что даже силами одного специалиста, но с применением современных подходов (локальные LLM, AI-ассистенты в разработке), можно создавать сложные и эффективные MVP ИТ-решения с применение систем ИИ.

Источники данных для первичной настройки параметров запуска LLM модели и извлечения признаков

• API интерфейс для работы с порталом «Официальный интернет-потал правовой информации», раздел «Официальное опубликование» publication.pravo.gov.ru

• Официальный сайт администрации Волосовского муниципального района, раздел «Нормативные акты» https://волосовскийрайон.рф/

Информация о работе проекта

С целью определения характеристик запуска LLM разработан сервис Hardware Benchmark. Запуск сервиса реализован через плагин Wordpress. Модель последовательно запускается с разными параметрами в сторону уменьшения нагрузки и фиксируется максимальные рабочие параметры, которые «держит» GPU.

После диагностики возможности запуска LLM, в разделе LLM Server Control можно запустить/остановить LLM модель с работающими параметрами.

Показатели работы GPU после запуска Mistral-7B-Instruct-v0.3-GPTQ с  максимально работающими параметрами полученными с помощью сервиса Hardware Benchmark

В разделе Run Full Prompt & Parameter Optimization производится первичный оптимальный поиск параметров для запуска LLM модели и Prompts с помощью спарсенных данных портала publication.pravo.gov.ru. Необходимо подгрузить json-файл c описанием файлов и их признаков, а также указать директорию хранения файлов.

Результаты загрузки файла json с описательными признаками документов для исследования в LLM и подстройки параметров

Результаты работы Run Full Prompt & Parameter Optimization можно посмотреть в блоке View Optimization Results

После выполнения диагностики и настройки можно запускать сервис по пакетной загрузке и обработке НПА по извлечению признаков. Для НПА состоящего из отдельных документов реализован функционал по объединению в один общий pdf.

Реализована возможность производить обработку директорий с файлами, при условии, что одна папка содержит файлы одного НПА.

После обработки необходимого числа файлов, результаты работы можно выгрузить в формате пригодном для загрузки на портал «Госвеб».

Дополнительно реализован функционал обработки документов через Telegram-бота. При загрузке документов в Telegram, возвращается архив для загрузки в «Госвеб».