Klerk Ai management system

Проект зародился из практической бизнес-необходимости для сегмента малого и среднего бизнеса: создать автономного цифрового секретаря-менеджера с ИИ, способного осуществлять интеллектуальный поиск, глубокую веб-аналитику и массовые персонализированные рассылки.

Главное — обеспечение суверенитета данных и независимости от сторонних облачных провайдеров, так как стабильное ведение бизнеса требует соблюдения конфиденциальности. Архитектура системы предусматривает развертывание на локальном оборудовании пользователя.

Для корректной работы ИИ-моделей в автономном режиме рекомендуется использовать видеопамять объемом от 8–16 ГБ. Предпочтительны видеокарты с эффективными системами охлаждения, рассчитанными на непрерывный цикл работы в режиме 24/7.

В некоторых сценариях графические решения потребительского класса с высоким энерговыделением могут не полностью отвечать жестким требованиям плотных серверных стоек. Наша система в профессиональном исполнении поддерживает распределение вычислений на несколько плат (например, две видеокарты по 16 ГБ), что снижает тепловую нагрузку на чипы, упрощает теплоотвод и оптимизирует затраты на инфраструктуру.

Первоначальные тесты проводились на компактных моделях объемом до 4 ГБ видеопамяти. Практика показала, что модели с меньшим количеством параметров не всегда способны выдавать качественные ответы при решении коммерческих задач. Вы можете использовать легкие модели для ознакомления с интерфейсом программы, однако для полноценного функционирования рекомендуется использовать аппаратное обеспечение с объемом видеопамяти от 16 ГБ. В случае проектирования аппаратной базы с нуля целесообразно использовать материнские платы серверного класса для возможности масштабирования в дальнейшем.

На текущем этапе система разработана и оптимизирована для операционных систем семейства Windows. В планах развития предусмотрено портирование на Linux.

Мы сознательно отказались от использования промежуточных слоев абстракции для сохранения стабильности в потребительском сегменте. Вместо интеграции Linux-архитектур внутри Windows был выбран подход Windows Native: СУБД Redis заменена на Microsoft Garnet, планировщик Celery — на асинхронную библиотеку Taskiq, а изоляция Docker — на фоновые процессы. Это позволило создать приложение, поставляемое в одном исполняемом файле и эффективно расходующее локальные ресурсы.

Переход к целевой архитектуре Linux позволит реализовать следующие технологические преимущества:

• Использование vLLM и Multi-GPU: Запуск на голом железе (Bare Metal) с технологией PagedAttention позволит осуществлять параллельную пакетную обработку входящих запросов на нескольких видеокартах одновременно.
• Технология Zero-Copy: Прямой доступ к системным вызовам на уровне ядра сокращает задержки обмена данными между компонентами парсинга и контекстом нейросети.
• Консольный режим (Headless): Отсутствие необходимости тратить ресурсы графического процессора на отрисовку оконного интерфейса перераспределяет вычислительные мощности на обработку информации.

Для первого запуска достаточно развернуть нативное приложение Windows. В текущей версии конфигурация требует указания адреса электронной почты отправителя, авторизационных данных и списка адресатов. Мы рекомендуем провести предварительное тестирование функционала на собственном почтовом ящике перед масштабированием задач на рабочие процессы.

Программная архитектура закладывает потенциал для развития следующих модулей:

• Каналы коммуникации: Последующая интеграция интерфейсов Telegram, Viber и других мессенджеров.
• Мультимодальный анализ (Vision): Применение веб-драйверов для фиксации состояния веб-страниц конкурентов с их анализом через локальные зрительные ИИ-модели.
• Внедрение RAG (Qdrant/Milvus): Использование локальных векторных баз данных для сопоставления ответов с внутренними регламентирующими документами и каталогами цен.
• Семантическое кэширование (GPTCache): Оптимизация нагрузки на графический процессор за счет повторного использования схожих по смыслу результатов вычислений.
• Агентские графы (LangGraph): Построение разветвленных сценариев принятия решений агентами с верификацией информации через Guardrails.

Вы можете направлять отзывы о работе системы для совместного определения приоритетных векторов развития программного продукта.