open webui или anythingllm — кому что, разложила по полочкам

Воскресенье, спрашивают по кругу «что ставить под поиск по своим документам», сведу разницу двух главных, без религии.
Open WebUI: это в первую очередь удобный ЧАТ к модели (как ChatGPT, но своё), RAG там есть, но как дополнение. Хорош, если основное — общение с моделью, а документы иногда.
AnythingLLM: заточен именно под ДОКУМЕНТЫ — рабочие пространства, привязка файлов, показ источника из коробки. Хорош, если главное — «спросить по своим pdf», как у юристов, клиники, HR-бота.
Грубо: болтать с моделью + иногда файлы → Open WebUI. Ядро задачи — поиск по своим документам → AnythingLLM. Оба локальные, оба с Ollama, оба не в облако.
Кому что подойдёт по вашим задачам — если сомневаетесь, опишите, что главное (чат или документы), подскажу. И интересно: кто на чём осел и не пожалел?

masha_spb по железу оба примерно одинаково едят — вся нагрузка на модели, обёртка копейки. так что выбирай по задаче, как маша говорит, а не «что легче серверу». от себя: AnythingLLM новичкам-нетехнарям заходит легче, там папки и всё наглядно, а Open WebUI гибче, но и настроек больше, где заблудиться.

masha_spb я на AnythingLLM осела под расшифровки — рабочие пространства реально удобны, отдельно интервью, отдельно рабочие заметки, и показ источника спасает от «оно придумало». Open WebUI пробовала, но мне чат вторичен, мне искать по своему. Так что подтверждаю твоё деление на практике: ядро документы → AnythingLLM.

dasha_voice вот живой пример под «ядро документы», спасибо) gleb_tomsk про «новичкам AnythingLLM нагляднее» — соглашусь, я поэтому юристам и клинике его и советую. В общем, не мучайтесь выбором абстрактно: назовите, что у вас главное, и ответ очевиден. А кто уже пользуется — заглядывайте, живой опыт ценнее моих раскладов.

masha_spb спасибо, вовремя — я как раз путался, почему у нас AnythingLLM, а у знакомого «какой-то webui». Теперь понял: у нас ядро задачи — документы, значит AnythingLLM правильно и стоит. Показ источника, про который вы всегда говорите, там из коробки, для юрработы это и решило. Тем, у кого «спросить по своим pdf» — точно он, подтверждаю с полугода практики.

Вернулась поправить своё слишком короткое «оба не в облако». Самостоятельная установка интерфейса ещё не означает, что все запросы остаются внутри. Нужно отдельно проверить выбранные модели, embeddings и внешние подключения. Для внутренних документов это часть настройки, а не свойство названия программы.

К последнему пункту: можно посмотреть исходящие соединения во время загрузки документа и запроса, а затем повторить тест с запретом доступа во внешнюю сеть. Отдельно проверить настройки эмбеддингов — они могут обращаться к другому провайдеру, чем чат. Работа без интернета полезна как дополнительная проверка, но сама по себе не гарантирует отсутствие телеметрии или отложенной отправки.

quiet_fox, кроме провайдера чата и эмбеддингов полезно отдельно проверить внешние подключения при старте, загрузке документа и самом вопросе. Телеметрию и проверки обновлений стоит смотреть для конкретной версии и конфигурации, а не считать выключенными по умолчанию. Есть ли у вас список разрешённых внешних адресов для каждого этапа?

lexa92 писал:
список разрешённых внешних адресов

у меня этот список пустой. контейнеру выход в мир закрыт целиком, ollama рядом. телеметрия документы не увидит — смотреть некуда.

Читаю этот тред второй день по кусочкам, между звонками в регистратуре, и наконец есть что сказать)

n1kita писал:
контейнеру выход в мир закрыт целиком, ollama рядом

n1kita, вот после этой фразы я прямо выдохнула. У нас клиника, и вопрос «куда уходят данные» для меня не теория. Пару месяцев назад врач хотел вставить выписку пациента в обычный чат-бот, чтобы быстрее оформить заключение для работодателя. Хорошо, что сначала зашёл спросить. Я тогда поняла: просто запрещать бессмысленно, людям удобно, и рано или поздно нужен свой вариант — куда документы можно, а наружу ничего.

Ваша схема «закрыть совсем» — первое решение из всех прочитанных, которое я могу принести нашему компьютерщику и сказать: хочу вот так, без оговорок. Только вопрос, простите, если наивный: а как тогда обновляются модели в ollama, если интернета нет вообще? Временно открываете, скачиваете, закрываете обратно? Или приносите файлами? Для нас это важно понять заранее, потому что «временно открыть» в наших реалиях обычно означает «навсегда забыли закрыть»)

И спасибо masha_spb за поправку выше. Я честно думала: раз ставим сами на свой сервер — значит, всё внутри по определению. Теперь вижу, что эмбеддинги отдельно, чат отдельно, и проверять надо каждый кусок, а не название программы. Для нас формулировка «почти наверняка ничего не уходит» не подходит: у нас не коммерческая тайна, а медицинская. Так что проверку исходящих соединений, про которую quiet_fox писал, беру как обязательный этап, а не «если останется время».

По выбору, кажется, определилась: ядро у нас — документы (регламенты, шаблоны заключений, инструкции), значит AnythingLLM, как тут и разложили. Остался практический вопрос: насколько он терпим к совсем нетехническим пользователям? Старшая медсестра и регистраторы ничего настраивать не будут, им бы окошко, куда пишешь вопрос и получаешь ответ с источником. Это реально или всё равно выходит «один настраивает, остальные боятся лишний раз тронуть»?

vera_med писал:
«временно открыть» в наших реалиях обычно означает «навсегда забыли закрыть»

именно так и бывает, поэтому контейнер я не открываю вообще. ни на минуту.

модели у ollama — обычные файлы, лежат в ~/.ollama/models. делаю pull там, где сеть есть — хоть на домашнем ноуте, — забираю папку, копирую на сервер в то же место. ollama подхватывает, pull на сервере не нужен. сам webui обновляю так же: docker pull на машине с интернетом, docker save в tar, scp, docker load. десять минут раз в месяц.

если возить файлы лень — второй вариант. скрипт, который открывает egress только до registry.ollama.ai, ждёт пятнадцать минут и закрывает обратно сам. забудете — оно закроется без вас. руки забывают, скрипт нет.

а врачу можно коротко: внешний чат — это не «быстрее оформить заключение», это выписка у третьих лиц.

vera_med, ваш случай с выпиской — это весь тред в одном абзаце. Не хакеры и не телеметрия по ночам, а живой врач, которому заключение нужно до обеда. Если удобного легального пути нет, обходной найдётся сам, вопрос времени.

У вас сообщение оборвалось на «эмбеддинги», допишу за вас, потому что это самое коварное место. Документ уезжает наружу не в момент вопроса, а в момент загрузки: если эмбеддер внешний, каждый кусок выписки отправляется на чужой API ещё до того, как кто-то что-то спросил. И молча, в интерфейсе это нигде не мигает. В AnythingLLM встроенный эмбеддер локальный, это хорошо, но люди любят вписать ключ openai «на всякий случай» в соседнее поле — и через месяц никто не помнит, что он там лежит. Поэтому перед первым реальным документом я бы сделала три вещи:
- пройтись по всем настройкам, где есть ключи и провайдеры, а не только по разделу чата;
- загрузить один выдуманный документ (Иванов, грипп, никаких настоящих фамилий) и посмотреть исходящие соединения, как quiet_fox выше описал;
- написать одну страницу «что сюда можно загружать». Не «спросите у Веры», а правило на стене — вашему компьютерщику проще, врачам спокойнее.

n1kita с переноской моделей файлами расписал всё правильно, добавлю одно: заведите это как процедуру с датой, «первый понедельник месяца», а не «как-нибудь обновим». Иначе через полгода у вас модель прошлогодняя, и врач снова смотрит в сторону внешнего чата, потому что «тот умнее».

И главное, из-за чего я вообще пишу в час ночи. Технически вы всё закроете, а внутренний чат проиграет не безопасности, а удобству. Если он отвечает медленнее или глупее внешнего — врач вернётся к копипасте, просто теперь тихо и без вопросов вам. Поэтому половину усилий я бы потратила не на firewall, а на фасад: закрепить вкладку в браузерах, сделать готовые промпты под ваши типовые задачи («заключение для работодателя», «краткая выдержка из истории болезни»), включить показ источника, чтобы было видно, откуда взят ответ. Люди прощают «своему» сервису почти всё, кроме ощущения, что он тормозит им работу.

По модели для русского медицинского текста: пересказ и структурирование выписки спокойно тянет qwen2.5 14b в q4, это уже уровень Maat Pro по памяти. На Heka начните с 7b и честно посмотрите пару недель, хватает ли. Диагнозы пусть не предлагает — машина оформляет, а не лечит, и врачу самому спокойнее, когда граница именно там)

А у кого-то из медицинских или околомедицинских контор это уже стоит в бою? Интересно не железо, а люди: как добились, чтобы персонал реально перешёл, а не держал внешний чат во второй вкладке.

masha_spb, с внешними эмбеддингами даже «добавить файл» уже отправка текста наружу. а кнопка-то безобидная. теперь смотрю на неё с подозрением — хорошее чтение на три ночи)

void_3am писал:
а кнопка-то безобидная

Вот это, по-моему, самое неприятное во всей истории. Интерфейс у локальной и у «полулокальной» установки одинаковый. Совсем. Одна и та же кнопка, один и тот же прогресс-бар, одна и та же галочка «документ добавлен». Фронту без разницы, куда ходит бэкенд, поэтому глазами отличить «всё осталось у меня» от «только что уехало на чужой api» невозможно в принципе. Не «сложно», а именно невозможно — в интерфейсе просто нет такого пикселя.

Я из-за этой фразы полезла проверять вместо того, чтобы лечь. Ночь, свежий контейнер, на соседнем терминале крутится tcpdump по 443 и 53 порту. Загружаю pdf с выдуманным пациентом — тот самый Иванов с гриппом, за идею спасибо vera_med. С внешним эмбеддером: соединение наружу появляется в момент загрузки, до всякого вопроса, как ты и сказал. Переключаю эмбеддер на локальный, пересобираю коллекцию, загружаю тот же файл — тишина. Только ollama на своём же хосте. Контраст настолько наглядный, что я теперь людям показываю именно его, а не скриншот настроек.

И пока смотрела, собрала список того, что ходит наружу так же молча. «Добавить файл» там не одна:

- автоназвание чата и теги. open webui после первого ответа отправляет весь диалог модели, чтобы та придумала заголовок вкладки. если модель внешняя — диалог уехал целиком, а ты в это время любуешься, как красиво переименовалась вкладка;
- веб-поиск в rag. одна галочка «искать в интернете» — и кусок твоего вопроса, часто с текстом документа внутри, становится запросом к внешнему поисковику;
- проверка обновлений и телеметрия. не про документы, но про «звонит домой само». выключается в настройках, но кто туда ходит;
- и обратный нюанс: локальный эмбеддер один раз тянет веса с huggingface при первом запуске. документы при этом никуда не утекают, но если сеть закрыта наглухо, как у n1kita — первый запуск надо продумать, иначе получишь не работающий поиск и долго не поймёшь почему. та же переноска файлами решает.

Вывод после сегодняшнего у меня один: доверять надо не программе и не настройкам, а одному слою — сети. Настройки разъезжаются: обновили, сбросили, кто-то что-то вписал. Интерфейс молчит. А сеть — единственное место, где «ничего не уходит» можно не верить, а видеть. Кому лень tcpdump, есть самый ленивый способ — dns-лог. Любой pi-hole, adguard home, хоть tcpdump по 53 порту. Кликаешь по интерфейсу десять минут и читаешь, кто куда стучался. Увидел чужой хост ровно в момент загрузки файла — вопрос закрыт, дальше уже настройка. Это дешевле, чем читать чужой changelog на каждое обновление.

Короче, теперь у меня профдеформация: прежде чем нажать любую кнопку, я думаю, кто об этом нажатии узнает. С кнопкой «закрыть вкладку» пока получается не думать)

И вопрос в тему, раз все равно не спят: у кого webui или anythingllm стоит без закрытого наружу выхода — вы реально смотрели, куда оно ходит? Пять минут с dns-логом отрезвляют лучше любого моего абзаца.

masha_spb писал:
автоназвание чата и теги

там шлёт диалог целиком, не первые десять слов. модель для заголовков настраивается отдельно от чата — и часто внешняя. проверять обе.

n1kita, да, модель для фоновых задач надо проверять отдельно. Локальный чат ещё не означает, что локально строятся и заголовки: для этой задачи могла остаться явно выбранная внешняя модель.

В актуальной документации Open WebUI это Settings → Admin → Interface: там два выбора, Local Task Model и External Task Model, для разных типов подключения основной модели. По умолчанию используется текущая модель чата. Само наличие внешних моделей в списке ничего никуда не переключает; смотреть нужно выбранную настройку в своей версии.

Для заголовков и тегов можно назначить небольшую локальную модель и проверить, как она справляется. Число параметров само по себе хороших заголовков не обещает. Автоназвание и генерацию тегов можно также выключить отдельно.

И для случая vera_med это особенно важно: внешней модели уходит текст из переписки, на основе которого она придумывает заголовок, а не только готовые десять слов. Уже фрагмента с именем пациента и диагнозом достаточно, чтобы возникла проблема. И сам заголовок в боковой панели тоже виден человеку, который стоит рядом с монитором.

masha_spb, «полезла проверять вместо того, чтобы лечь» — а я думал, я тут один ночью с tcpdump сижу) и да, про боковую панель жуть: утечка не в сеть, а в коридор, где стоит человек и читает «Иванов, грипп» с монитора. модель приличный заголовок выдумывать не станет, она честно напишет, что внутри. пошёл выключать автоназвание у себя