| ruslan_krd |
| Junior |
Сообщения: 72 |
Репутация: 71 |
| Дата регистрации: |
| 16.08.2026 |
Вокруг ИИ сложился миф: без дорогой видеокарты и соваться нечего. На практике огромный класс задач — инференс квантованных LLM, эмбеддинги, RAG, боты — прекрасно живёт на CPU. Разберём, где проходит граница. GPU нужен для двух вещей: обучение (fine-tune, тем более с нуля) и высоконагруженный инференс больших моделей с низкой задержкой на много пользователей. Всё остальное — CPU.
Подробнее →| ruslan_krd |
| Junior |
Сообщения: 72 |
Репутация: 71 |
| Дата регистрации: |
| 16.08.2026 |
| vera_med |
| Junior |
Сообщения: 16 |
Репутация: 12 |
| Дата регистрации: |
| 13.09.2026 |
ruslan_krd писал:
вопрос «что брать» у нас решает бухгалтерия быстрее, чем любой бенчмарк
| ruslan_krd |
| Junior |
Сообщения: 72 |
Репутация: 71 |
| Дата регистрации: |
| 16.08.2026 |
vera_med писал:
У кого-нибудь ещё бухгалтерия главный архитектор?
| igor_kzn |
| Junior |
Сообщения: 53 |
Репутация: 33 |
| Дата регистрации: |
| 28.08.2026 |
ruslan_krd писал:
табличку так никто и не открыл
| n1kita |
| Middle |
Сообщения: 101 |
Репутация: 55 |
| Дата регистрации: |
| 19.08.2026 |
| lexa92 |
| Middle |
Сообщения: 163 |
Репутация: 145 |
| Дата регистрации: |
| 09.08.2026 |
n1kita писал:
если там 0.0.0.0 — договоры читает не только партнёр
nmap -p 11434 <внешний ip>
OLLAMA_HOST=10.0.0.1
| ruslan_krd |
| Junior |
Сообщения: 72 |
Репутация: 71 |
| Дата регистрации: |
| 16.08.2026 |
igor_kzn писал:
Теперь не паникую раньше времени
| n1kita |
| Middle |
Сообщения: 101 |
Репутация: 55 |
| Дата регистрации: |
| 19.08.2026 |
| lexa92 |
| Middle |
Сообщения: 163 |
Репутация: 145 |
| Дата регистрации: |
| 09.08.2026 |
n1kita писал:
binding на 0.0.0.0 однажды вернулся после апдейта
systemctl edit ollama
[Service]
Environment="OLLAMA_HOST=10.0.0.1"
nmap -p- -T4 <внешний ip> -oX /root/ports/base.xml
nmap -p- -T4 <внешний ip> -oX /root/ports/new.xml
ndiff /root/ports/base.xml /root/ports/new.xml
docker run -p 10.0.0.1:11434:11434 ...
| kate_ekb |
| Middle |
Сообщения: 116 |
Репутация: 81 |
| Дата регистрации: |
| 12.08.2026 |
lexa92 писал:
docker пишет своё в цепочку DOCKER, и твой deny в ufw просто не доезжает
ports:
- "10.0.0.1:11434:11434"
| pavel_63 |
| Junior |
Сообщения: 83 |
Репутация: 62 |
| Дата регистрации: |
| 13.08.2026 |
kate_ekb писал:
это ровно те недельные 0.0.0.0
| void_3am |
| Middle |
Сообщения: 164 |
Репутация: 112 |
| Дата регистрации: |
| 14.08.2026 |
| lexa92 |
| Middle |
Сообщения: 163 |
Репутация: 145 |
| Дата регистрации: |
| 09.08.2026 |
kate_ekb писал:
ports:
- "10.0.0.1:11434:11434"
Error starting userland proxy: listen tcp4 10.0.0.1:11434: bind: cannot assign requested address
systemctl edit docker
[Unit]
After=wg-quick@wg0.service
nmap -p- -T4 <внешний ip> -oX /root/ports/base.xml
@reboot sleep 120 && /root/ports/scan.sh
| pavel_63 |
| Junior |
Сообщения: 83 |
Репутация: 62 |
| Дата регистрации: |
| 13.08.2026 |
lexa92 писал:
Первые дни читал его «да, это тот самый ssh», через месяц не читал вообще
| kate_ekb |
| Middle |
Сообщения: 116 |
Репутация: 81 |
| Дата регистрации: |
| 12.08.2026 |
lexa92 писал:
Error starting userland proxy: listen tcp4 10.0.0.1:11434: bind: cannot assign requested address
# /etc/docker/daemon.json
{
"userland-proxy": false
}
curl -s http://10.0.0.1:11434/api/tags
pavel_63 писал:
у меня туннель на роутере живёт, винда про него вообще не в курсе
| max_nn |
| Junior |
Сообщения: 26 |
Репутация: 9 |
| Дата регистрации: |
| 09.09.2026 |
kate_ekb писал:
с самого хоста на 127.0.0.1:11434 больше не постучишься — этот форвардинг как раз рисовал proxy
| kate_ekb |
| Middle |
Сообщения: 116 |
Репутация: 81 |
| Дата регистрации: |
| 12.08.2026 |
max_nn писал:
есть способ, чтобы и localhost остался?
ports:
- "10.0.0.1:11434:11434"
- "127.0.0.1:11434:11434"
| masha_spb |
| Middle |
Сообщения: 129 |
Репутация: 98 |
| Дата регистрации: |
| 11.08.2026 |
kate_ekb писал:
userland-proxy: false прописываю раньше, чем первый контейнер
open-webui:
environment:
- OLLAMA_BASE_URL=http://ollama:11434