Docker イメージに unslothコンテナがあるので、これを使ってファインチューニングを試しています。で、GGUF形式のモデルができたのでコンテナ内ですでにあがっているollamaサーバで動かしていました。なんとか動く物ができたのだけど..
欲が出てこのollamaサーバをそのままつかって外部からアクセスして使ってみようと考えたのですが、外部からだとcurl http://<unslothコンテナ>:11434してもollama is runningがでない..
おまけにホストOS側からもだめ..
で、色々調べてみたら../etc/supervisor/conf.d/superviserd.conf に以下の記述を見つけた：
[program:ollama]
command=sudo /usr/local/bin/ollama serve
user=unsloth
directory=/workspace
autostart=true
autorestart=true
startretries=3
startsecs=2
environment=HOME="/home/unsloth",USER="unsloth",OLLAMA_HOST="0.0.0.0:11434"
stdout_logfile=/var/log/ollama/access.log
stderr_logfile=/var/log/ollama/error.log
stdout_logfile_maxbytes=10MB
stderr_logfile_maxbytes=10MB
user=unslothしてるのにsudoしてる..rootであげたいなら、user=unsloth消せばいいのに..
意図はunslothユーザで上げたいのだと思う。それならsudoを消せばいいかなとおもい、以下のように編集して、kill -HUP 1 したらつながるようになった：
[program:ollama]
command=/usr/local/bin/ollama serve
user=unsloth
directory=/workspace
autostart=true
autorestart=true
startretries=3
startsecs=2
environment=HOME="/home/unsloth",USER="unsloth",OLLAMA_HOST="0.0.0.0:11434"
stdout_logfile=/var/log/ollama/access.log
stderr_logfile=/var/log/ollama/error.log
stdout_logfile_maxbytes=10MB
stderr_logfile_maxbytes=10MB
たぶん unslothコンテナのバグだと思うので、ゆくゆくはなおるとおもいます..
