MLflowによるトレーニング結果リストをColab上の実験で使いたい場合、pyngrokを使うと便利。
試していないが、tensorboardなどにも利用可能。
- MLflow をインストール
!pip install mlflow
- pygrok をインストール
!pip install pyngrokngrok はローカルPC上のnginxなどのサービスを外部へ公開することのできるsshトンネリングツール。pygrokはPythonから使用できるPythonパッケージ。
- mlflow ui をバックグラウンド起動
get_ipython().system_raw("mlflow ui --port 5000 &")
ローカルPCの場合 http://127.0.0.1:5000/ をブラウザで開くとmlflow uiが表示されるが、Colab の場合グローバルURLがないと呼び出せない。
from pyngrok import ngrok
ngrok.kill()
ngrok_tunnel = ngrok.connect(addr="5000", proto="http", bind_tls=True)
- パブリックURLを取得
print("MLflow UI ", ngrok_tunnel.public_url)
実行すると以下のようなURLが出力される。
MLflow UI https://xxxxxxxxxxxxx.ngrok.io
- ブラウザの別タブで上記URLを開く
mlflow uiが表示される。
- チュートリアルのサンプルコード を少し加工して実行
以下のコードは、ここのサンプルコードのif __name__ == "__main__":を関数 train() 化しているだけ。
import os
import warnings
import sys
import pandas as pd
import numpy as np
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score
from sklearn.model_selection import train_test_split
from sklearn.linear_model import ElasticNet
from urllib.parse import urlparse
import mlflow
import mlflow.sklearn
import logging
logging.basicConfig(level=logging.WARN)
logger = logging.getLogger(__name__)
def eval_metrics(actual, pred):
rmse = np.sqrt(mean_squared_error(actual, pred))
mae = mean_absolute_error(actual, pred)
r2 = r2_score(actual, pred)
return rmse, mae, r2
def train(alpha=0.5, l1_ratio=0.5):
warnings.filterwarnings("ignore")
np.random.seed(40)
# Read the wine-quality csv file from the URL
csv_url = (
"http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv"
)
try:
data = pd.read_csv(csv_url, sep=";")
except Exception as e:
logger.exception(
"Unable to download training & test CSV, check your internet connection. Error: %s", e
)
# Split the data into training and test sets. (0.75, 0.25) split.
train, test = train_test_split(data)
# The predicted column is "quality" which is a scalar from [3, 9]
train_x = train.drop(["quality"], axis=1)
test_x = test.drop(["quality"], axis=1)
train_y = train[["quality"]]
test_y = test[["quality"]]
with mlflow.start_run():
lr = ElasticNet(alpha=alpha, l1_ratio=l1_ratio, random_state=42)
lr.fit(train_x, train_y)
predicted_qualities = lr.predict(test_x)
(rmse, mae, r2) = eval_metrics(test_y, predicted_qualities)
print("Elasticnet model (alpha=%f, l1_ratio=%f):" % (alpha, l1_ratio))
print(" RMSE: %s" % rmse)
print(" MAE: %s" % mae)
print(" R2: %s" % r2)
mlflow.log_param("alpha", alpha)
mlflow.log_param("l1_ratio", l1_ratio)
mlflow.log_metric("rmse", rmse)
mlflow.log_metric("r2", r2)
mlflow.log_metric("mae", mae)
tracking_url_type_store = urlparse(mlflow.get_tracking_uri()).scheme
# Model registry does not work with file store
if tracking_url_type_store != "file":
# Register the model
# There are other ways to use the Model Registry, which depends on the use case,
# please refer to the doc for more information:
# https://mlflow.org/docs/latest/model-registry.html#api-workflow
mlflow.sklearn.log_model(lr, "model", registered_model_name="ElasticnetWineModel")
else:
mlflow.sklearn.log_model(lr, "model")
Scikit Learnを使ったトレーニングサンプル。MLflowのチュートリアルなので mlflow パッケージを使って実行ディレクトリのしたに作成される mlflowディレクトリにlog_xxx()関数で指定されたパラメータ情報やモデルを格納する。
train()を実行するごとにトレーニング処理を実行する。
- 1回目のトレーニングを実行
train(alpha=0.5, l1_ratio=0.5)
実行結果例：
Elasticnet model (alpha=0.500000, l1_ratio=0.500000):
RMSE: 0.7931640229276851
MAE: 0.6271946374319586
R2: 0.10862644997792614
- 別タブで開いたままのmlflow ui の左上のアイコン（もしくはRefreshボタン）を押下
mlflow ui 上に1回目の結果が表示される。
- 2回目のトレーニングを実行
パラメータを変えて実行。
train(alpha=0.4, l1_ratio=0.51)
実行結果例：
Elasticnet model (alpha=0.400000, l1_ratio=0.510000):
RMSE: 0.7769749651758281
MAE: 0.6101625601336331
R2: 0.14464227762391824
- 別タブで開いたままのmlflow ui の左上のアイコン（もしくはRefreshボタン）を押下
mlflow ui 上に2回目の結果が追加される。
ngrok は、sshトンネリングを使うため、社内LANなど管理統制下の環境から使用する場合は、各々のセキュリティポリシーに抵触しないか各自で確認のこと。
以上
