mlflow ui を Google Colaboratory上で動かす

 
MLflowによるトレーニング結果リストをColab上の実験で使いたい場合、pyngrokを使うと便利。

試していないが、tensorboardなどにも利用可能。

• MLflow をインストール
  

!pip install mlflow

• pygrok をインストール
  

!pip install pyngrok

ngrok はローカルPC上のnginxなどのサービスを外部へ公開することのできるsshトンネリングツール。pygrokはPythonから使用できるPythonパッケージ。
 

• mlflow ui をバックグラウンド起動
  

get_ipython().system_raw("mlflow ui --port 5000 &")

ローカルPCの場合 http://127.0.0.1:5000/ をブラウザで開くとmlflow uiが表示されるが、Colab の場合グローバルURLがないと呼び出せない。

• pyngrok を使って5000番ポートのHTTPサービスをngrokへ登録
  

from pyngrok import ngrok
ngrok.kill()
ngrok_tunnel = ngrok.connect(addr="5000", proto="http", bind_tls=True)

• パブリックURLを取得
  

print("MLflow UI ", ngrok_tunnel.public_url)

実行すると以下のようなURLが出力される。

MLflow UI  https://xxxxxxxxxxxxx.ngrok.io

• ブラウザの別タブで上記URLを開く

mlflow uiが表示される。
 

• チュートリアルのサンプルコード を少し加工して実行

以下のコードは、ここのサンプルコードのif __name__ == "__main__":を関数 train() 化しているだけ。

import os
import warnings
import sys

import pandas as pd
import numpy as np
from sklearn.metrics import mean_squared_error, mean_absolute_error, r2_score
from sklearn.model_selection import train_test_split
from sklearn.linear_model import ElasticNet
from urllib.parse import urlparse
import mlflow
import mlflow.sklearn

import logging

logging.basicConfig(level=logging.WARN)
logger = logging.getLogger(__name__)


def eval_metrics(actual, pred):
    rmse = np.sqrt(mean_squared_error(actual, pred))
    mae = mean_absolute_error(actual, pred)
    r2 = r2_score(actual, pred)
    return rmse, mae, r2


def train(alpha=0.5, l1_ratio=0.5):
    warnings.filterwarnings("ignore")
    np.random.seed(40)

    # Read the wine-quality csv file from the URL
    csv_url = (
        "http://archive.ics.uci.edu/ml/machine-learning-databases/wine-quality/winequality-red.csv"
    )
    try:
        data = pd.read_csv(csv_url, sep=";")
    except Exception as e:
        logger.exception(
            "Unable to download training & test CSV, check your internet connection. Error: %s", e
        )

    # Split the data into training and test sets. (0.75, 0.25) split.
    train, test = train_test_split(data)

    # The predicted column is "quality" which is a scalar from [3, 9]
    train_x = train.drop(["quality"], axis=1)
    test_x = test.drop(["quality"], axis=1)
    train_y = train[["quality"]]
    test_y = test[["quality"]]

    with mlflow.start_run():
        lr = ElasticNet(alpha=alpha, l1_ratio=l1_ratio, random_state=42)
        lr.fit(train_x, train_y)

        predicted_qualities = lr.predict(test_x)

        (rmse, mae, r2) = eval_metrics(test_y, predicted_qualities)

        print("Elasticnet model (alpha=%f, l1_ratio=%f):" % (alpha, l1_ratio))
        print("  RMSE: %s" % rmse)
        print("  MAE: %s" % mae)
        print("  R2: %s" % r2)

        mlflow.log_param("alpha", alpha)
        mlflow.log_param("l1_ratio", l1_ratio)
        mlflow.log_metric("rmse", rmse)
        mlflow.log_metric("r2", r2)
        mlflow.log_metric("mae", mae)

        tracking_url_type_store = urlparse(mlflow.get_tracking_uri()).scheme

        # Model registry does not work with file store
        if tracking_url_type_store != "file":

            # Register the model
            # There are other ways to use the Model Registry, which depends on the use case,
            # please refer to the doc for more information:
            # https://mlflow.org/docs/latest/model-registry.html#api-workflow
            mlflow.sklearn.log_model(lr, "model", registered_model_name="ElasticnetWineModel")
        else:
            mlflow.sklearn.log_model(lr, "model")

Scikit Learnを使ったトレーニングサンプル。MLflowのチュートリアルなので mlflow パッケージを使って実行ディレクトリのしたに作成される mlflowディレクトリにlog_xxx()関数で指定されたパラメータ情報やモデルを格納する。

train()を実行するごとにトレーニング処理を実行する。

• 1回目のトレーニングを実行
  

train(alpha=0.5, l1_ratio=0.5)

実行結果例：

Elasticnet model (alpha=0.500000, l1_ratio=0.500000):
  RMSE: 0.7931640229276851
  MAE: 0.6271946374319586
  R2: 0.10862644997792614

• 別タブで開いたままのmlflow ui の左上のアイコン（もしくはRefreshボタン）を押下

mlflow ui 上に1回目の結果が表示される。

• 2回目のトレーニングを実行

パラメータを変えて実行。

train(alpha=0.4, l1_ratio=0.51)

実行結果例：

Elasticnet model (alpha=0.400000, l1_ratio=0.510000):
  RMSE: 0.7769749651758281
  MAE: 0.6101625601336331
  R2: 0.14464227762391824

• 別タブで開いたままのmlflow ui の左上のアイコン（もしくはRefreshボタン）を押下

mlflow ui 上に2回目の結果が追加される。

ngrok は、sshトンネリングを使うため、社内LANなど管理統制下の環境から使用する場合は、各々のセキュリティポリシーに抵触しないか各自で確認のこと。

 

以上