Translate

2010年11月5日金曜日

Amazon RDSへ大量データ投入

ある検証アプリでAmazon RDSを使っているのだけど、
大量データ
(といっても110万件程度のデータだが)
をローカルのPCからJDBC経由で投入してみた。

が、大失敗。
投入が遅い遅い。
今回はリージョンをシンガポールしていたので
日本からAWSを活用するには最も近い位置なのだけど、
約30時間もかかってしまった。

1分で約620件しかinsertできない..

適当に作ったプログラムなので
10件に1回コミットかけているにしても
この速度は遅すぎだ。

同一リージョンのEC2上からデータ投入すれば
もっと早いとは思うが、
これからRDSやEC2上にRDBつくって
ローカルからデータを投入しようとする人は
十分な時間を用意しておいてください。

0 件のコメント:

ollama 上で動作させているgpt-oss:20bのコンテキスト長を8kから128kにする方法

ollama上にgpt-oss:20bをpullして、API経由でOpenCode CLI連携してつかっていたら、ちょうど8000トークンで返答してくれなくなりました。 で、次に質問したら新セッションになっていたことが何度かありました。 gpt-oss:20bのコンテキスト長を調...