TensorFlowで再帰的にディレクトリを作成するとメモリ消費量が延々と増え続けて終わらなかったとき (解決済み)

ヨメレバCSS

 TensorFlowのAPIで、MakeDirsという再帰的にディレクトリを作成するものがあるのですが、そのメソッドがバグっていたときの話。

 すでに修正済みなので現在のリポジトリのコードでこの現象は発生しませんが、ある意味レアなのでどういうことになったか残しておきます。

スポンサーリンク
GoogleAdSence レクタングル(大)

MNIST for ML Beginnersが終わらない

 発端はTensorFlowのソースコードからのインストールとセットアップをして、確認用にMNIST for ML Beginnersを実行したところ、終わらない…

そのうちにメモリを食いつぶして落ちるということになりました。

 最初は自分のコンパイルの仕方や、実行環境(GPGPUを使おうとしていたので、そのドライバなど)を疑ったのですが…地道に追いかけていくと、ディレクトリを再帰的に作ろうとしているTensorFlowのMakeDirsが、「相対パスのディレクトリパスを指定したときに」無限ループしておった。

 そしてMNIST for ML Beginnersではデータダウンロードディレクトリを相対パスで作成していたのでここで現象発生となっていたよう。

対処法

 コードを見て、対処法としては二つ

あらかじめディレクトリを作っておく

 ディレクトリがあれば、作成ルーチンは通らないのでこのバグを踏みません。

 カレントディレクトリにMNIST_dataというディレクトリを作ってやればOK。

ソースコードを修正する

 せっかくだから修正してみたログを残しておく。

 まず、適当なpyファイルで、

だけのコードでも再現

それでそのgfile.pyを見てみると、

となっていて、file_ioに本体があるよう。

 じゃあということで /usr/local/lib/python2.7/dist-packages/tensorflow/python/lib/io/file_io.py を開けると、

となっていて、_pywrap_tensorflow.soのメソッドを呼んでいるよう

 今度はgithubからダウンロードしてきたソースコードの出番ですね。

bazel-bin/tensorflow/python/pywrap_tensorflow.cc

のところに、RecursivelyCreateDirのコードがありそうなので開いてみると、そこも別のクラスのほうを呼んでいる…

また探す旅に。core/platform/env.ccにこれがあった。

 そしてこのwhileの判定が曲者っぽく、while (!fs->FileExists(remaining_dir.ToString())) { でremaining_dirが空白でも終わらない→空白をパースしても空白になる、という無限ループっぽい。

/tmp/test、./test のように絶対パスで指定すると成功するし、ここにprintをはさんでremaining_dirを出力してやると、空文字列でループする。

 でも、こんな最初のチュートリアルでバグるようなの、ずっと前から入ってるはずないよなあ…って思っていたら、

commit 915b02917db21de5a0ae304a067aedb0b5dd759d
Author: Rohan Jain <rohanj@google.com>
Date: Fri Sep 9 11:43:44 2016 -0800

Adding a RecursivelyCreateDir function to the base environment. Removing functionality from the python library.
Change: 132704774

commit 79a7e7a27d018573921e0aa4318088837bfeb95c
Author: A. Unique TensorFlower <gardener@tensorflow.org>
Date: Mon Aug 8 14:48:46 2016 -0800

Fix prototype mismatch of ByteCount in env.cc
Change: 129683111

gitのログを見ると、915b02917db21de5a0ae304a067aedb0b5dd759dのコミットで追加されたよう。

git diff 56ad910f5957d3aa2d96eb840e6da36ac4105236 915b02917db21de5a0ae304a067aedb0b5dd759d file_io.py
diff –git a/tensorflow/python/lib/io/file_io.py b/tensorflow/python/lib/io/file_io.py
index 7a19ae2..fc107d5 100644
— a/tensorflow/python/lib/io/file_io.py
+++ b/tensorflow/python/lib/io/file_io.py
@@ -257,11 +257,7 @@ def recursive_create_dir(dirname):
errors.OpError: If the operation fails.
“””
with errors.raise_exception_on_not_ok_status() as status:
– dirs = compat.as_str_any(dirname).split(“/”)
– for i in range(len(dirs)):
– partial_dir = “/”.join(dirs[0:i + 1])
– if partial_dir and not file_exists(partial_dir):
– pywrap_tensorflow.CreateDir(compat.as_bytes(partial_dir), status)
+ pywrap_tensorflow.RecursivelyCreateDir(compat.as_bytes(dirname), status)

def copy(oldpath, newpath, overwrite=False):

って感じで、file_io.pyに修正が入ってる。

 それはそれとして、そもそもremaining_dirが空白になったら終了すればいいんで、
あそこのwhile文を
while (!remaining_dir.ToString().empty() && !fs->FileExists(remaining_dir.ToString())) {

としてやったら大丈夫でした。やったね。

 そしてこの修正を終えてpullしてみたらばおんなじ修正がコミットされてた時の顔。

 ソースコードはちょっと前にリポジトリから落としてきていたので、それが入っていなかったんですよね。ほんと。ちょっと前に。

教訓

 この話の教訓としてはとりあえずpullしよう。

 いや結構頻繁に更新されているようなので、なんかおかしいなと思っても思わなくても、ソースコードからのコンパイル組はこまめに取得しておいたほうがいいかもしれません。

スポンサーリンク
GoogleAdSence レクタングル(大)