BETA

ImageNetの画像をダウンロードする

投稿日:2018-11-11
最終更新:2018-11-11
※この記事は外部サイト(https://www.kumilog.net/entry/imagenet-dow...)からのクロス投稿です

ImageNetは大規模な画像データベースで、現在2万クラス1,400万枚を超える画像があります。クラスにはWordNetの単語を用いています。CNNがブレークしたILSVRCというコンペで用いられたりと、ベンチマークとして有名なデータセットです。

画像のダウンロードは、非営利で研究/教育目的に限られるので、それ以外の人は、画像のURLリストを使って自分でダウンロードしなければなりません。

URLリスト作成のための事前準備

今回は、ILSVRC2012で指定された1,000クラスをダウンロードしてみます。1,000クラスのみのURLリストはないので、自分でつくります。作成に必要なものは以下の3つです。

  • すべての画像のURLリスト
  • 1,000クラスのリスト
  • WordNet IDとクラス名の紐付けリスト

すべての画像のURLリスト

http://image-net.org/download-imageurls からダウンロードできます。今回はFall 2011 Releaseをダウンロードしました。容量は334MBで、14,197,122行ありました。

URLリストは、画像IDとURLの2カラムが書かれています。

$ head -n 3 fall11_ulrs.txt
n00004475_6590    http://farm4.static.flickr.com/3175/2737866473_7958dc8760.jpg
n00004475_15899    http://farm4.static.flickr.com/3276/2875184020_9944005d0d.jpg
n00004475_32312    http://farm3.static.flickr.com/2531/4094333885_e8462a8338.jpg

画像IDはユニークなIDで、xxx_yyyのような形式です。xxxはWordNetのIDです。

1,000クラスのリスト

ファイルとしてはダウンロードできないので、 http://image-net.org/challenges/LSVRC/2012/browse-synsets からつくります。つくったリストは https://git.io/ILSVRC2012 においています。

$ head -n 3 ILSVRC2012_ClassList.txt
kit fox, Vulpes macrotis
English setter
Australian terrier

1行が1クラスです。

WordNet IDとクラス名の紐付けリスト

http://image-net.org/archive/words.txt からダウンロードできます 。WordNetIDとクラス名の2カラムが書かれています。

$ head -n 3 words.txt
n00001740    entity
n00001930    physical entity
n00002137    abstraction, abstract entity

ダウンロードする画像のURLリストをつくる

1,000クラスからWordNet IDを算出

紐付けリスト(words.txt)をつかって1,000クラスリスト(ILSVRC2012_ClassList.txt)のWordNet IDを求めます。それぞれpandasで読み込んでクラス名でマージします。

import pandas as pd

words = pd.read_csv('words.txt', header=None, delimiter='\t')
words.columns = ['id', 'name']

ILSVRC2012 = pd.read_csv('ILSVRC2012_ClassList.txt', header=None, delimiter='\t')
ILSVRC2012.columns = ['name']

df = pd.merge(words, ILSVRC2012, on='name')
w_ids = list(df['id'])

ここで、ついでに0~999のラベルをつくっておくと、学習に使うときに便利です。

label = pd.DataFrame(df['name'].unique())
label.columns = ['name']
label['label'] = label.index

df = pd.merge(df, label, on='name')

1,000クラスのWordNet IDに含まれるものを抽出

すべての画像のURLリスト(fall11_urls.txt)から、さきほどのWordNet IDに含まれるID(w_ids)だけを抽出します。utf-8でない文字が含まれるようなので、無視するようにします。

import codecs

urls = []
with codecs.open('fall11_urls.txt', 'r', 'utf-8', 'ignore') as f:
    for line in f:
        image_id, url, *tmp = line.strip().split('\t')
        w_id, _ = image_id.split('_')

        if w_id not in w_ids:
            continue

        urls.append({'name': image_id + '.jpg', 'url': url})
pd.DataFrame(urls).to_csv(
        'urllist.txt', index=False, columns=['name', 'url'], header=False, sep=' ')

つくったURLリストには1,341,431ありました。

URLリストをつかって画像をダウンロード

いろいろ試した結果((はじめ、Pythonのrequestsモジュールをつかったりしていましたが、エラー処理が大変なのと遅いのでやめました。))、wgetでダウンロードしました。

wget-bオプションでバックグラウンド実行できるので、並列にダウンロードできます。-ncオプションですでにあるファイルはダウンロードしないので、途中からやり直すのも楽です。

タイムアウト(-T)は1秒、リトライ回数(-t)は5回にしていますが、適当です。バックグラウンドで実行するときはログファイルができるので、ファイルを-aオプションで指定しないと、1画像1ファイルできるので、大変なことになります。

$ cat urllist.txt | xargs -n 2 ./download.sh
# download.sh
if [ $# -ne 2 ]; then
  exit 1
fi

wget $2 -O $1 -T 1 -t 5 -nc -b -a wget.log

130万画像のダウンロードに3時間くらいかかりました。ファイルの容量は全部で100GBくらいでした。

コードはこちらにまとめています。

技術ブログをはじめよう Qrunch(クランチ)は、プログラマの技術アプトプットに特化したブログサービスです
駆け出しエンジニアからエキスパートまで全ての方々のアウトプットを歓迎しております!
or 外部アカウントで 登録 / ログイン する
クランチについてもっと詳しく

この記事が掲載されているブログ

@xkumiyuの技術ブログ

よく一緒に読まれる記事

0件のコメント

ブログ開設 or ログイン してコメントを送ってみよう
目次をみる
技術ブログをはじめよう Qrunch(クランチ)は、プログラマの技術アプトプットに特化したブログサービスです
or 外部アカウントではじめる
10秒で技術ブログが作れます!