TSVビューアー：タブ区切りファイルを地図または表で開く

このビューアーでできること

TSV（タブ区切り値）は、とてもシンプルなデータ形式の一つです。1行に1件のレコードがあり、列と列の間はタブ文字で区切られます。多くのツールがこの形式を書き出します。データベースはTSVを書き出し、研究機関のポータルはダウンロード用に提供し、ExcelやGoogleスプレッドシートでセルをコピーすると、クリップボードにはTSVが入ります。問題は、テキストエディタで開いたTSVファイルは列がそろわず、読みにくいことです。

このビューアーはファイルを読み込み、いちばん役に立つ形で表示します。まず列名を調べます。Latitude/Longitude、lat/lon、Breitengrad/Längengrad、緯度/経度 のような緯度と経度の列が見つかれば、有効な値を持つ各行が地図上の点になります。度分秒の座標、小数点にカンマを使う数値、"52.52, 13.40" や POINT (13.40 52.52) のような1つの列にまとめた値も読めます。何も見つからなければデータを表で表示しますが、その場合も座標の列を自分で選べます。

誰かから届いたファイルをすばやく確認するために作りました。行がどこにあるかを見て、任意の列で点を色分けし、点をクリックして行の内容を読み、表に切り替えて並べ替えや絞り込みをし、表の行からその点へ移動できます。最後に、地図上の行をGeoJSONとして、または表全体をCSVとしてダウンロードできます。ファイルはブラウザの中にとどまり、アップロードされることはありません。

TSVファイルの中身

このページのサンプルファイルの見出し行と3行を示します。→ はそれぞれ1つのタブ文字を表しており、ほとんどのエディタでは見えません。最後の行は緯度と経度のセルが空なので、ビューアーは座標のない行として数えます。

ID→Name→Category→City→Country→Latitude→Longitude
1→Eiffel Tower→Tower→Paris→France→48.8584→2.2945
5→Colosseum→Monument→Rome→Italy→41.8902→12.4922
29→Plitvice Lakes→Nature park→Plitvička Jezera→Croatia→→

区切り文字

2つのセルの間に1つのタブ文字（\t、Unicode U+0009）。タブが2つ続くと空のセルを意味します。

行

1行に1件のレコード。Windowsの改行（\r\n）とUnixの改行（\n）のどちらも使えます。空の行は飛ばします。

1行目

多くの場合は列名です。ビューアーが自動で判断します。1行目が2行目と同じ列に数値を持っていれば、データとして扱います。この選択はFileパネルで変えられます。

引用符

元のTSV形式には引用符がないため、セルにタブや改行を含めることはできません。ExcelとGoogleスプレッドシートは、必要なときにExcel形式の引用符を付けます。ビューアーはどちらの形式も読めます。

ファイル名と種類

多くは .tsv、ときに .tab や .txt。登録されているメディアタイプは text/tab-separated-values です。

TSVファイルにはデータ型がありません。どのセルも文字列で、何が数値や座標かはビューアーが判断します。GeoJSONへの書き出しでは、普通の数値は数値になり、郵便番号 01067 のように先頭が0のコードは文字列のまま残ります。

TSVとCSV：どちらを使うか

TSVとCSVは同じ種類の表を保存します。本当の違いは区切り文字だけですが、その違いにはいくつか実用上の影響があります。

私の考え：データに住所、自由記述、小数点のカンマが含まれるなら、TSVのほうが安全です。値の中にタブが入ることはほとんどないからです。できるだけ多くのツールで使いたいならCSVで書き出してください。このビューアーは、どんなTSVでもワンクリックでCSVに変換します。

認識される列名

列名は整理してから比較します。大文字と小文字は区別せず、(WGS84) や [deg] のような括弧内の文字は取り除き、スペースとピリオドはアンダースコアにします。そのため Latitude (WGS84)、LAT.、gps latitude はすべて見つかります。一致するものがなければ、Coordinatesパネルで列を選びます。

緯度

lat、latitude、lati、y、ycoord、point_y、decimalLatitude、gps_lat、lat_dd、lat_wgs84、さらに Breite/Breitengrad、latitud、latitudine、緯度。

経度

lng、lon、long、longitude、x、xcoord、point_x、decimalLongitude、gps_lon、lon_dd、さらに Länge/Längengrad、longitud、longitudine、経度。

両方を持つ1つの列

coordinates、coords、latlng、lnglat、position、location、gps、wkt、geometry などの名前で、セルに2つの数値（"52.52, 13.40"）またはWKTのポイント（POINT (13.40 52.52)）がある場合。

候補の選び方

考えられる緯度と経度の組み合わせを、最初の300行で試します。±90と±180に収まる値が最も多い組が選ばれます。同点のときは x/y より本来のlat/lonの名前が優先されるので、メートル単位の投影座標のx/y列が度として扱われることはありません。

1つの列の中の順序

WKTは常に経度が先です。lnglat と lonlat は経度が先を意味します。それ以外のテキストの組は、Google Mapsと同じく緯度が先として読みます。ただし、逆の順序でしか有効な値にならない場合は別です。

技術的な詳細

ビューアーが受け付けるものと出力するものは次のとおりです。

入力

50 MBまでの .tsv、.tab、.txt ファイル、またはPaste TSV欄に貼り付けたタブ区切りのテキスト。.csv ファイルには、CSV to Mapツールを案内するメッセージが出ます。

文字コード

UTF-8。先頭のバイトオーダーマークは取り除きます。

座標の形式

十進法の度（48.8584、48,8584）、度記号や方位の文字付き（48.8584° N、W 1.5115）、度分秒（48°51'30"N、48 51 30 N、48:51.5）。

有効な座標

緯度は−90〜90、経度は−180〜180（WGS84）。範囲外の行は数えられ、地図には表示されません。2つの値を入れ替えれば収まる行も数えられ、Swapボタンが表示されます。

セル数がそろわない行

見出し行よりセルが少ない行は、空のセルで埋めます。余分なセルには Column N という名前の列が追加されます。Fileパネルに、そろわなかった行の数が表示されます。

表ビュー

1ページ100行、どの列でも並べ替え可能（数値は数値として並べます）、すべてのセルを検索する絞り込み欄、座標のある各行には、その点へ移動する ⌖ ボタンがあります。

列で色分け

異なる値が10種類までの列なら、凡例と値ごとの件数付きで点を色分けできます。

書き出し

GeoJSONは地図上の行だけを含み、各列がプロパティになります。CSVは座標のない行も含めた表全体です。

プライバシー

ファイルはブラウザ内で読み込まれます。インターネットから読み込むのはベースマップのタイルだけです。

TSVファイルを開く手順

組み込みのサンプルを使った流れ全体です。サンプルは Latitude と Longitude の列を持つヨーロッパの名所29件で、そのうち1行には座標がありません。ステップ6では、座標の列名が珍しいファイルがどうなるかを示します。

1

ステップ1: ビューアーを開く

地図は道路のベースマップ付きで開きます。Upload、Paste TSVを使うか、ファイルを地図にドラッグします。ここではSample Dataをクリックしました。

2

ステップ2: ファイルを確認する

Fileパネルには、サイズ、行数と列数、1行目を列名として読んだかどうかが表示されます。29行のうち28行が地図上にあり、プリトヴィツェ湖群の行は座標のセルが空です。

3

ステップ3: 座標の列を確認する

Coordinatesパネルには、見つかった列、ここでは Latitude と Longitude が表示されます。いつでも別の列を選べますし、"48.85, 2.29" や POINT (2.29 48.85) のようなセルなら「One column」に切り替えます。

4

ステップ4: 列で点を色分けする

「Color by column」で列を選びます。ここでは Category で名所の種類ごとに色を分け、凡例と件数を表示しています。点をクリックすると、その行の内容が読めます。

5

ステップ5: 表に切り替える

Tableをクリックするとすべての行が見られます。座標の列は強調表示されます。列名をクリックすると並べ替え、絞り込み欄に入力すると検索、⌖ をクリックすると地図上のその行へ移動します。

6

ステップ6: 座標が認識されないファイル

この貼り付けたリストは N と E という列を使っており、ビューアーはこれを座標の名前として扱いません。そのため、メッセージ付きの表で開きます。Coordinatesパネルで N を緯度、E を経度に選ぶと地図が開きます。

TSVファイルを開くほかの方法

このビューアーはTSVファイルを見るいちばん速い方法です。同じファイルが大きな作業の一部なら、私は次のツールを使います。

同じ作業をコードで

どの例も、`Latitude` と `Longitude` の列に座標があるこのページのサンプルファイルを使います。

# Python: pandas reads TSV with sep="\t", GeoPandas builds the points
import pandas as pd
import geopandas as gpd

df = pd.read_csv("landmarks.tsv", sep="\t", dtype=str)
df = df.dropna(subset=["Latitude", "Longitude"])
gdf = gpd.GeoDataFrame(
    df,
    geometry=gpd.points_from_xy(df["Longitude"].astype(float), df["Latitude"].astype(float)),
    crs="EPSG:4326",
)
gdf.to_file("landmarks.geojson", driver="GeoJSON")

# GDAL / OGR: TSV to GeoJSON in one command
ogr2ogr -f GeoJSON landmarks.geojson landmarks.tsv \
  -oo X_POSSIBLE_NAMES=Longitude -oo Y_POSSIBLE_NAMES=Latitude \
  -a_srs EPSG:4326

# Command line: print name and coordinates, skip rows without a latitude
awk -F'\t' 'NR > 1 && $6 != "" { print $2 ": " $6 ", " $7 }' landmarks.tsv

# Only the columns you need (cut splits on tabs by default)
cut -f2,6,7 landmarks.tsv

私の考え：新しいファイルを見て座標を確認するには、このビューアーを使ってください。列がわかったら、データが変わるたびにogr2ogrや数行のpandasで変換できます。

ビューアーの仕組み

ファイルをドロップしてから地図や表が表示されるまでに起こることです。どの処理もブラウザ内で行われます。

1. 区切り文字を確認する. 最初の数行にタブ文字があるかを調べます。タブがなく、カンマやセミコロンがある場合は、ファイルがおそらくCSVであるというメッセージを表示します。
2. 行とセルに分ける. Papa Parseがタブと改行でテキストを分け、Excel形式の引用符も理解します。引用符のせいで行が壊れる場合は、元のTSV形式と同じく、すべての引用符を普通の文字として読み直します。
3. 見出し行を見つける. 1行目が2行目と同じ列に数値を持っていればデータとみなし、列の名前は Column 1、Column 2 のようになります。そうでなければ、1行目を列名とします。空の名前は補い、重複した名前には (2)、(3) を付けます。
4. 座標を検出する. 列名を整理し、上の一覧と比べます。候補の組を最大300行で試し、有効な値が最も多い組を選びます。合う組がなければ、両方の値を持つ列を試します。
5. 地図か表か. 座標があれば、各行を十進法の度または度分秒として読み、無効な行を数え、点をcanvasレイヤーに描きます。座標がなければ、代わりに表が開きます。
6. 何でも変更できる. 見出し行の扱い、座標の列、順序、色はサイドバーで変えられます。地図と表はすぐに更新されます。

検出は最初の推測にすぎません。どの選択もサイドバーで変えられるので、推測が外れてもクリック1回で直せます。

座標の読み方：度分秒、範囲、精度

TSVファイルの座標にはいくつかの形があります。次の3つの項目で、ビューアーがそれを点に変える方法と、数値が正しいかを見分ける方法を説明します。

decimal = degrees + minutes / 60 + seconds / 3600

52°31'12"N  →  52 + 31/60 + 12/3600     =  52.52
13°24'18"E  →  13 + 24/60 + 18/3600     =  13.405
33°52'08"S  →  −(33 + 52/60 + 8/3600)   = −33.8689

valid  ⇔  −90 ≤ latitude ≤ 90   and   −180 ≤ longitude ≤ 180

stored:   lat = 151.21,  lon = −33.87   →  invalid
swapped:  lat = −33.87,  lon = 151.21   →  valid (Sydney)

1° latitude  ≈ 111 320 m
1° longitude ≈ 111 320 m · cos(latitude)

decimals   latitude step   longitude step in Paris (48.86°)
1          11.1 km          7.3 km
2          1.1 km           730 m
3          111 m            73 m
4          11.1 m           7.3 m
5          1.1 m            0.73 m
6          0.11 m           0.07 m

このビューアーが役立つ場面

私がTSVビューアーを開くのは、次のような場面です。

1. データポータルからのダウンロードを確認する. 生物多様性や地名のデータベースなど、多くの研究機関や行政のポータルがTSVでのダウンロードを提供しています。レコードがどこにあり、どれに座標がないかがすぐにわかります。
2. データベースの書き出しを見る. データベースツールは、タブ区切りのテキストを書き出すことがよくあります。表として開き、並べ替えや絞り込みをして、位置の列を地図で確認します。
3. 表計算ソフトのセルを地図にする. ExcelやGoogleスプレッドシートでセルを選んでコピーし、Paste TSVに貼り付けます。ファイルを保存しなくても、行が地図に表示されます。
4. 座標のないファイルを読む. すべてのTSVファイルが地理データとは限りません。並べ替えと絞り込みができる表ビューは、表計算ソフトを開かずにタブ区切りファイルを読む手早い方法です。
5. TSVをCSVやGeoJSONに変換する. TSVを読めないツール用にCSVを、QGIS、ArcGIS、Web地図用にGeoJSONを作れます。
6. 間違った座標を見つける. 値がない行、範囲外の行、入れ替わった行の件数と地図そのものが、長い数値の一覧では気づきにくい誤りを示します。
7. 度分秒の座標を読む. 度・分・秒で書かれた測量の一覧や古いデータも、先に変換しなくてもそのまま読めます。
8. 列で点をグループ分けする. 種類、状態、地域で色分けすると、どの場所がどのカテゴリーに属するかといった傾向が見えます。

よくある質問

ライブラリとクレジット

座標の検出、度分秒の読み取り、表はこのサイトのために書きました。地図とTSVの読み込みにはオープンソースソフトウェアを使っています。

• Leaflet 1.9 · BSD-2-Clause · Volodymyr Agafonkin and contributors
  インタラクティブな地図、canvasの点レイヤー、ポップアップを描画します。
• Papa Parse 5 · MIT · Matt Holt and contributors
  TSVのテキストを行とセルに分けます。Excel形式の引用符付きセルにも対応します。
• OpenStreetMap, Protomaps (hosted by KONAKTIVE), CARTO, Esri World Imagery · ODbLと提供元の利用規約 · OpenStreetMap contributors, Protomaps, KONAKTIVE, CARTO, Esri
  ベースマップのタイルと衛星画像。

関連ツール