営業リストをスクレイピングで作っていいのか｜判断の4層と、規約を確認せずに使える公的データ源

「スクレイピングは違法か」に一言で答えられない理由

営業リストを作るとき、Webサイトから企業情報を機械的に集めたくなります。手作業でコピーするより速いからです。

そこで「スクレイピング 違法」と検索すると、「違法ではありません」と「規約違反になります」が両方出てきます。どちらも間違いではありません。見ている層が違うだけです。

判断に関わる層は4つあります。順番があり、上から順に確認していくと結論が出ます。

多くの解説は1つ目の層だけを扱っています。ところが実務で最初に引っかかるのは2つ目です。順に見ていきましょう。

著作権法は、思ったより広く許している

まず、Webサイトに載っている企業情報そのものについて。会社名、住所、電話番号といった事実のデータは、それ単体では著作物になりません。事実は著作物ではないからです。

ただし、それらを集めたデータベース全体は別に保護されることがあります。

（データベースの著作物）
第十二条の二
データベースでその情報の選択又は
体系的な構成によつて創作性を有するものは、
著作物として保護する。

著作権法 第12条の2第1項。

「情報の選択又は体系的な構成によって創作性を有する」場合に限られます。単に五十音順に並べただけのリストは、この創作性を満たしません。

情報解析のための利用は、広く許されている

仮に相手のページが著作物だったとしても、次の条文があります。

第三十条の四
著作物は、次に掲げる場合その他の
当該著作物に表現された思想又は感情を
自ら享受し又は他人に享受させることを
目的としない場合には、
その必要と認められる限度において、
いずれの方法によるかを問わず、
利用することができる。

二 情報解析（多数の著作物その他の大量の情報から、
  当該情報を構成する言語、音、影像その他の要素に
  係る情報を抽出し、比較、分類その他の解析を
  行うことをいう。）の用に供する場合

著作権法 第30条の4柱書と第2号。読みやすさのため改行を入れています。

企業情報を抽出して表にまとめる作業は、ここでいう情報解析に当たります。つまり著作権法の観点では、かなり広く許されています。

ただし、ただし書きがある

条文の最後にこうあります。

ただし、当該著作物の種類及び用途並びに
当該利用の態様に照らし
著作権者の利益を不当に害することとなる場合は、
この限りでない。

著作権法 第30条の4 ただし書き。

「著作権者の利益を不当に害する」場合は適用されません。データベースを販売している事業者のサイトから、そのデータを丸ごと取得して同じ用途に使う。これは害する側に寄ります。

実務で最初に引っかかるのは、利用規約

ここが本題です。サイトの利用規約に自動取得の禁止が書かれていれば、法律以前にそこで止まります。

企業情報をまとめているサイトの多くは、規約に禁止条項を置いています。表現はいくつかのパターンに分かれます。

規約違反は「違法」ではないが、実害がある

利用規約に反しても、それ自体が犯罪になるわけではありません。ですが実務上の損害は出ます。

• アクセスを遮断される。IPアドレス単位で止まると、手作業の閲覧もできなくなります
• アカウントを停止される。ログインが必要なサービスなら、契約ごと失います
• 損害賠償を請求される可能性がある。規約は契約なので、違反は債務不履行の問題になり得ます
• 営業代行なら、クライアントの名前で止められる。自社の問題では済みません

4つ目が最も重いです。判断の基準は「違法かどうか」ではなく、「依頼元の名前でやっていいか」になります。フォーム営業のときと同じ考え方です。

規約を確認する手順

1. サイトのフッターから「利用規約」「ご利用にあたって」を開く
2. ページ内検索で「自動」「プログラム」「クローラ」「ロボット」「複製」「商業」を探す
3. 1つでも該当したら、そのサイトは対象から外す
4. 規約が見つからないサイトは、robots.txtを確認する。取得を拒否する記述があれば、それが意思表示になる

4つ目のrobots.txtは法的な拘束力を持つものではありませんが、サイト側の意思表示であることは明らかです。無視して取得したという事実は、後から説明しづらくなります。

不正競争防止法の「限定提供データ」

3つ目の層です。会員登録が必要なデータベースから取得する場合、ここが効いてきます。

この法律において「限定提供データ」とは、
業として特定の者に提供する情報として
電磁的方法により相当量蓄積され、
及び管理されている技術上又は営業上の情報
（営業秘密を除く。）をいう。

不正競争防止法 第2条第7項。読みやすさのため改行を入れています。

要素を分解すると、次の3つを満たすデータが対象です。

つまり誰でも見られる公開ページは、限定提供データに当たりません。ログインが必要なサービスから大量に取得する場合に、この法律が視野に入ります。

サーバーへの負荷という別の線

4つ目の層です。ここは法律の条文というより、相手の業務を止めないという話です。

過去に、公開されているWebサイトへ短時間に大量のアクセスを行った事例が刑事事件として扱われたことがあり、業務妨害の観点から問題になり得ます。ただし、何件までなら安全という基準は法律のどこにも書かれていません。

だから、こちらで上限を決めます。

最後の項目が抜けている実装をよく見ます。相手のサーバーが重くなってエラーを返しているときに、リトライを繰り返すのが最も迷惑な動き方です。止まる条件を先に書いておいてください。

公開情報でも、個人情報保護法は効く

ここは見落とされがちです。公開されている情報だから自由に使える、ということにはなりません。

取得したデータに代表者名や担当者名が含まれていれば、それは個人情報です。公開されているかどうかは、個人情報かどうかの判断に影響しません。

発生する義務は、リストを手作業で作った場合と同じです。利用目的をできる限り特定し（第17条）、あらかじめ公表しているか速やかに通知・公表し（第21条第1項）、目的の範囲を超えて使わない（第18条）。

実務で最も手間が少ないのは、個人名を集めない設計にすることです。法人名・住所・代表電話・問い合わせフォームのURLまでに絞れば、義務の大半が発生しません。この考え方はフォーム営業は違法なのかでも書いたとおりです。

規約を確認せずに使える公的データ源

ここまでの4層を毎回確認するのは手間です。最初から公開・再利用が前提になっているデータを使えば、この確認が要らなくなります。

国税庁 法人番号公表サイト

商号、所在地、13桁の法人番号が無料で検索できます。全国分だけでなく都道府県単位でもCSVとXMLでダウンロードできるため、対象エリアの分だけ落としてスプレッドシートに置く形が取れます。

これが営業リストの土台として最も確実です。法人として登記されている企業の基本情報が、網羅的に、無料で、再利用を前提とした形で配布されています。

使い方の詳細は営業リスト作成をAIでやる方法で書いています。

各府省・自治体が公開しているデータ

許認可や登録の一覧が、CSVで公開されていることがあります。業種によっては、これがそのまま対象企業の母集団になります。

法人番号公表サイトの実務的な使い方

検索画面で1件ずつ引くより、ダウンロード機能を使うほうが早く終わります。手順は次のとおりです。

1. 対象エリアの都道府県分をCSVでダウンロードする。全国分は件数が多く、表計算ソフトで開けないことがあります
2. スプレッドシートに読み込み、法人番号を文字列として扱う設定にする。13桁の数値として読み込むと、指数表記に化けて照合できなくなります
3. 所在地の列で対象エリアに絞る。市区町村名で絞ると、同名の地名に注意が要ります
4. 商号から法人格の表記を取り除いた列を作る。照合に使います

4つ目は、後で他のデータと突き合わせるときに必ず要ります。「株式会社」が前か後か、全角か半角か、カッコ付きで略されているか。表記のゆれを先に吸収しておかないと、同じ会社が別の行として残ります。

ただし、このデータには業種が入っていません。業種で絞りたい場合は、次の許認可データと組み合わせることになります。

許認可の一覧は、業種を絞るときに効く

建設業、宅建業、旅行業、産業廃棄物の処理業など、許認可が必要な業種では、所管する省庁や都道府県が事業者の一覧を公開しています。

これらは業種が確定している母集団なので、営業リストとしては法人番号のデータより精度が高くなります。許可の種類まで載っていることが多く、事業の規模を推測する材料にもなります。

探すときは、所管省庁のサイトで「登録業者一覧」「許可業者名簿」「事業者検索」といった語で探します。都道府県が所管している許認可は、各都道府県のサイトに分かれているため、対象エリアが複数なら1つずつ集めることになります。

手間はかかりますが、これは1度やれば当分使えます。更新の頻度が年単位のものも多いので、四半期に1度ダウンロードし直す程度で足ります。

公的データで足りない部分

公的データには、担当部署名も、問い合わせフォームのURLも、直近の採用状況も載っていません。ここは結局、1社ずつ公式サイトを開いて確認することになります。

そしてそれでよいのです。母集団を公的データで網羅し、優先順位をつけた上位から手で確認する。この形にすると、確認が必要な件数が大きく減ります。全件を機械で取ろうとするから、規約の壁にぶつかります。

自社で決めておく5つのルール

最後に、運用として決めておくことを挙げます。判断を毎回その場でやらないためです。

1. 取得してよいサイトの条件を決める

「規約に自動取得の禁止がないこと」「ログインが不要なこと」「robots.txtで拒否されていないこと」。この3つを満たすサイトだけを対象にする、といった形で先に決めます。

担当者ごとに判断が変わる状態が、最も危険です。

2. 確認した結果を、サイトごとに記録する

規約の確認は毎回やると重いので、1度確認したら結果を残します。サイト名、確認日、判定、根拠になった規約の条項番号。この4つで足ります。

規約は改定されるため、確認日が古いものは再確認が要ります。半年を目安にしてください。「前に確認したから大丈夫」が最も危ない状態です。

3. 取得元と取得日を必ず列に残す

後から「このデータはどこから来たのか」と問われたときに答えられるようにします。答えられないデータは、使えないデータと同じです。

記事01でも書きましたが、取得元と取得日は後から復元できません。集めた時点でしか記録できない情報です。

4. 個人名を入れるかどうかを決める

入れないと決めれば、個人情報保護法の義務の大半が発生しません。入れるなら、自社サイトのプライバシーポリシーに利用目的を先に公表しておきます。

判断の分かれ目は、個人名がないと成立しない施策があるかどうかです。フォーム送信とテレアポだけなら、個人名は無くても回ります。名指しのメールを送るなら要ります。やろうとしている施策から逆算して決めてください。「あると便利そうだから」で集めると、義務だけが残ります。

5. 自動取得を使わない判断もできるようにする

公的データを土台にして、足りない部分を手で確認する。この形なら、そもそも自動取得が不要になる場合があります。

使えるかどうかの確認に時間をかけるより、確認が要らない方法に切り替えたほうが早いことがあります。自動化そのものが目的になっていないか、ときどき確認してください。

まとめ

• 「スクレイピングは違法か」は4つの層を順に見る。著作権法、利用規約、不正競争防止法、サーバー負荷
• 著作権法は広く許している。事実のデータは著作物ではなく、情報解析のための利用は第30条の4で認められる。ただし著作権者の利益を不当に害する場合は除かれる
• 実務で最初に引っかかるのは利用規約。違法ではないが、遮断・アカウント停止・損害賠償の可能性がある。営業代行ならクライアントの名前で止められる
• ログインが必要なデータベースは限定提供データに当たり得る。契約して入ったほうが保護が厚いという構造を理解しておく
• サーバー負荷に法律上の基準はない。アクセス間隔・同時接続数・1日の上限・エラー時に止まる条件を自分で決める
• 公開情報でも、個人名が含まれれば個人情報保護法が効く。個人名を集めない設計が最も手間が少ない
• 国税庁の法人番号公表サイトと各府省・自治体の公開データを土台にすれば、規約の確認そのものが不要になる
• 全件を機械で取ろうとするから壁にぶつかる。母集団を公的データで網羅し、上位から手で確認する形にすると確認件数が減る

スクレイピングの可否を調べている時間で、公的データをダウンロードしたほうが早く進むことがあります。4層の確認は、自動取得がどうしても必要なときのために取っておいてください。

よくある質問