yokaidb

Yokai.com からスクレイピングした日本の妖怪（超自然的な生物）のデータベースで、CSVファイルとして提供しています。

データセット

• yokaidb.csv - スクレイピングしたデータです。Yokai.com により CC BY-NC-SA 4.0 ライセンスの下で提供されています。

特徴

• 2段階のスクレイピング: 最初にすべての妖怪のURLを収集し、次に各URLのコンテンツをスクレイピングすることで、差分更新（インクリメンタル更新）を可能にしています。
• 構造化データ: HTMLを解析し、名前（英語/日本語）、生息地、食性、外見、伝説などのフィールドを抽出します。
• 堅牢性: 既存のエントリの再ダウンロードを避け、取得したページをローカルにキャッシュします。
• ページネーション対応: ソース元ウェブサイトのすべてのページを自動的に巡回します。

ビルド方法

本プロジェクトでは Deno を使用します。

データベースは以下の2段階で構築されます:

# 1. すべての妖怪のURLインデックスをスクレイピングして yokaidb_idx.csv に保存
deno run -A scrape.js

# 2. 各URLのコンテンツをスクレイピングして yokaidb.csv に追記
deno run -A scrapeContent.js

CSVスキーマ

出力ファイル yokaidb.csv には以下のカラムが含まれます:

• url
• name
• name_ja
• name_ja_kana
• translation
• alternate_names
• habitat
• diet
• appearance
• behavior
• interactions
• description
• origin
• legends
• other_forms
• critical_weakness

ライセンス

yokaidb.csv のデータは CC BY-NC-SA 4.0 ライセンスの下で提供されています。