CODE:

#!/usr/bin/perl

use strict;
use warnings;

# 取得に用いるUser-Agent
my $user_agent = "Mozilla/5.0 (Windows NT 6.1; Win64; x64; rv:58.0) Gecko/20100101 Firefox/58.0";
# 取得に用いるCookieのphpbb3_o08ji_sid (空文字列→コマンドラインで指定)
my $sid = "";
# 出力を捨てるのに用いるファイル(Windows→NUL Linux,OS X→/dev/null)
my $nullfile = "NUL";

# 記事一覧を保存するファイル名
my $article_index_file = "articles.csv";
# 添付ファイル一覧を保存するファイル名
my $attach_index_file = "attachments.csv";
# 各記事のデータを保存するディレクトリ名
my $article_dir = "articles";
# 添付ファイルのデータを保存するディレクトリ名
my $attach_dir = "attachments";

if ($sid eq "" && @ARGV >= 1) { $sid = $ARGV[0]; }

# 記事一覧のデータを取得する

my $index_data = &get_page("index.php");

my @data = ();
$index_data =~ s/.*?&b=(\d+)">(.*?) \((\d+)\).*?;(\d+)年(\d+)月(\d+)日\(.*?\) (\d+):(\d+)/push(@data, "$4\t$5\t$6\t$7\t$8\t$1\t$3\t$2")/seg;

# 記事一覧のデータを保存する

open(INDEX, "> $article_index_file") or die("$article_index_file open failed\n");
binmode(INDEX);
print INDEX "投稿日時,記事ID,記事タイトル,コメント数\r\n";
for (my $i = 0; $i  $attach_index_file") or die("$attach_index_file open failed\n");
binmode(FILEINDEX);
print FILEINDEX "対象記事ID,添付ファイル番号,添付ファイル名,コメント,保存ファイル名\r\n";
for (my $i = 0; $i (.*?)/s) {
		my $article_src = $1;
		open(ARTICLE, "> $article_dir/$article_id.txt") or die("$article_dir/$article_id.txt open failed\n");
		binmode(ARTICLE);
		print ARTICLE &html_decode($article_src);
		close(ARTICLE);
	}
	# 添付ファイルを取得
	my @current_attach = ();
	$article_data =~ s/(.*?).*?(.*?)/push(@current_attach, "$1\t$3\t$4\t$2")/seg;
	for (my $j = 0; $j  $attach_dir/$save_file") or die("$attach_dir/$save_file open failed\n");
		binmode(ATTACH);
		print ATTACH $file_data;
		close(ATTACH);
	}
	# サーバーへの負荷を申し訳程度減らす
	warn sprintf("%d / %d fetched\n", $i + 1, @data + 0);
	sleep 1;
}
close(FILEINDEX);

sub get_page {
	my ($page) = @_;
	my $WGET;
	my $res = "";
	open($WGET, "wget -O - -U \"$user_agent\" " .
		($sid ne "" ? "--header=\"Cookie: phpbb3_o08ji_sid=$sid\" " : "") .
		"\"http://dixq.net/forum/$page\" 2> \"$nullfile\" |") or die("wget $page failed\n");
	while () { $res .= $_; }
	close($WGET);
	return $res;
}

sub html_decode {
	my ($data) = @_;
	$data =~ s/"/"/g;
	$data =~ s/ / /g;
	$data =~ s/<//g;
	$data =~ s/&#(\d+);/chr($1)/eg;
	$data =~ s/&/&/g;
	return $data;
}

sub csv_encode {
	my ($data) = @_;
	my $need_quot = ($data =~ /[",\r\n]/);
	$data =~ s/"/""/g;
	if ($need_quot) { $data = "\"$data\""; }
	return $data;
}