[過去ﾛｸﾞ] ２ちゃんねる専用ブラウザ開発者の皆さまへ ★4 (1007ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
このｽﾚｯﾄﾞは過去ﾛｸﾞ倉庫に格納されています｡
次ｽﾚ検索 歴削→次ｽﾚ 栞削→次ｽﾚ 過去ﾛｸﾞﾒﾆｭｰ
619(3): 2014/08/30(土)02:00 ID:AVi64d500.net(1/3) AAS
逆に200の時も常にステータスコード404でコンテンツ返すようにすればクローラ避けになるんじゃね？
Webブラウザなら404でもページは普通に表示するし
>>614
実際には404じゃないから、下手に404返してアクセスを諦められたり
リンクやインデックス消されたりするのは希望してないんだろう
503とか401〜403(？)とか返しても、200以外全部404扱いする奴も居るし
620: 2014/08/30(土)02:03 ID:sYvFLnUG0.net(1) AAS
>>619
ソフト200か……それもそれでどうかと
621: 2014/08/30(土)02:04 ID:AEnBl/Fv0.net(3/3) AAS
>>619
大体テキストで404だけ表示する ソフト404にしてるんだよね拡張子違うから簡単に判別できるけどさ
622: 2014/08/30(土)02:56 ID:QHB1PH7J0.net(1) AAS
オリジナルの anydat.so では
専ブラに悪影響与えないように等考慮されてたのに
外部ﾘﾝｸ[so]:info.2ch.net
今はそういうこと考えられないヤツしかいないんだねぇ。
>>619
>逆に200の時も常にステータスコード404でコンテンツ返す
2ch をターゲットにしてるクローラはすぐ対策する一方、
普通の検索エンジンではインデックスごっそり消される、
という結果になると思われ。
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.895s*