Ruby 初心者スレッド Part 67 (729ﾚｽ)
上下前次1-新
抽出解除 ﾚｽ栞
236(4): (ﾜｯﾁｮｲ f102-pCDs) 2021/07/30(金)18:21 ID:7AkGA5GJ0(1) AAS
スクレイピングしたいんですけど何を勉強すればいいですか
不正アクセスに問われたりしないでしょうか？
セキュリティ対策はどのようなことに注意すればよいでしょうか？
238: (ﾜｯﾁｮｲ fa02-Gkqf) 2021/08/03(火)22:35 ID:3PGqGTvy0(1) AAS
>>236
踏み台を準備してそこ経由でスクレイピングする
239: (ﾜｯﾁｮｲ 0d84-KzYc) 2021/08/04(水)01:04 ID:wXXobJu90(1) AAS
>>236
スクレイピングの勉強
240: (ﾜｯﾁｮｲ 4135-YVzu) 2021/08/04(水)11:12 ID:Ud4GmCQc0(1) AAS
>>236
とりあえず、関心のあるページをローカルに保存してnokogiriでアクセスしてみれば？
crawler部分とscrap部分を分けるのが吉。
つまり、100pagesをスクレーピングするなら、まずhtmlをblob型でDBにinsertしてから欲しいデータをnokogiriで取り出すのだ。
242(2): (ﾜｯﾁｮｲ 9a2c-QEAr) 2021/08/04(水)12:01 ID:BE8GLseK0(2/4) AAS
>>236
サイトのrobots.txt を遵守すること！
これを守らないと、営業妨害で逮捕される
CSS Selector を勉強する。XPath は勉強しなくてよい。
JavaScript も、jQuery 程度は出来た方がよい
gem は、Nokogiri, Selenium Webdriver
Udemy の山浦清透、2021/6
【作業工程フル公開】エンジニアが30万円案件の制作過程を公開
www.youtube.com/watch?v=tYbVl6N8oxI
省3
上下前次1-新書関写板覧索設栞歴
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.022s