Ruby 初心者スレッド Part 67 (729ﾚｽ)
上下前次1-新
236(4): (ﾜｯﾁｮｲ f102-pCDs) 2021/07/30(金)18:21 ID:7AkGA5GJ0(1) AAS
スクレイピングしたいんですけど何を勉強すればいいですか
不正アクセスに問われたりしないでしょうか？
セキュリティ対策はどのようなことに注意すればよいでしょうか？
237: (ｵｯﾍﾟｹ Sr05-CIJH) 2021/08/03(火)20:29 ID:1SQdlJBzr(1) AAS
NOKOGIRI
238: (ﾜｯﾁｮｲ fa02-Gkqf) 2021/08/03(火)22:35 ID:3PGqGTvy0(1) AAS
>>236
踏み台を準備してそこ経由でスクレイピングする
239: (ﾜｯﾁｮｲ 0d84-KzYc) 2021/08/04(水)01:04 ID:wXXobJu90(1) AAS
>>236
スクレイピングの勉強
240: (ﾜｯﾁｮｲ 4135-YVzu) 2021/08/04(水)11:12 ID:Ud4GmCQc0(1) AAS
>>236
とりあえず、関心のあるページをローカルに保存してnokogiriでアクセスしてみれば？
crawler部分とscrap部分を分けるのが吉。
つまり、100pagesをスクレーピングするなら、まずhtmlをblob型でDBにinsertしてから欲しいデータをnokogiriで取り出すのだ。
241: (ﾜｯﾁｮｲ 9a2c-QEAr) 2021/08/04(水)11:45 ID:BE8GLseK0(1/4) AAS
>>234
よく見るのは、devise gem を使う
パーフェクト Ruby on Rails、2020/7 には、載っていない
改訂4版 基礎 Ruby on Rails、黒田努・佐藤和人、2018/9 には少しだけ載っている。
ただし、この本は、Ruby 2.5.1, Rails 5.2
Ruby on Rails 6 実践ガイド、黒田努、2019/12、には載っている
ただし、上の黒田努の2冊の本では、devise を使わず、自作している
省4
242(2): (ﾜｯﾁｮｲ 9a2c-QEAr) 2021/08/04(水)12:01 ID:BE8GLseK0(2/4) AAS
>>236
サイトのrobots.txt を遵守すること！
これを守らないと、営業妨害で逮捕される
CSS Selector を勉強する。XPath は勉強しなくてよい。
JavaScript も、jQuery 程度は出来た方がよい
gem は、Nokogiri, Selenium Webdriver
Udemy の山浦清透、2021/6
【作業工程フル公開】エンジニアが30万円案件の制作過程を公開
www.youtube.com/watch?v=tYbVl6N8oxI
省3
243: 241 (ﾜｯﾁｮｲ 9a2c-QEAr) 2021/08/04(水)15:15 ID:BE8GLseK0(3/4) AAS
>>234
Ruby on Rails, devise の動画
Farstep、2019/9
【Rails】deviseを使ったログイン機能の実装（名前でログインする方法を解説）
www.youtube.com/watch?v=Lmq_WLkxp9c
244: 241 (ﾜｯﾁｮｲ 9a2c-QEAr) 2021/08/04(水)15:35 ID:BE8GLseK0(4/4) AAS
YouTube で「ruby on rails devise」で検索すれば、日本人の動画も多い
Farstep, うるぞー、もぐらストア、
やんばるCODE 守護神・バグ取り名人 たけ
245(1): (ｵｯﾍﾟｹ Sr05-CIJH) 2021/08/04(水)22:15 ID:y1FxFhCLr(1) AAS
jQueryって単語、１万年ぶりに見たわ
246: (ﾜｯﾁｮｲ 7a33-Z3HW) 2021/08/05(木)00:10 ID:r/zZzNU40(1/2) AAS
>>245
一万十歳かな？
247(1): (ﾜｯﾁｮｲ 0e70-pCDs) 2021/08/05(木)12:32 ID:dqIKXfcM0(1) AAS
>>242
>>サイトのrobots.txt を遵守すること！
>>これを守らないと、営業妨害で逮捕される
どういうことですか？
詳しくお願いします
248: 218 (ﾜｯﾁｮｲ 9a2c-QEAr) 2021/08/05(木)13:11 ID:bqGeTZjz0(1/4) AAS
>>231
パーフェクト Ruby on Rails 【増補改訂版】 (Perfect series)、2020/7
の92 ページで、
コントローラー内で、private メソッドを定義して、
条件によって、strong parameters を変える例が書いてある
管理者・一般ユーザーで変える例
params.require(:user).permit(:name, :admin)
params.require(:user).permit(:name)
249(1): 242 (ﾜｯﾁｮｲ 9a2c-QEAr) 2021/08/05(木)13:20 ID:bqGeTZjz0(2/4) AAS
>>247
>>242
に書いてある、山浦清透の動画を見れば分かる
各サイトには、robots.txt が置いてあって、
スクレイピングする場合は、必ず30秒空けるとか、
このフォルダはスクレイピングしてはならないとか、多くの条件が書いてある
それを守っていないと、営業妨害になる
スクレイピングは初心者向きじゃないので、各サイトと契約して、API を使うべき！
省7
250(2): (ﾜｯﾁｮｲ 4dcf-pCDs) 2021/08/05(木)13:38 ID:/9S9EoKc0(1/2) AAS
>>249
私のスクレイピングしたいサイトにはAPIは公開されていません
またrobots.txtも設置されていません
robots.txtでリクエスト間隔の指定なんてあるのですか？
常識的に数十秒から数分に一回程度のリクエストなら問題ないと思いますが
営業妨害ってどういう意味ですか
IT企業に勤める知り合いはスクレイピングで求人を出すことがあると言ってましたが嘘でしょうか？
５ｃｈでスクレイピングしたら相手にバレて訴えられることがあるのですか？
251: (ﾌﾞｰｲﾓ MMbe-YEAj) 2021/08/05(木)14:04 ID:RzFkoDJoM(1) AAS
>>250
あるよ
数分に一回のリクエストで落ちるゴミサイトだろうと、結果的に相手の業務に支障が生じれば業務妨害罪に問われる可能性がある
252(1): (ﾜｯﾁｮｲ 0d84-KzYc) 2021/08/05(木)14:10 ID:5L8sIm7d0(1/2) AAS
>>250
> 常識的に数十秒から数分に一回程度のリクエストなら問題ないと思いますが
> 営業妨害ってどういう意味ですか
誰にとっての「常識」ですか？
某岡崎市の某図書館の「りぶらはっく」の件を知りませんか？
（情報リテラシのある側からしたら、）
あんな程度のアクセスで逮捕されるわけない「はずだと思う」なのに、
実態は、全部ゾンビ化（作った業者がアレ）していて、
け●さつがわも情報リテラシがなくアレだから、
結果がアレになっちゃったんですよ。
省5
253(1): (ﾜｯﾁｮｲ 4dcf-pCDs) 2021/08/05(木)14:53 ID:/9S9EoKc0(2/2) AAS
>>252
結局その事件は不起訴処分ですよね？
なぜ不起訴になったかわかりますか
検察側が有罪に出来ないと判断したからです
インターネット業界に携わる者たちからすれば余りにも「一般常識」から外れた言いがかりですからね
あなたのような無知蒙昧で従順な子羊は司直にとっては美味しいお客様ですね
これからも「常識」に則った素晴らしいプログラムを書き続けてくださいね
254: (ﾜｯﾁｮｲ 0d84-KzYc) 2021/08/05(木)15:24 ID:5L8sIm7d0(2/2) AAS
>>253
もし本当に訴えられたとき、実際の裁判の場で、>>253 と同じ発言を検察側、裁判官の前で弁論できるとよいですね。
255: (ﾜﾝﾄﾝｷﾝ MM8a-f66/) 2021/08/05(木)16:15 ID:r8rfvWmzM(1) AAS
まあ不起訴で納得できるならいいんじゃないの？
俺だったら逮捕の時点で嫌だけど
上下前次1-新書関写板覧索設栞歴
あと 474 ﾚｽあります
ｽﾚ情報 赤ﾚｽ抽出 画像ﾚｽ抽出 歴の未読ｽﾚ AAｻﾑﾈｲﾙ
ぬこの手 ぬこTOP 0.016s