速習Ruby クローリング、スクレイピング

施設の案内

Wifi接続

自己紹介


運営している勉強会

  • IBM Watson
  • LINE bot
  • Vue.jsとRubyでECサイトを作る
  • 歴史から学ぶwebサービスの作り方

事前準備

chromeのインストール

codenvyのアカウント登録

codenvyの使い方


Rubyとは?

  • 日本発のメジャープログラミング言語 untara kantara
  • HTMLの文書構造の解説
  • Rubyの環境構築
  • Rubyの基本解説
  • irbでrubyを試してみる
  • 変数とか、関数とか
  • 標準出力
  • 四則演算
  • スクレイピングに必要なライブラリのインストール(nokogiri)
$ gem install nokogiri

スクレイピングをしてみる 

その1

require 'nokogiri'
require 'open-uri'

url = 'https://qiita.com/search?q=ruby'

charset = nil

html = open(url) do |f|
    charset = f.charset
    f.read
end

doc = Nokogiri::HTML.parse(html, nil, charset)
doc.xpath('//h1[@class="searchResult_itemTitle"]').each do |node|
  p node.css('a').inner_text
end

その2