2013年7月11日木曜日

Y!ショッピングのタイムセール情報を自動抽出するサイト作った - Pinterestぽいデザインを試したかっただけ -

タイトルの後半にもこっそり書きましたが、pinterestぽいデザインはどうやるのが楽か調べて試したかっただけです。
その題材として、ちょろっとYahoo!ショッピングのデータを借りました。

そろそろセール




サイト概要

1時間後に販売開始する商品、2時間後に販売開始する商品、3時間後に、、、を並べて表示するサイトです。

ショッピング:商品検索API - Yahoo!デベロッパーネットワーク

こちらのAPIのリクエストパラメータを眺めていたところ、セール販売開始時刻を指定できるようになっていたのを見つけたので、タイムセールチラシを自動生成するような感覚で作ってみました。


UI構築(pinterestぽくする)

スーパーのチラシをパラパラと眺めるようなイメージでいたので、pinterestのようなデザインにしようと思いました。

調べてみると、いくつかサンプルが出てきましたが、必要十分なだけのコードで実現したかったので、javascriptを使わずCSSのみで実現している手法を参考にしました。

[CSS]JavaScriptを使わずに、Pinterest風レイアウトにするスタイルシートのテクニック | コリス

フレームワークとか

Heroku + sinatra + Herokuの無料DBで実装してます。
APIからのXMLのレスポンス解析はREXMLというものを利用。このへんのサイトにお世話になりました。

XML処理 REXMLの使い方 - プログラムメモ
http://d.hatena.ne.jp/aoi_273/20090311/1236764850 

RubyでXML操作 | Netsphere Laboratories
http://www.nslabs.jp/ruby-rexml.rhtml 

Rubyオブジェクトをテキストで保存する3つの方法 - toyoshiの日記 http://d.hatena.ne.jp/toyoshi/20100421/1271806050

データベース操作関連は、DataMapperというgemを利用。これは、前から使ってる
一応、今回参考にしていたサイト

DataMapper を使う (Finding) - KrdLab's blog http://krdlab.hatenablog.com/entry/20090809/1250007554

一定時間アクセスがないと、その後のアクセス時にレスポンスが遅くなる問題は、「we love heroku」にサイトを登録して、一定時間ごとにアクセスしてもらうことで回避。
we love heroku

データ取得管理

販売開始時刻を1時間の範囲で指定して、6時間後までAPIを叩いています。
それぞれのAPIレスポンスから、必要なデータのみを抜き出してDBにキャッシュとして保存しAPIを呼び出す回数を抑えています。
(1アクセス/秒までにするようにと、API利用について注意書きがあったため)

普通に本サイトにアクセスした際に以下の処理を行い、古いデータの削除と、程々のキャッシュアップデートを入れました。

  • アクセス時刻が4時台でDBのレコード数が24時間分以上あった場合
    時刻が24時間位上前のレコードを削除
    →これで、Herokuの無料DBでも容量不足にはならない
  • 現在時刻から6時間後までの間のキャッシュのうち1件をランダムに削除
    キャッシュが無ければ、APIからデータを取得し直す
    →一度データ取得した後に、新しい商品情報が登録された場合でも
     程々の確率で更新される

まとめ

販売開始時間が設定された商品は、それほど無いようで時間帯によってはレスポンスが0件で非常に寂しい結果となってしまいました。
また、設定されているにもレディースファッションなどが多く、自分の興味のあるPC関連のカテゴリーに絞ると、更に該当商品が少ないという残念な結果になりました。

pinterestぽいデザインと、rubyからのXML解析を試せたので、まぁ、満足ってことと自分に言い聞かせておきます。

0 件のコメント:

コメントを投稿