AWS | Narumium Blog

AWSを使って欲しい情報を自動取得する

やりたいことの概要

技術的にはクローリングとかスクレイピングとか呼ばれている。

クローリングはWebを自動で徘徊する技術で、スクレイピングはさらに欲しいものだけ抽出するような感じ。

例えばポータルのほうで技術ニュースリンクをまとめてるのはこの技術を使っている。

方法は色々あるけどAWSで簡単にできそうなものを２つ実装している。

けどいまいちしっくりこないので現状をまとめつつ、どう運用するのが一番いいか考えてみる。

１つ目の方法はEC2にヘッドレスブラウザを入れてJenkinsで管理するやり方。

２つ目の方法はLambdaで起動してCloudWatchで管理するやり方。

どっちもスクレイピング自体はjavascriptを中心にした方法で実現している。

方法１

概要

■EC2＋phantomjs＋casperjs＋Jenkins

EC２インスタンスを立ち上げてその中で好きなようにしようというスタンス。

phantomjsはヘッドレスブラウザでcasperjsはそのユーティリティ。

narumium.net

Phantomjs + Casperjs でスクレイピングを行う — Narumium 3.0 documentation

javascriptで実行できる画面描写のないブラウザを利用して情報を集める。

Jenkinsのジョブで収集スクリプトを起動したり、データを格納したりする。

メリット

インスタンス内でできることは何でもできるので拡張性が高い。

デメリット

インスタンスのメンテナンスが必要。EC2インスタンスは起動時間課金なのですでに運用しているインスタンスに相乗りしたり、必要に応じて起動/停止をしないとお金がかかる。

スクレイピング実行部分のサンプル

var casper = require('casper').create();
casper.start('http://１つ目のサイト',function(){this.wait(20000);/*広告ページ待機*/});
casper.then(function(){
  $(this.getHTML('DOM#dom',true)).each(function(){
    my_json.a=$(this).prop('href');
  });
});
casper.thenOpen('http://２つ目のサイト',function(){this.wait(20000);/*広告ページ待機*/});
casper.then(function(){
  $(this.getHTML('DOM#dom',true)).each(function(){
    my_json.b=$(this).prop('href');
  });
});
casper.then(function(){
  fs.write(FILE_NAME, JSON.stringify(my_json));
});
casper.run();

var casper = require('casper').create();

casper.start('http://１つ目のサイト',function(){this.wait(20000);/*広告ページ待機*/});

casper.then(function(){

$(this.getHTML('DOM#dom',true)).each(function(){

my_json.a=$(this).prop('href');

});

casper.thenOpen('http://２つ目のサイト',function(){this.wait(20000);/*広告ページ待機*/});

casper.then(function(){

$(this.getHTML('DOM#dom',true)).each(function(){

my_json.b=$(this).prop('href');

});

casper.then(function(){

fs.write(FILE_NAME, JSON.stringify(my_json));

});

casper.run();

ブラウザとして巡回するので広告ページを待ったりしている。

ヘッダをいい感じに設定すれば特に待つ必要はないかもしれない。

方法２

概要

■Lambda＋nodejs＋cheerio-httpcli＋CloudWatch

インスタンスを保持せずサービスとして使おうというスタンス。

cheerio-httpcliはnodejsのスクレイピング用モジュール。

LambdaにZIPを置いてevent sourceでCloudWatch Events – Scheduleを設定する。

メンテ不要でAWSの他サービスが使いやすい利点がある反面、Lambdaの制限がある。

特にマックス300秒の制約を気にしないといけないかも。

起動以外は取得、整形、格納なんかは全部Lambdaの中で行う。

メリット

実行時間のみ課金されるので使わないときのメンテが不要。

AWSの他サービスを使いやすい（IAM ロールの設定などが簡単）。

デメリット

Lambdaの制約内でやる必要があるので拡張性は低め。

スクレイピング実行部分のサンプル

var client = require('cheerio-httpcli');
client.fetch('http://１つ目のサイト').then(function (result) {
  result.$('DOM#dom').each(function(){
    my_json.a=result.$(this).prop('href');
  });
  return client.fetch('http://２つ目のサイト');
}).then(function (result) {
  result.$('DOM#dom').each(function(){
    my_json.b=result.$(this).prop('href');
  });
}).catch(function (err) {
  console.log(err);
}).finally(function () {
  fs.writeFile(FILE_NAME, JSON.stringify(my_json));
});

var client = require('cheerio-httpcli');

client.fetch('http://１つ目のサイト').then(function (result) {

result.$('DOM#dom').each(function(){

my_json.a=result.$(this).prop('href');

});

return client.fetch('http://２つ目のサイト');

}).then(function (result) {

result.$('DOM#dom').each(function(){

my_json.b=result.$(this).prop('href');

});

}).catch(function (err) {

console.log(err);

}).finally(function () {

fs.writeFile(FILE_NAME, JSON.stringify(my_json));

});

書き方は色々あるけど一番簡単そうなPromise数珠繋ぎで書いている。

cheerio-httpcliに関しては作者さんがかなり丁寧に解説しているので使いやすかった。

まとめと感想

どちらも多少ニッチな知識が必要だけどjavascriptを多少知っていれば難しいとこはないし、ググればすぐに情報が手に入るので実装は簡単だった。

クライアントアプリケーションを途中でかませたりするような場合にはEC2内でやって、AWS内だけで済む処理なら基本Lambdaにするのがいいかなと思う。

今回の組み合わせの他にもEC2でnodejs動かしたり、Lambdaでphamtomjs動かしたりする例も見かけたけど特にそうする理由はなさそう。

kimonoみたいな専用サービスを使うとスクレイピング実施部分はほぼノータイムでできるんだろうけど、利用するサービスが増えると色々と面倒見ないといけなくなりそうなのでしばらくはAWSに依存してみようと思う。

AWSのDynamoDBをAPIでCRUD操作する

概要

DynamoDBをAPIで使えるようにした。

Narumium Blog

HTTP RequestでDynamoDBを操作する

何をするか外からAPIを叩いてデータをDBに保存してみたかったので試してみた。プラットフォームはAWSオンリー。以下のサービスを使って連携をしてみる。 API Gateway ...

次にAPIを通じてCRUD操作する方法を記録しておく。

基本的に公式ガイドを参照したけどわかりにくかったので他も色々見ながら試行錯誤した。

検索するといろんな情報（古い書き方、非推奨の書き方や別の言語での書き方）が入り混じっていて結構わかりにくかった。

create レコードを新規作成

payload.TableNameで指定したテーブルにpayload.Item内のJSONを新規登録する。

テーブル作成時にプライマリーキーに設定した属性は必須。

それ以外はJSONであれば自由。

また、プライマリーキーの値がすでにあるものであった場合はレコードそのものを上書きする。

{
    "operation":"create",
    "payload":{
        "TableName":"test",
        "Item":{
            "id":"test",
            "name":"testName",
            "type":{
                "id":"create",
                "function":"createFunction"
            }
        }
    }
}

{

"operation":"create",

"payload":{

"TableName":"test",

"Item":{

"id":"test",

"name":"testName",

"type":{

"id":"create",

"function":"createFunction"

}

read レコード１件取得

payload.TableNameで指定したテーブルにpayload.Keyにプライマリーキーを指定して1レコードを取得する。

{
    "operation":"read",
    "payload":{
        "TableName":"test",
        "Key":{
            "id":"test"
        }
    }
}

{

"operation":"read",

"payload":{

"TableName":"test",

"Key":{

"id":"test"

}

{
  "Item": {
    "name": "testName",
    "id": "test",
    "type": {
      "id": "create",
      "function": "createFunction"
    }
  }
}

{

"Item": {

"name": "testName",

"id": "test",

"type": {

"id": "create",

"function": "createFunction"

}

update レコード１件更新

createで同一プライマリキーを指定したときとは違って、レコードの一部を変更できる。

payload.Keyで指定したレコードの更新を行う。

プライマリキー属性は更新できないので、その場合はdeleteしてcreateしなおす必要がある。

また、AttributeUpdatesで処理を定義することもできるが現在は非推奨とされている。

まずUpdateExpressionに式を記入する。

以下の4つの式が使えるがSET, REMOVEの他は基本使わない。

SET – 属性の追加、更新
REMOVE – 1 つ以上の属性を項目から削除
ADD – 数値とセットデータのみサポートするが、通常はADD ではなく SET が推奨される
DELETE – セットデータ（HashSet）からString配列で指定したものを削除

次にExpressionAttributeNamesに属性名を定義。直接UpdateExpressionで指定してもいいが予約語とかぶらないように注意する。

同様にExpressionAttributeValuesに代入する値を定義。

ReturnValuesは以下から選ぶ。

ALL_OLD – 更新の発生前に表示されたように、項目全体が返される。
ALL_NEW – 更新後に表示されるように、項目全体が返される。
UPDATED_OLD – 更新の発生前に表示されたように、更新した値のみが返される。
UPDATED_NEW – 更新後に表示されるように、更新した値のみが返される。

{
    "operation":"update",
    "payload":{
        "TableName":"test",
        "Key":{
            "id":"test"
        },
        "UpdateExpression": "SET #tree1.#tree2 = :a",
        "ExpressionAttributeNames": {
            "#tree1": "type4",
            "#tree2": "a1"
        },
        "ExpressionAttributeValues":{
            ":a":"updated"
        },
        "ReturnValues":"UPDATED_NEW"
    }
}

{

"operation":"update",

"payload":{

"TableName":"test",

"Key":{

"id":"test"

"UpdateExpression": "SET #tree1.#tree2 = :a",

"ExpressionAttributeNames": {

"#tree1": "type4",

"#tree2": "a1"

"ExpressionAttributeValues":{

":a":"updated"

"ReturnValues":"UPDATED_NEW"

}

{
    "operation":"update",
    "payload":{
        "TableName":"test",
        "Key":{
            "id":"test"
        },
        "UpdateExpression": "REMOVE #type",
        "ExpressionAttributeNames": {
            "#type": "type2"
        },
        "ReturnValues":"UPDATED_NEW"
    }
}

{

"operation":"update",

"payload":{

"TableName":"test",

"Key":{

"id":"test"

"UpdateExpression": "REMOVE #type",

"ExpressionAttributeNames": {

"#type": "type2"

"ReturnValues":"UPDATED_NEW"

}

{
    "operation":"update",
    "payload":{
        "TableName":"test",
        "Key":{
            "id":"test"
        },
        "UpdateExpression": "ADD #tree :a",
        "ExpressionAttributeNames": {
            "#tree": "num"
        },
        "ExpressionAttributeValues":{
            ":a":5
        },
        "ReturnValues":"UPDATED_NEW"
    }
}

{

"operation":"update",

"payload":{

"TableName":"test",

"Key":{

"id":"test"

"UpdateExpression": "ADD #tree :a",

"ExpressionAttributeNames": {

"#tree": "num"

"ExpressionAttributeValues":{

":a":5

"ReturnValues":"UPDATED_NEW"

}

DELETEは今回の例だと使えないため割愛。

書き方： DELETE HashSet [“a”,”b”,…]

delete レコード１件削除

プライマリキーを指定してレコードを削除する。

{
    "operation":"delete",
    "payload":{
        "TableName":"test",
        "Key":{
            "id":"test"
        }
    }
}

{

"operation":"delete",

"payload":{

"TableName":"test",

"Key":{

"id":"test"

}

list レコード一覧取得

テーブルを指定してレコード一覧を取得する。

{
    "operation":"list",
    "payload":{
        "TableName":"test"
    }
}

{

"operation":"list",

"payload":{

"TableName":"test"

}

{
  "Items": [
    {
      "name": "firstName",
      "id": "firstRecoed"
    },
    {
      "name": "secondName",
      "id": "secondRecoed"
    }
  ],
  "Count": 2,
  "ScannedCount": 2
}

{

"Items": [

{

"name": "firstName",

"id": "firstRecoed"

{

"name": "secondName",

"id": "secondRecoed"

}

"Count": 2,

"ScannedCount": 2

}

HTTP RequestでDynamoDBを操作する

何をするか

外からAPIを叩いてデータをDBに保存してみたかったので試してみた。
プラットフォームはAWSオンリー。
以下のサービスを使って連携をしてみる。

API Gateway
Lambda
DynamoDB

DynamoDBの用意

まずAWSでNoSQL DBサービスのDynamoDBの準備をする。
AWSのサービスはそれぞれテスト機能があるので一番深いところから用意していくとトントン進む気がする。

サービス一覧からDynamoDBを選択する
テーブルの作成ボタンを押す
好きなテーブル名、プライマリーキーを設定する。今回はtestテーブル、キーをidにした。

以上でDBの準備完了。簡単！

Lambda, APIの作成

LambdaはAWSで用意されているコードの実行サービス。
Java,Nodejs,Pythonコードを実行可能（今回はNodejs）。
なのでここには処理の実行部分を書く。
今後処理の内容を弄るときには基本的にここをでロジックを書く必要がある。
今回やりたいことはBlueprint（色々セットで作ってくれるテンプレートのようなもの）で用意されているのでそれを使う。

サービス一覧からLambdaを選択
Create lambda functionボタンを押す
Select blueprintからmicroservice-http-endpointを選択
Nameは好きな名前を入れる(今回はtestLambda)
RoleでBasic with DynamoDBを選ぶと新規ページが開く
そのまま右下の許可を押す
Roleの選択肢にlambda_dynamoが追加されているの選択（今後は直接これを選ぶ）
右下のNextボタンを押す
microservice-http-endpointで作成した場合にはそのままAPIが作成できるのでmethodをPOST,SecurityをOpenに変えてNext
確認画面でOKなら完了

これで準備完了なのでテストしてみる。

Lambdaのテスト機能を使う

Lambdaの左上のTestボタンを押すとeventの中身を直接入力してテストできる。

以下のJSONを入力してテストすると実際にレコードが登録される。

{
  "operation":"create",
  "payload":{
    "TableName":"test",
    "Item":{
      "id":"firstRecoed",
      "name":"firstName"
    }
  }
}

{

"operation":"create",

"payload":{

"TableName":"test",

"Item":{

"id":"firstRecoed",

"name":"firstName"

}

DynamoDBのtestテーブルを見るとレコードが追加されているのが確認できる。

RESTクライアントを使ったテスト

ブラウザの拡張でREST APIテスト用のアドオンがあるのでそれで実際の動作を確かめる。

restclient

URL：APIエンドポイント
Method：POST
Body：

{
  "operation":"create",
  "payload":{
    "TableName":"test",
    "Item":{
      "id":"secondRecoed",
      "name":"secondName"
    }
  }
}

{

"operation":"create",

"payload":{

"TableName":"test",

"Item":{

"id":"secondRecoed",

"name":"secondName"

}

結果

Dynamoのtestテーブルを見ると２つのテストで入れたレコードが確認できる。

dynamo

このままだとURLをたたけば誰でもデータベース操作できてしまうのでLambdaの処理を絞ったり、APIに認証を設定したりする必要がある。