Lightsailにnodeとかスクレイピングツールを入れる

Lightsailへのnodejs&npm、phantomjs（ヘッドレスブラウザ）、casperjs（phantomjsライブラリ）導入メモ。

環境はBitnami(Ubuntu)で前回Jenkinsを入れた後です。

ほぼまっさらの状態からJenkinsを入れたので手順メモ。内容はシステムアップデートとJava＆Jenkinsのインストールです。 Javaは3種類あったけどOracleを入れました...

まずは色々と便利なnodejsを入れる。

##とりあえず普通にインストール
sudo apt install -y nodejs
##コマンドがnodejsになってるしバージョンが古い
$ node -v
The program 'node' is currently not installed. You can install it by typing:
sudo apt install nodejs-legacy
$ nodejs -v
v4.2.6
##使いにくいのでアンインストール
sudo apt remove nodejs

##nodejs入れ直し
curl -sL https://deb.nodesource.com/setup_8.x | sudo -E bash -
sudo apt install -y nodejs
$ node -v
v8.11.1

##npmのアップデート
$ npm -v
5.6.0
$ sudo npm install npm -g
$ npm -v
5.8.0

##とりあえず普通にインストール

sudo apt install -y nodejs

##コマンドがnodejsになってるしバージョンが古い

$ node -v

The program 'node' is currently not installed. You can install it by typing:

sudo apt install nodejs-legacy

$ nodejs -v

v4.2.6

##使いにくいのでアンインストール

sudo apt remove nodejs

##nodejs入れ直し

curl -sL https://deb.nodesource.com/setup_8.x | sudo -E bash -

sudo apt install -y nodejs

$ node -v

v8.11.1

##npmのアップデート

$ npm -v

5.6.0

$ sudo npm install npm -g

$ npm -v

5.8.0

続いてスクレイピングツールを入れる。

npm使って入れると簡単。

$ sudo npm install -g phantomjs casperjs

1	$ sudo npm install -g phantomjs casperjs

casperjsは大丈夫だけどphantomjsの方でエラーが起きた。

phantomjsインストールエラー

Could not link global install, skipping...
Download already available at /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2
npm WARN deprecated tough-cookie@2.2.2: ReDoS vulnerability parsing Set-Cookie https://nodesecurity.io/advisories/130
npm WARN deprecated phantomjs@2.1.7: Package renamed to phantomjs-prebuilt. Please update 'phantomjs' package references to 'phantomjs-prebuilt'
npm WARN deprecated node-uuid@1.4.8: Use uuid module instead
npm WARN deprecated tough-cookie@2.2.2: ReDoS vulnerability parsing Set-Cookie https://nodesecurity.io/advisories/130
/usr/bin/phantomjs -> /usr/lib/node_modules/phantomjs/bin/phantomjs

> phantomjs@2.1.7 install /usr/lib/node_modules/phantomjs
> node install.js

Considering PhantomJS found at /usr/bin/phantomjs
Looks like an `npm install -g`
Error checking path, continuing { Error: Cannot find module '/usr/lib/node_modules/phantomjs/lib/location'
    at Function.Module._resolveFilename (module.js:547:15)
    at Function.Module._load (module.js:474:25)
    at Module.require (module.js:596:17)
    at require (internal/module.js:11:18)
    at getLocationInLibModuleIfMatching (/usr/lib/node_modules/phantomjs/install.js:332:19)
    at Promise._successFn (/usr/lib/node_modules/phantomjs/install.js:389:28)
    at nextTickCallback (/usr/lib/node_modules/phantomjs/node_modules/kew/kew.js:47:28)
    at _combinedTickCallback (internal/process/next_tick.js:131:7)
    at process._tickCallback (internal/process/next_tick.js:180:9) code: 'MODULE_NOT_FOUND' }
/usr/lib/node_modules/phantomjs/phantomjs is not writable: EACCES: permission denied, mkdir '/usr/lib/node_modules/phantomjs/phantomjs'
Download already available at /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2
Verified checksum of previously downloaded file
Extracting tar contents (via spawned process)
Removing /usr/lib/node_modules/phantomjs/lib/phantom
Copying extracted folder /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2-extract-1523127965040/phantomjs-2.1.1-linux-x86_64 -> /usr/lib/node_modules/phantomjs/lib/phan
tom
Phantom installation failed { Error: EACCES: permission denied, link '/tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2-extract-1523127965040/phantomjs-2.1.1-linux-x86_6
4' -> '/usr/lib/node_modules/phantomjs/lib/phantom'
  errno: -13,
  code: 'EACCES',
  syscall: 'link',
  path: '/tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2-extract-1523127965040/phantomjs-2.1.1-linux-x86_64',
  dest: '/usr/lib/node_modules/phantomjs/lib/phantom' } Error: EACCES: permission denied, link '/tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2-extract-1523127965040/p
hantomjs-2.1.1-linux-x86_64' -> '/usr/lib/node_modules/phantomjs/lib/phantom'
npm ERR! code ELIFECYCLE
npm ERR! errno 1
npm ERR! phantomjs@2.1.7 install: `node install.js`
npm ERR! Exit status 1
npm ERR!
npm ERR! Failed at the phantomjs@2.1.7 install script.
npm ERR! This is probably not a problem with npm. There is likely additional logging output above.

Could not link global install, skipping...

Download already available at /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2

npm WARN deprecated tough-cookie@2.2.2: ReDoS vulnerability parsing Set-Cookie https://nodesecurity.io/advisories/130

npm WARN deprecated phantomjs@2.1.7: Package renamed to phantomjs-prebuilt. Please update 'phantomjs' package references to 'phantomjs-prebuilt'

npm WARN deprecated node-uuid@1.4.8: Use uuid module instead

npm WARN deprecated tough-cookie@2.2.2: ReDoS vulnerability parsing Set-Cookie https://nodesecurity.io/advisories/130

/usr/bin/phantomjs -> /usr/lib/node_modules/phantomjs/bin/phantomjs

> phantomjs@2.1.7 install /usr/lib/node_modules/phantomjs

> node install.js

Considering PhantomJS found at /usr/bin/phantomjs

Looks like an `npm install -g`

Error checking path, continuing { Error: Cannot find module '/usr/lib/node_modules/phantomjs/lib/location'

at Function.Module._resolveFilename (module.js:547:15)

at Function.Module._load (module.js:474:25)

at Module.require (module.js:596:17)

at require (internal/module.js:11:18)

at getLocationInLibModuleIfMatching (/usr/lib/node_modules/phantomjs/install.js:332:19)

at Promise._successFn (/usr/lib/node_modules/phantomjs/install.js:389:28)

at nextTickCallback (/usr/lib/node_modules/phantomjs/node_modules/kew/kew.js:47:28)

at _combinedTickCallback (internal/process/next_tick.js:131:7)

at process._tickCallback (internal/process/next_tick.js:180:9) code: 'MODULE_NOT_FOUND' }

/usr/lib/node_modules/phantomjs/phantomjs is not writable: EACCES: permission denied, mkdir '/usr/lib/node_modules/phantomjs/phantomjs'

Download already available at /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2

Verified checksum of previously downloaded file

Extracting tar contents (via spawned process)

Removing /usr/lib/node_modules/phantomjs/lib/phantom

Copying extracted folder /tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2-extract-1523127965040/phantomjs-2.1.1-linux-x86_64 -> /usr/lib/node_modules/phantomjs/lib/phan

tom

Phantom installation failed { Error: EACCES: permission denied, link '/tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2-extract-1523127965040/phantomjs-2.1.1-linux-x86_6

4' -> '/usr/lib/node_modules/phantomjs/lib/phantom'

errno: -13,

code: 'EACCES',

syscall: 'link',

path: '/tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2-extract-1523127965040/phantomjs-2.1.1-linux-x86_64',

dest: '/usr/lib/node_modules/phantomjs/lib/phantom' } Error: EACCES: permission denied, link '/tmp/phantomjs/phantomjs-2.1.1-linux-x86_64.tar.bz2-extract-1523127965040/p

hantomjs-2.1.1-linux-x86_64' -> '/usr/lib/node_modules/phantomjs/lib/phantom'

npm ERR! code ELIFECYCLE

npm ERR! errno 1

npm ERR! phantomjs@2.1.7 install: `node install.js`

npm ERR! Exit status 1

npm ERR!

npm ERR! Failed at the phantomjs@2.1.7 install script.

npm ERR! This is probably not a problem with npm. There is likely additional logging output above.

色々調べてみるとnpmでphantomjsは廃止されていた。

phantomjs-prebuiltというのが新しいらしい。

それでも権限エラーがでたので unsafe-perm オプションを付ける。

sudo npm install -g phantomjs-prebuilt --unsafe-perm

1	sudo npm install -g phantomjs-prebuilt --unsafe-perm

無事インストールできたけど使おうとするとライブラリがないとエラーが出る。

/usr/lib/node_modules/phantomjs-prebuilt/lib/phantom/bin/phantomjs: error while loading shared libraries: libfontconfig.so.1: cannot open shared object file: No such file or directory

ので必要なものを追加。

$ sudo apt install fontconfig

1	$ sudo apt install fontconfig

これでちゃんと動作する。

$ phantomjs -v
2.1.1
$ casperjs --version
1.1.4

$ phantomjs -v

2.1.1

$ casperjs --version

1.1.4

コメントを残す コメントをキャンセル

コメントを残すコメントをキャンセル