2016年2月24日水曜日

データ分析

0. オープンデータ&公開データのまとめ

0. DATA GO.JP

0. ひとりオープンデータソンやってみました。

0. 日本基盤データベース

0. 探索的データ解析における正しい可視化手法の選び方と描き方 

1. StatCounter 色々なシェアの統計

2. Googleがデータ分析や可視化ができるインタラクティブなツール「Cloud Datalab」をローンチ

3. csvの可視化にembulkとredashを使う

4. redash
  1. SSL (HTTPS) Setup
  2. Ongoing Maintenance and Basic Operations(再起動など)  
  3. Re:dashで異なるData Sourceのクエリ結果をJOINできるようになったので試してみた - Query Results (Alpha)
  4. Ubuntu14.04にRe:dashをインストールする
  5. fabricのsshのネットワーク設定でパスワードか公開鍵を使って認証する
  6. re:dashのダッシュボードで入力フォームを活用する
  7. re:dashでsqlに変数を埋め込む
5. embulk
  1. 公式ドキュメント
  2. Quick Start
  3. embulk初歩 
  4. EmbulkのSalesforce outputプラグインを作ってみた。
  5. [Embulk] Embulk で Salesforce から PostgreSQL にデータを転送してみた
  6. Java で Embulk Output Plugin を書く
  7. Embulk でレジューム(差分実行)するためには実行時に -o オプションを付ける 
  8. embulk-input-jdbcのMySQLプラグインで9時間時間がずれる 
  9. Embulk を使って CSV から MySQL へデータ投入してみた 
6. Python Numpy
  1. Numpyによる乱数生成まとめ
  2. numpy.arrayをいい感じにprintするノート
7. BigQuery
  1. スプレッドシートのデータをBigQueryにインポートしてみた
  2. 誰でも簡単に超高速なクエリができるBigQueryとは?
8. MySQL
  1. MySQLでCSVファイルをインポートする
9. ログ解析
  1. Fluentdを使ってNginxLogをMysqlにリアルタイムで格納する
  2. secureログを分析してみた (CentOS->fluentd->BigQuery)
10. Fluentd
インストール手順 2017.03.23時点
$ sudo su -
# wget http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh
# chmod 700 install-redhat-td-agent2.sh
# ./install-redhat-td-agent2.sh
# td-agent-gem install fluent-plugin-mysql
  1. fluentd最低限のメモ
  2. 【fluentd初心者】td-agentでつまずいた
  3. td-agent2へアップデートする方法と、Dstat pluginが動作しない場合の対処法
  4. syslog Input Plugin
  5. fluentd tailプラグインの仕様について
  6. Fluentd tail plugin のお話 (pos_file の指定はお忘れなく)
  7. Fluentdでsyslogを取り込むための権限設定(CentOS 5&6両対応)
  8. fluent-plugin-mysql(ただし、非推奨、mysql_bulkを使うべきとのこと) 
  9. fluent-plugin-mysql(bulk)
  10. 職場でよく耳にするfluentdを試してみました(Permission deniedの対処あり) 
  11. Fluentdのレコードにホスト名を付与する最良の方法 
  12. あんまり知られてない機能について(Rudyコードの埋め込みなど) 
  13. Fluent Plugin for Salesforce.com
  14. fluentdのためのプラグインをイチから書く手順(bundler版) 
11. Jupyter Notebook
  1. Jupyter Documentation
  2. Jupyter Notebook を使ってみよう
  3. Jupyter Notebookのキーボードショートカット
  4. Markdown記法 チートシート
  5. Jupyter notebookのパスワード 
  6. Jupyter (iPython) Notebookを使って技術ノート環境を構築する方法 #数式を入力する
  7. Jupyter notebookでMySQLに接続する
  8. MySQLに接続してデータ操作を行う
  9. ipython-sql 
  10. Jupyter Notebook(Anaconda/Windows)からMySQLに接続する(Python)
  11. matplotlibで日本語が表示されない時の対応手順  
  12. Jupyter notebook: How to \usepackage{} in for LaTeX
  13. jupyter notebookをLaTeXに変換
  14. MacOSXへのjupyter notebookとr-essentialsのセットアップ手順メモ 
  15. "Failed to load cairo DLL" error when plotting a histogram 
12. Pandas
  1. Pandas でデータフレームから特定の行・列を取得する
  2. Visualization
  3. Python pandas でのグルーピング/集約/変換処理まとめ
13. daft
  1. DAFT
  2. daftでグラフィカルモデル
14. LaTex
  1. 数式チートシート TeX記法
  2. LateXコマンド集
  3. 矢印:LaTex
  4. 二項関係の記号
  5. 空白・改行・改ページ
  6. すべての記号
  7. 連立方程式
  8. How to write cases with LaTeX?
15. matplotlib
  1. 早く知っておきたかったmatplotlibの基礎知識、あるいは見た目の調整が捗るArtistの話
16. superset
  1. Redash の次にくるのは superset!! - Airbnb 謹製の BI ツールが OSS で
  2. Superset vs Redash
17. Facets
  1. Google製可視化OSSのFacetsがめっちゃ便利だから使ってみてくれ
18. Colaboratory
  1. 【秒速で無料GPUを使う】TensorfFow/Keras/PyTorch/Chainer環境構築 on Colaboratory

2016年1月15日金曜日

ブラウザプラグイン開発

1. Chrome
  1. chrom extensions developer's page 
  2. Chromeのオリジナル拡張機能を開発しよう(ソースコードあり)
  3. jQuery を使って 30 分で Chrome 拡張を作ってみた
  4. Chrome Extension のcontent scriptでの変数隔離に対応する。
  5. Chrome 拡張機能のマニフェストファイルの書き方
  6. Chrome拡張機能のマニフェストVesrsion2対応についてのメモ(イベントハンドラ追加)
2. Firefox
  1. Firefoxアドオン(拡張機能)の作り方
  2. Firefox拡張機能(extension)の作り方
  3. Firefox 拡張の作り方 (2013 年版) 
  4. アドオンの署名に関する最新情報
  5. アドオンの開発手順(xpiファイルからのインストールなど)
  6. Add-on SDK で始めるアドオン開発(Content Script 編)DOMアクセス
  7. Content_Scripts(DOM操作)
  8. Content ScriptsなChrome拡張をFirefox拡張に 
  9. chrome コードでウィンドウを取り扱う(重要) 
3. マウスイベント
  1. マウスの操作について
  2. ダブルクリック選択で文字列を取得
4. FirefoxやChromeのPlugin開発に便利なnixysa

WebRTCクックブック

0. 基礎知識
  1. WebSocket備忘録
  2. 実はずっとWebRTCをウォッチしていたので大局的な話を書いた 
1. クラウドにAsterisk立てて[SIPクライアント-(WebRTC)-WEBブラウザ]間でビデオ通話した時のメモ

2. SIPml5を試す。(通話できました編)

3. FreePBXのUCP
  1. 2015年6月時点では、WSSに対応していないため、Chrome & httpsでUCPを使用できない
  2. WS-Securityとは
  3. Chrome & HTTPで使用する場合 ※2016/01/15時点では、Firefoxはデフォルト設定で使用できた
4. SIPクライアント候補
  1. PeerJS 
  2. SIP.js
  3. sipML5
5. FreePBX+sipML5環境の構築で一番参考になりそうなサイト

6. Asterisk Wiki WebRTC tutorial using SIPML5

7. sipml5 issue - ice serverを未設定に出来ない(パッチあり)

8. Asterisk(FreePBX)で着信に応答するとエラー(netsock2.c:271 ast_sockaddr_resolve: getaddrinfo("df7jal23ls0d.invalid", "(null)", ...): Name or service not known)
⇒Asteriskのversionを13にすることで解消
  1. sipml5 - Asterisk.wiki 
  2. Asterisk 11 Sipml5 
9. WebRTC over WSS?

10. FreePBX WSS対応
  1. WebRTC / Asterisk Support Guide(参考になりそう) 
  2. 1.の手順かつ、HTTPSで通信する場合、FreePBXのCertificate Managementで鍵ファイル等を生成する必要あり。linuxのコマンドで生成してもAsterisk Builtin mini-HTTP serverが認識しない。
  3. Asterisk Configuration(http.conf)
  4. http.confのreload => rasterisk -x "core reload" ※http reloadは、使えない模様
  5. Asterisk Builtin mini-HTTP Serverのstatus => rasterisk -x "http show status"
11. Asterisk REST Interface (ARI)
  1. Asterisk REST Interface (ARI)
  2. Getting started with ARI
  3. Asterisk REST Interface Users Module User Guide