2016年2月24日水曜日

データ分析

0. オープンデータ&公開データのまとめ

0. DATA GO.JP

0. ひとりオープンデータソンやってみました。

0. 日本基盤データベース

0. 探索的データ解析における正しい可視化手法の選び方と描き方 

1. StatCounter 色々なシェアの統計

2. Googleがデータ分析や可視化ができるインタラクティブなツール「Cloud Datalab」をローンチ

3. csvの可視化にembulkとredashを使う

4. redash
  1. SSL (HTTPS) Setup
  2. Ongoing Maintenance and Basic Operations(再起動など)  
  3. Re:dashで異なるData Sourceのクエリ結果をJOINできるようになったので試してみた - Query Results (Alpha)
  4. Ubuntu14.04にRe:dashをインストールする
  5. fabricのsshのネットワーク設定でパスワードか公開鍵を使って認証する
  6. re:dashのダッシュボードで入力フォームを活用する
  7. re:dashでsqlに変数を埋め込む
5. embulk
  1. 公式ドキュメント
  2. Quick Start
  3. embulk初歩 
  4. EmbulkのSalesforce outputプラグインを作ってみた。
  5. [Embulk] Embulk で Salesforce から PostgreSQL にデータを転送してみた
  6. Java で Embulk Output Plugin を書く
  7. Embulk でレジューム(差分実行)するためには実行時に -o オプションを付ける 
  8. embulk-input-jdbcのMySQLプラグインで9時間時間がずれる 
  9. Embulk を使って CSV から MySQL へデータ投入してみた 
6. Python Numpy
  1. Numpyによる乱数生成まとめ
  2. numpy.arrayをいい感じにprintするノート
7. BigQuery
  1. スプレッドシートのデータをBigQueryにインポートしてみた
  2. 誰でも簡単に超高速なクエリができるBigQueryとは?
8. MySQL
  1. MySQLでCSVファイルをインポートする
9. ログ解析
  1. Fluentdを使ってNginxLogをMysqlにリアルタイムで格納する
  2. secureログを分析してみた (CentOS->fluentd->BigQuery)
10. Fluentd
インストール手順 2017.03.23時点
$ sudo su -
# wget http://toolbelt.treasuredata.com/sh/install-redhat-td-agent2.sh
# chmod 700 install-redhat-td-agent2.sh
# ./install-redhat-td-agent2.sh
# td-agent-gem install fluent-plugin-mysql
  1. fluentd最低限のメモ
  2. 【fluentd初心者】td-agentでつまずいた
  3. td-agent2へアップデートする方法と、Dstat pluginが動作しない場合の対処法
  4. syslog Input Plugin
  5. fluentd tailプラグインの仕様について
  6. Fluentd tail plugin のお話 (pos_file の指定はお忘れなく)
  7. Fluentdでsyslogを取り込むための権限設定(CentOS 5&6両対応)
  8. fluent-plugin-mysql(ただし、非推奨、mysql_bulkを使うべきとのこと) 
  9. fluent-plugin-mysql(bulk)
  10. 職場でよく耳にするfluentdを試してみました(Permission deniedの対処あり) 
  11. Fluentdのレコードにホスト名を付与する最良の方法 
  12. あんまり知られてない機能について(Rudyコードの埋め込みなど) 
  13. Fluent Plugin for Salesforce.com
  14. fluentdのためのプラグインをイチから書く手順(bundler版) 
11. Jupyter Notebook
  1. Jupyter Documentation
  2. Jupyter Notebook を使ってみよう
  3. Jupyter Notebookのキーボードショートカット
  4. Markdown記法 チートシート
  5. Jupyter notebookのパスワード 
  6. Jupyter (iPython) Notebookを使って技術ノート環境を構築する方法 #数式を入力する
  7. Jupyter notebookでMySQLに接続する
  8. MySQLに接続してデータ操作を行う
  9. ipython-sql 
  10. Jupyter Notebook(Anaconda/Windows)からMySQLに接続する(Python)
  11. matplotlibで日本語が表示されない時の対応手順  
  12. Jupyter notebook: How to \usepackage{} in for LaTeX
  13. jupyter notebookをLaTeXに変換
  14. MacOSXへのjupyter notebookとr-essentialsのセットアップ手順メモ 
  15. "Failed to load cairo DLL" error when plotting a histogram 
12. Pandas
  1. Pandas でデータフレームから特定の行・列を取得する
  2. Visualization
  3. Python pandas でのグルーピング/集約/変換処理まとめ
13. daft
  1. DAFT
  2. daftでグラフィカルモデル
14. LaTex
  1. 数式チートシート TeX記法
  2. LateXコマンド集
  3. 矢印:LaTex
  4. 二項関係の記号
  5. 空白・改行・改ページ
  6. すべての記号
  7. 連立方程式
  8. How to write cases with LaTeX?
15. matplotlib
  1. 早く知っておきたかったmatplotlibの基礎知識、あるいは見た目の調整が捗るArtistの話
16. superset
  1. Redash の次にくるのは superset!! - Airbnb 謹製の BI ツールが OSS で
  2. Superset vs Redash
17. Facets
  1. Google製可視化OSSのFacetsがめっちゃ便利だから使ってみてくれ
18. Colaboratory
  1. 【秒速で無料GPUを使う】TensorfFow/Keras/PyTorch/Chainer環境構築 on Colaboratory