Python

system 関数を使ってR のコンソールからターミナルへコマンドを送って実行する

R を使っていろいろやっているときに、R だけで完結すればいいが、R で実行できない関数や実装されていない仕様みたいなものがあって、計算がはかどらないときがある。 そういうときは別のプログラムを使ってその部分の計算をして、その結果をファイルに書き…

matplotlib.pyplot.show でplot したはいいが、GUI がでてきてコンソールがブロックされるのは誰が得する仕様なのか

window.twttr = (function(d, s, id) { var js, fjs = d.getElementsByTagName(s)[0], t = window.twttr || {}; if (d.getElementById(id)) return t; js = d.createElement(s); js.id = id; js.src = "https://platform.twitter.com/widgets.js"; fjs.paren…

Python っぽい感じでうまくクラスの概念を使ってR を書きたい

ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2016/09/24メディア: 単行本(ソフトカバー)この商品を含むブログ (18件) を見る写経しながらR で書き換えつつやってみ…

awk を使ってターミナル上で必要な部分の列和を計算する

SNP とかなんでもいいのだが、行列データがあって、ある列のデータのうち条件をみたすものだけを抽出して、和を取りたい。 それをR とかPython を使わずに、シェルというかawk で完結したいのだが、という悩みを同僚が言ってきたのでやってみた。 一発でsum …

Python3 でcv2 を使う

こちらを参考にインストールする。 これとか。

single cell RNA-seq のdropout

読んだ。 MAGIC: A diffusion-based imputation method reveals gene-gene interactions in single-cell RNA-sequencing data コードはPython で書かれている。computational flowcytometry のDana Peer ラボ。RNA-seq のデータ行列が取るであろう高次元空間…

勾配法による最適化

ある関数があって、最小化もしくは最大化したい。これらは正負を入れ替えればよいでの最小化を考える。 いま、適当に という関数があったとする。これの最小値とそのときのの組を求めたい。 2変数なので3次元に図示するとこんな感じである。最小値はひとつ定…

MeshLab を使って曲率を取得するのをバッチ処理して自動化する

3次元物体の曲率を以前やっていたのだが、自前のスクリプトに重大なミスが発覚したので、プログラミング力の高い人のプログラムから借用することを考える。 離散的な3D オブジェクトから、平均曲率とガウス曲率を計算したいが、意外とない。 と思ったらMeshL…

ゼロから作るDeep Learning Pythonで学ぶディープラーニングの理論と実装

読んだ。ゼロから作るDeep Learning ―Pythonで学ぶディープラーニングの理論と実装作者: 斎藤康毅出版社/メーカー: オライリージャパン発売日: 2016/09/24メディア: 単行本(ソフトカバー)この商品を含むブログ (18件) を見るCOI:自費で買った。著者は知り…

Python でコマンドライン引数、標準入力を受け取る

結論から言えばsys.argv を使う。 http://www.yukun.info/blog/2008/07/python-command-line-arguments.html 【python】sys.argv で引数をとる - metabo346の日記 コマンドライン引数入力できるPythonプログラムをつくる - 剥いだ布団とメモランダム.old Pyt…

ボクセルデータから形を構成する

蛍光イメージング動画があって、そこから細胞の3次元の形を再構成したい。 手順としては、 蛍光イメージの取得:他力本願 2Dでのセグメンテーション:他力本願、大津法 セグメンテーションされた領域の抽出:openCV セグメンテーションされた領域内で欠けて…

科学技術計算のためのPython 確率・統計・機械学習

読んだ。科学技術計算のためのPython―確率・統計・機械学習作者: Jose Unpingco,石井一夫,加藤公一,小川史恵出版社/メーカー: エヌ・ティー・エス発売日: 2016/12メディア: 単行本この商品を含むブログ (1件) を見るCOI:ラボで買った。本人は全く知らない。…

Bias-Variance decomposition

機械学習などで予測モデルを立てたときに絶対に突っ込まれるのが「それ他のデータセットでも言えんの?」ということで、モデルの性能を評価しないといけない。一般的には手持ちのデータからモデルを作って、それとは別のデータに対してそのモデルが有用かとい…

球面調和関数の回転

球面調和関数をRでやったりPythonでやったりしていたのだが、球面調和関数展開して係数をもっているときに、物体が回転してしまうとルジャンドル関数が回転してしまうので、係数も回転に応じて適当に変換しないといけない。 これはたいてい、回転後のパラメ…

minimal Hypergeometric (mHG)

読んだ。 Cell. 2016 Sep 8;166(6):1500-1511.e9 TIL (Tumor infiltrating lymphocyte) の発現解析をして、Activate/Dysfunction の順位付けをしている。 その中でminimal hypergeometric というものがあった。 Gene Ontology 解析ではannotation が有意に出…

Archetypal analysis and principal convex hull

他のグループがやっている解析で、データ分布が四面体のように見える、という話があって、単体を多次元にフィッティングさせるような話を持ってきていた。 Archetypal analysis for machine learning and data mining ちょっとググっていたらシステム生物学…

Python機械学習プログラミング 達人データサイエンティストによる理論と実践

読んだ。 (読んでた)Python機械学習プログラミング 達人データサイエンティストによる理論と実践 (impress top gear)作者: Sebastian Raschka,株式会社クイープ,福島真太朗出版社/メーカー: インプレス発売日: 2016/06/30メディア: 単行本(ソフトカバー)こ…

離散型物体データの球面調和関数展開

球面調和関数を使って.obj データを級数展開してくれるやつを後輩が書いてくれたのでやってみる。 例えばこれ(J Med Syst. 2014 May;38(5):20.)では、病気の肝臓と健康な肝臓をCT画像から構成して、球面調和関数による比較分類を行っている。 肝硬変が進んだ…

vim の設定

というよりPC 環境全般の話。 スクリプトを書いている。 しかし、マウスGUI ユーザーなので残念ながら腱鞘炎になってしまった。 通常のマウスをやめてトラックボールにしたが、母指IP 関節が半端無く痛い。 というわけで利き手とは逆の手にマウスもおいてい…

GPU もrPython を使ってやってみる

GPUを使ってみようと思うのだが、メモリがうんたらかんたら言われて、巨大なデータを入力すると動かないので、Python でやったら実はいい感じに動くのではないかと思ってやってみる。 Python ならpycuda, gnumpy があるようだが、gnumpy のほうがnumpy ベー…

球面調和関数をrPython でやる

球面調和関数をやりたいがRではいいものがないのでPythonでやった結果をrPython を使ってRでゴリ押し計算するやり方。R を投げ捨ててPython に移行したかったが、結局R でやっちゃう。 rPython について知りたければ下にスクロール。 球面上の離散的な分布を…

multi-armed bandit problem

multi-armed bandit problem というものがある。 元々はギャンブラーがどのスロットマシーンをやれば、利益を最大化できるかという話から始まったらしいが、最近は教科学習として流行って、webコンテンツのクリック率だとかそういう分野で使われている。 こ…

スカウト? された話

スカウト? された。 知り合いの知り合いから話を聞きつけてコンタクトしてきたらしい。 医療、生物学のデータに対して機械学習、特にdeep learning を使いたいらしい。 deep learning そのものを扱える情報系の人や、データをとって加工できるSE は人材が集…

第26羽:宝物は君の#gochiusa で呟いた瞬間

この記事はごちうさ住民 Advent Calendar 2015 の第26日目の記事です(2年連続の勝手に参加。 ネタと解析がなやましい これが私の最大限です 11月の始めころになんとなしにググっていたところ、上記のアドベントカレンダーが今年も行われることに気づいた。 …

グラム染色画像の処理

グラム染色をしている。 グラム染色をしたあとで顕微鏡で観察し、写真をとる。 適当に画像を分割して菌体が観察できている視野を水増ししてdeep learning の学習データ用になんとかする。 こんな感じの画像が撮れる。 これは大腸菌を分離してグラム染色した…

Caffeを使うときにハマったこと

Caffeがはやっている。 画像認識系のDeep learning をするときにいい。というのはこちらに書いてある。 環境は ubuntu 14.04 GPUはない!! インストールはこちらやこちらを参考にコピペするだけ。 ハマったことその1:CPUモード CaffeはGPUがないボンビーにつ…

サイコロ問題

推定の章 4, 6, 8, 12, 20面サイコロがひとつずつあって、どれを振ったかわからないが1回振って6が出たらしい。 このとき、N面サイコロが選ばれる確率を考える。 side <- c(4, 6, 8, 12, 20) n <- 6 p <- ifelse(side < n, 0, 1/side) ps <- post_p <- p/sum…

ThinkBayesで学ぶベイズ統計

ThinkBayesという本を見かけた。Think Bayes ―プログラマのためのベイズ統計入門作者: Allen B. Downey,黒川利明出版社/メーカー: オライリージャパン発売日: 2014/09/06メディア: 単行本(ソフトカバー)この商品を含むブログ (6件) を見る英語版ならここに…

声優のプロフィール

心優しいお方が手助けしてくれました。 rvest で声優の男女データをスクレイピング #rstatsj - Qiita 持つべきものはプログラミング能力高い人だね!! 解析用に声優の年齢や所属事務所などのデータを取ろうと思った。 例によって.lainからデータをパクってく…

Twitterで声優のフォローリストを取得する

こちらを参考に一回200人の取得をAPIに引っかからないように取得する。フォローしている人(friends)もしくはフォローされている人(followers)で別個に取得できる。有名人ならたいていfollowersが万人規模になるので、取得するだけでくっそ時間がかかる。 # …