SPARQLthon29では何故かネットワークの調子も悪く(DHCPが急に取れなくなったり)。容量の大きなFASTQファイルが手元になく、ダウンロードしてくることもかなわず、実行できずじまい。そこで、RNAseqなFASTQファイルを入手してdocker runのテスト。coreos上で
[shell]
coreos> docker run -it -v pwd:/data aewing …
国内版BioHackathon BH14.14に出て、dockerまわりでやることが出てきたので、SPARQLthon参加。今年度最初の方に統合化支援との連携を探る目的で出ていたが、引っ越しやらなん …
これまで、非モデル生物とか、古典的なモデルでない生物とか、いろんな言い方をしてきた。あらゆる生物種のゲノム配 …
直前のいくつかのエントリを見て分かるように、北海道札幌市の定山渓ビューホテルで開かれた国内版バイオハッ …
国内版Biohackathon(BH14.14)最終日。これまでやってきたことは
にすべてアップ。つくったDocker imageは以下の4つ。
hmmemit
debian-hmmsearch
debian-hmmsearch2 (profileHMMと検索対象DBがdocker runの引数として選べる)
ubuntu-tophat
ubuntu-tophatに関しては、defaultのcoreosでは動かないという問題点あり。現状判明し …
国内版Biohackathon(BH14.14)4日目。昨日までのhmmerとは打って変わってより実際的なNGS解析のそれをということで、RNAseqにおけるspliced read mapperとしてデファクト・スタンダードのtophatを実行するそれに挑戦。 tophatのパッケージがdebianにはないらしいということで、ubuntuベースに。昨日まで作っていたhmmsearch用のDockerfileと同様に実行部分はシェルスクリプトに分けて実装。DockerhubのAutomated Buildを利用しているため、ファイル自体はgithubにあるが、再 …
国内版Biohackathon(BH14.14)3日目。今日もDockerチームにて。昨日作成したhmmsearchを実行するDockerfileの汎用化。引数としてprofile HMMと検索対象DBを指定できるように。最後の行でしか引数指定できないようなので、別にシェ …
国内版Biohackathon(BH14.14)2日目。まずは、昨日の続き。DockerfileをDockerHubに表示したいということで、GitHubとDockerHubの連携をやってみる。
まずは、'New repository'から新規に作成し(hmmemitという名前)、必要なファイルをgithubに上げる。 [shell] git add Dockerfile Sod_Cu.hmm git commit -m "first commit" git push -u origin master [/shell …
国内版Biohackathon(BH14.14)1日目。色々話しあった結果、Dockerチームとして活動することに。これまでローカルに動かしてきた解析スクリプト(レシピ)をDockerfileとして記述していこうかということで。まずは動かし方を。
[shell] brew tap phinze …
古典的なモデルでない生物を実験材料として使う際、当然モデル生物データベースは用意されていないので、自らが …
個人的には、(どちらかというと)ヒトやそのモデル生物において、post-sequencing(ゲノム配列解読後)な研究ばかり見てきたこの十年 …
2014年は職場の二度の引っ越し(3月に1回、4月にもう1回)でバタバタしていたこともあり、講演活動は前年ほど回数はなかったものの、新しく移った先近くで複数回実 …
MacOSXでシェルスクリプトなどのスクリプト言語をダブルクリックして実行するには、
スクリプトのファイル名に.commandという拡張子を使う(例: hoge.command)
ファイルに実行権を付与する。すなわち chmod +x hoge.command しておく
スクリプトの先頭 …
Macosxの場合のtophatのインストールコマンド。もちろん、tophatのサイトからバイナリファイルを取ってきてそれを使うのでもいいのですが、tophatから呼び出される依存関係のあるプログラムも同時にインストールしてくれる点でhomebrewが便利なので、こちらを推奨します。
[shell] brew tap homebrew/science -v brew install -v tophat [/shell]
sratoolkitは、tophatとは依存関係がないものの、公共NGSデータベースのSRA(Sequence Read Archive)からダウンロードしてきたデータ …
Reference genome配列に対するmappingの結果ファイル、bam。そこから特定の染色体などの場所を絞り込んだデータだけを作成する場合に以下のsamtoolsのオプションが大変有効です。 複数のbamファイル(1.bam 2.bam 3 …
今シーズン初めの雪が積もりだした岩手医科大学矢巾キャンパスにて講習会。師走の忙しい時期ということもあっ …
「種を超えて保存された生理代謝機構の解明に向けて：データベースによるアプローチ」と題して、第37回日本分子生物学会年会にてフォーラムという枠をいただいた。そもそもワーク …
amazonにも目訴本のエントリが。Ensembl, Jalview, InterPro, GEO/ArrayExpressの項のほか、第1部の「ウェットな研究にデータベースやウェブツールを役立てるための秘訣」とい …
宮城県松島で開催されたBiohackathon2014に参加してきました。目標にあげた、複数のマシンに分かれてやっているAOEのデータ更新の仕組みの統合化とgithubでの公開は達成しました。そして、データ更新も開発者がいる …
自家製BLAST用DBから必要な配列エントリ取得の続き。 配列セットを作成したいときは2,3本でなく、数十本から数百本といったことが多いようです。
[shell] blastdbcmd -db oreno.aa -entry …
2014年11月10日〜14日までの丸一週間、宮城県は松島海岸のホテルでBioHackathon2014に参加中。ハッシュタグは #biohack14 。個人的には、現在複数のマシンに分かれてやってい …
シークエンスのクオリティチェックによく使われるのがfastQC。その詳しい説明はこちらに譲る。SRAにアーカイブされているデータに関してはあらかじめ計算したものがDBCLS SRAから利用可能だ …
次回に引き続き、今回も発表させていただく。ただ前回のようにいつもの話じゃなくて、新ネタ披露の場としてみなさ …
割と欠かさず参加してきたJapan Spotfire User Group Meeting(JASPUGM)。今回は久しぶりに話す機会を頂きました。内容的には普段から各地で話し …
処理したい生データ(CEL.gzのファイル)だけを実行するdirectoryに集めて、justRMAを実行するのであるが、これらはとくにgzip圧縮を解凍する必要はなく、圧縮されたままでも実行されるようである。同じ生 …
GEOは遺伝子発現データのアーカイブで、再利用できるデータの宝庫である。だがしかし、多くのユーザがデータをdepositしてきているためファイル名などに一貫性がなく、コンピュータでの一括処理に困ること …
9/5に表題の講習会の講師を務めてきました。普段、日本各所で行っている統合データベースの普及利用促進のための1-2日開催の統合データベース講習会AJACSとは異なり、NGSの速習コース(とはいえ、2週間がっつり)ということで気合の入 …
あるホストから別のホストまでのネットワーク経路をリスト表示するコマンドtracerouteの今風版のmtrなのだが、homebrewで [shell] brew install mtr [/shell] で簡単にインスト …
論文reviseの際などには、某論文のコピペの可能性を示唆したあのツールがもちろん役に立つ。しかしながら、以下の様な行番号が付い …
Bowtieなどで単にゲノムマッピングした結果(sam/bam形式)を各位置ごとに数値で表現してみたいというときに。マシンパワーと出力されるデータ量の制限で10塩基刻みでwigに変換するには [shell] samtools mpileup …
BLASTでヒットがあったエントリの配列データを切り出してきたい時はままあるかと。公共データベースのエントリならtogowsのRESTで取得するなり、ググるなりNCBIで検索するなりで配列データにありつけるかと思います。ところが、自分で作成したDBに対してBLASTした場合にはそうもいかないことがあるわけで。その場合どうする …
某所の講習会でファイルの共有を(バックアップで)やっておく必要が出てきたので、新しいレポジトリを作成する必 …
バイオインフォマティクス人材育成カリキュラム(次世代シークエンサ)速習コースの講師で「配列解析基礎」を担当。そ …
IGV(Integrative Genomics Viewer)をいじってみた。まずは、統合TVの基本編の方を見て。ダウンロードするときに所属機関の記入が必須の模様。'IGV …
他の方々の使い方を垣間見れて参考になった。公共データベースを利用して、という使い方はそれほどメジャーではなかったものの、そういう要望も出て …
DBCLS SRA Metadata Search の結果をJSONで取ってくるのを教えてもらったので、備忘録的に。
まずは出力されるJSONを処理するコマンドとして、jqをインストールしておく。
[shell] brew install -v jq [/shell]
で。SRAデータの中で、Study typeが'Transcriptome'、キーワード …
[http://www.pythonware.com/products/pil/](http://www.pythonware.com/products/pil/)
から入手できるとのことで、 Python Imaging Library 1.1.7 Source Kit (all platforms) (November 15, 2009) をダウンロード。5年近くアップデートされていないようで、libjpegもfreetypeもすでに入れていたのだが [shell] python setup.py …
「実践コンピュータビジョン」(原著: Programming Computer Vision with Python)を本屋で手にとってみてから購入。次の展開にむけた体力づくりのため …
前のエントリのSeleniumとPhantomJSを使ってブラウザを起動しないでスクリーンショットを撮るスクリプトの汎用化をpythonの勉強がてら。
[shell] python scsho.py "http://sra.dbcls.jp/" [/shell]
以下のスクリプトをscsho.pyとして、コマンドライン引数としてURLを入れることでそのページのスクリーンショットがscshoXXXXX.pngというファイル名で保存されるようにした。XXXXXはそのスクリプトを実行した時のpid(プロセスID)。
[python] import …
ウェブブラウザのスクリーンショットは画面の大きさしか撮れないのだが(当たり前)、ポスター発表の際に縦長のそ …
昨日7月18日(金)に、東京有楽町東京国際フォーラムにて。今回のテーマは「創薬研究初期におけるデータの活用」。ライフサイエ …
研究者としての情報は、大学院時代から研究室で自ら立てたウェブサーバで発信してきました。ソフト的には、最初は …
Mishima.sykというライフサイエンス業界な勉強会に参加してきました。その名の通り、2014年4月からの職場である三島近辺のその業界の勇士^H^H有志たちの勉強会です。職場が引っ越す前に開かれた、前回の第2回目に参加させてもらって本業との意外な接点を認識し(もちろん、以前から知ってはいたものの…)、積極的に …
7/3-4と遺伝研のリトリートに参加させて頂いて参りました。遺伝研からバスで40分ほどの御殿場高原時之栖にあるホテルがリトリートの会場。リトリートとは、「仕事や家庭生活等の日常生活から離れ、自分だけの時間や人間関係に浸る …
6月26-27日の二日間にわたって、今年度も遺伝研研究会をオーガナイズしました。正式名称は国立遺伝学研究所2014年度研究会「塩基配列データアーカイブをフ …
かつては塩基配列を解読したらそれをINSDC(International Nucleotide Sequence Database Collection; DDBJ/EMBL(ENA)/GenBankのこと)に登録してから論文を投稿するという流れで研究が …
統合牧場の郊外への移転が始まりました。一ヶ月のモラトリアム期間を経て、2014年4月からは静岡県三島市にある国立遺伝学研究所にその場を移します。
統合牧場の歴史は、統合TVを作成して頂く近隣の大学院生RA(Research Assistant)さんや …
ランチョンwrap-up。特別、前に出て報告はしなかったものの、*Author'sサービスから他のサービスへの導線づくりは複数の手段で進められていくことに。乞うご期待!
昨日のツケ。筋肉痛でボロボロだったが、*Author's centralプロジェクトの実装を開始。実例を作らせていただいた。HIF-1αにマウスイン(hover)、クリックすると…。DBCLSの別のサービス(RefExやAllie)へのリンクが …
いいだランニングクラブに参加。宿舎から会場までの往復5km/30min。さらに会場までバスに乗らずにウォーキング、2.5km/30min …