IDなきデータ
Written by bonohu in misc on 月 10 7月 2017.
IDがない場合にどう関連づけるか。生命科学系の遺伝子のデータの場合はそれを塩基配列の類似性検索でなんとかなるが、そうでない場合にそれをどうするか。「Ontology使えよ」が真っ先に言いたくなるセリフだが、それを使わないで大量のデータがすでに作られてしまっている場合にどうしたらいいか。 その後もいろいろ議論して、その果てに出てきた言葉は、「わたしので作りました」。
'Mishima.syk #10'
Written by bonohu in misc on 日 09 7月 2017.
今回は沼津駅北口プラザヴェルデにて開催された Mishima.syk #10 に参加。
まずは、勉強会のページのお昼ガイドにあった沼津駅北口の千楽を攻める。怖いもの見たさで、ポークソテーに挑戦。出てくるまでかなり待たされたものの、値段相応な満足のいく肉が出て来た。ソースの味も素晴らしかった。次回も別メニューで攻めてみたい。
[caption id="attachment_3820" align="aligncenter" width="640"]
ポークソテーライス1700円也[/caption]
そして、勉強会本体。今回はテーマが決められておらず、それぞれに好きなことを話す形。自分は、最近データ解析をやっている時にふと再発見したBiocondaについて紹介。なぜBiocondaに行き当たったか、その経緯や、Homebrewでは何故ダメなのか、そういうところにみなさん食いつきがよかったと話していて感じた次第。
自分の発表以外にさまざまなことを教えてもらったが、十分に咀嚼しきれていないので、これからじっくり時間をかけて学んでいきたい。
懇親会は南口にできたビアバールにて。最近できたビアバールのようだが、種類も多く、わが故郷の箕面ビールもあって大変ご機嫌。幹事の皆さん、お疲れ様でした。
そして翌日、自分の発表の最後で参加を呼びかけたサテライトミーティング的な温泉インフォマティクス研究会を開催。熱と浸透圧刺激のみならず、富士山も時折見れる開放的な空間でいろいろと議論。あー、楽しかった …
Biocondaを使ってみた
Written by bonohu in misc on 土 08 7月 2017.
(このエントリは、Mishima.syk #10のライトニングトークのネタです)
Biocondaとは、
Bioconda is a channel for the conda package manager specializing in bioinformatics software.
とのことで、Bioinformaticsソフトウェアに特化したconda package mangerのチャンネル(bioconda.github.io)。Pythonで書かれたツールだけかと思ってスルーしていたのだが、実際はPythonに限らず、なんでもあるところがこれまでしてきた大きな誤解であった。
conda必須なので、入ってなければ、まずMinicondaを入れる。macOSの場合64bitしかないから楽だが。しかしながら、ここでもpythonのバージョン問題再発。2か3か、それが問題だ。とりあえず3で。ダウンロードして落ちてくるのはシェルスクリプトなので、普通に実行。
sh ~/Downloads/Miniconda3-latest-MacOSX-x86_64.sh
ライセンスに同意して、すぐにインストール完了。そして …
rsem-tbam2gbam
Written by bonohu in misc on 金 07 7月 2017.
RSEMの計算、TPMやFPKMなどしか見ないだろうと思っていたが、やっぱりgenomeに対するアラインメントを見る必要が出てきて。もちろん、--output-genome-bam をつけて再計算すればそれで良いのだが、それはそれでまた時間がかかる。長い計算の時にログを見ていた時に変換するコマンドがあったような…見つけられないので再計算しかけたが、その最中にログを見ていてわかった。rsem-tbam2gbamがまさにそれである! [shell] rsem-tbam2gbam -p 4 ref/hogenome_RSEM_ref hoge.transcript.bam hoge.genome.bam [/shell] 再計算する必要なく、transcript.bamからgenome.bamへと変換できる。RSEMのreferenceを指定する必要があるが。また、threadオプションもあるので、それも指定するとさらに実時間の実行時間は短くなる。 ただ、これで生成されたgenome.bamはIGVで見るには、sortした上でindex作る必要があるので注意。
Sashimi plot
Written by bonohu in misc on 木 06 7月 2017.
IGVをいじっていたら、右クリックメニューにSashimi plotなるものを発見。'sashimi plot'でPubmed検索しても1件しかでてこなかったが、'sashimi plots'にすると3件出て来て、その一つ(Quantitative visualization of alternative exon expression from RNA-seq data)によると、
a quantitative visualization of aligned RNA-Seq reads that enables quantitative comparison of exon usage across samples or experimental conditions
ということで有用そう。'sashimi plot'でPMC検索すると125件もヒットして来て、たしかに使われている印象。[caption id="attachment_3801" align="aligncenter" width …
Good news
Written by bonohu in misc on 火 04 7月 2017.
長年の懸案だったGeneChipのソレとRNA-seqのソレをついにjoinできた。これでさらに精度良く、目的の遺伝子群が抽出できるはず。 また、それ以外にもいい知らせが。2017年後半戦、ますます楽しくなってきた。
横方向のcat
Written by bonohu in misc on 月 03 7月 2017.
RSEMの結果ファイルからFPKM値で複数のサンプルの結果を抜き出したいとき。current directoryすべての結果ファイルに対してそれをしたい場合、以下のようなシェルスクリプトで。実行する前にFPKMというdirectoryを作成して、そこに処理したファイル群が書き込まれるようにする。
1 2 3 4 5 6 | |
RSEMの結果ではFPKM値は左から7番目のカラムに書き込まれているからそれをcut -f7で抜き出すようにする。 これらの結果だけではFPKM値のみで、遺伝子名とかの情報が入らなくなるので、左に来るべきファイルを以下のようなコマンドであらかじめ作っておく。
1 2 | |
十年一昔
Written by bonohu in misc on 土 01 7月 2017.
本日2017年7月1日で、ついにライフサイエンス統合データベースセンター(DBCLS)に来て丸10年が経った。あの日、まだプレハブの仮住まいだったDBCLSから歩いて本郷三丁目駅に向かい丸ノ内線に乗って東京駅に。まだ絶賛工事中だった東京駅地下の黒塀横丁に現在は同僚となっているN氏を呼び出し、すぐにDBCLSに参加するよう呼びかけたのが昨日のことのように思い出される。
生命科学研究を続ける上で、まずやらねばならないインフラ整備と思って、データベース統合化に関わってやってきたつもり。まずはDBをどう使ったら良いかを伝える手段として、当時ブレイクしそうだったYouTubeも利用した動画チュートリアル統合TVを始め、現在では約1200のコンテンツに。DB利用技術の普及を目的に統合データベース講習会AJACSを全国でやろうということで始めた。現在ではJSTがAJACSを引き継いでくれていて、それと合わせると日本の都道府県の半分以上で講習会をこの10年で実施して来たり。「教育」をやれと言われた文部科学省委託研究開発事業だった当初(2007-2010年度)の使命はある程度は果たせたかなと。
データベース統合化事業としてNBDCができてJST管轄となってからは、DBCLSは統合DBのR&Dとして、とくに自分は大規模データ利用技術開発に注力するように。この10年でものすごい進化を遂げた塩基配列解読手法によるデータのアーカイブ(SRA)の目次とその検索インターフェースづくりは、世界に3つしかない公式にSRAをアーカイブする機関の一つであるDDBJの協力の下、大きなプロジェクトとなりつつある。また遺伝子発現関係のウェブツールも、リファレンス遺伝子発現データ(RefEx)を作ろうという試みがだんだん大きくなって来て、理研FANTOMプロジェクトとの共同研究に発展。そして、遺伝子発現目次(AOE)もオミックスデータ目次に発展していく流れ。SayaMatcherでやっていたことをsuffix arrayで …
2017年前半戦終了
Written by bonohu in misc on 金 30 6月 2017.
去年のこの日にも書いた振り返りエントリ。 2017年前半を振り返って。出張による外泊は、28泊と昨年前半の43泊より減少。出張を抑制、データ解析や物書きに取り組もうとしている姿勢が数字に出た感。これは、自分のやるべきことを方向付けて実行に移した結果と言えよう。これは、2017年年頭に書いた目標の一つで、出張外泊数を抑えることもその一つであった。 また、もう一つの目標であった、文章を書くことをさらに習慣づけtwitter以外の手段による情報発信は、2017年6月末の時点では地下に潜っているプロジェクトも含めて、順調に進んでいるかと。乞うご期待。
Differential Expression Analysis using EBSeq
Written by bonohu in misc on 木 29 6月 2017.
RSEMによるRNA-seqの続き。RSEMデータ解析チュートリアルにある発現差解析方法。 rsem-run-ebseqとrsem-control-fdrはmake installしても/usr/local/bin以下にインストールされないので、注意。hoge1とhoge2の2つのサンプルの発現差を解析する場合、以下のように。 [shell] rsem-generate-data-matrix hoge1.genes.results hoge2.genes.results > hogeMat.txt ~/Documents/src/RSEM-1.3.0/rsem-run-ebseq hogeMat.txt 1,1 hogeMat.results ~/Documents/src/RSEM-1.3.0/rsem-control-fdr hogeMat.results 0.05 hogeMat.de.txt [/shell] 自分の環境ではRSEM関係のスクリプトは~/Documents/src/RSEM-1 …
真夜中のaccept
Written by bonohu in misc on 水 28 6月 2017.
前日に投げてたrevisionへのrevisionが日本時間の夜に。共同研究者に取り急ぎ連絡しておくとすぐに返事が来て、re-resubmitできる状態になったので、思い切ってすぐに。そうしたら、これまた寝る直前に返事が来て、よく読むと基本accept。でもまだ小さな修正を言われて直さないといけないというオチつきだったが。
参加者リストの集計
Written by bonohu in misc on 火 27 6月 2017.
先日参加した学会の参加者リストが公開されていた。ナンバリングされていたため、最後の行を見る限り255で、255名の参加者がいたらしいことがわかるものの、その内訳は分からない。テキスト版は提供されていないが、幸いこのページをコピー&ペーストすることで情報が取れそうな素直なページの模様。そうして得たファイルをlist.txtとして、自ら集計することにする。 参加者の国は左から5カラム目にありそうということで [shell] cut -f5 list.txt | less [/shell] で眺めて見る。確かに抽出できている。そこで、さらにワード別カウントをしてみる。
1 2 3 4 5 6 7 8 | |
研究データ利活用協議会公開シンポジウム ～オープンサイエンスを巡る世界の最新動向～
Written by bonohu in misc on 月 26 6月 2017.
標題のシンポジウムに参加して来た。研究データ利活用協議会(Research Data Utilization Forum(RDUF、読み方不明))とは、わが国における研究データの利活用を推進する活動を行う集まりとのこと。今回NBDC/DDBJセンター長の高木利久先生が話すし、塩基配列DBからデータを再利用して研究している我が身としては関係あるかな、ということで出てみたが、参加してみるとそれ以外にも多面的に関わりがあった。 まずDOI(Digital Object Identifier)。普段、論文の引用だけでなく、最近では統合TVの動画に対しても個別にDOIがつけられてる。そのDOIを割り振ってくれているのが、今回の集まりの事務局のジャパンリンクセンター(Japan Link Center(JaLC; じゃるく、と読むらしい))とのことで。日本でDOIを割り振れるのはここだけとのこと。 また、先週SPARC JAPANのキックオフミーティングでご一緒した人が数多く参加していたり。参加していたというよりは、演者であったり、ディスカッションリーダーだったり、活躍されていた。 最後のグループディスカッションでは、「データレポジトリの企画運営、メタデータ検討」のグループに。もっといろいろ話しを聞きたかったが、時間の制約でそれも叶わず …
意図しないプリンター出力
Written by bonohu in misc on 土 24 6月 2017.
出張先でプリンターから出力する必要があり、プラインター設定をちゃらっとして出力したものの。A4に打ち出したはずなのに90度回転したレイアウトで打ち出される。レイアウト設定やそれ以外の設定もチェックしてもだめ。その文書がまずいのではと思って他の論文PDFを印刷してみても同様。しかし、他の人はちゃんと打ちだせるようなので、悪いのは自分のコンピューターの設定ということでいろいろ調べた結果。
このプリンターを追加する設定画面で「プロトコル」にIPP (Internet Printing Protocol)を選んでしまったからで、LPD (Line Printer Daemon) を指定するとうまくいくということが判明。設定重要。
SPARQLthon57 day2
Written by bonohu in misc on 金 23 6月 2017.
2日目は開発しているserviceの検索インターフェースいろいろ打ち合わせをいくつか。この会では有識者がいて、そういった話を脇で聞いてくてて、「車輪の再発明」をせずにすむようなツッコミをいただくこと多数なのが醍醐味。さらにそこからこれまで知らなかった意外な有用情報が出てくる。今回の自分の場合、togogenomeの使い方を勘違いしていたことを知るなど。ちゃんとヒトversionが機能していたのだ。例えば、togogenomeのHIF1Aのエントリ。 また、SPARQLのexamplesを試して「写経」するなど。習うより慣れよ、ということで。SPARQLthon感の高まり。
SPARQLthon57 day1
Written by bonohu in misc on 木 22 6月 2017.
AOEでの検索結果から取得すべきSRAのRUNのIDを探し当ててSRAファイルを取得し、それらを並列にFASTQに変換して、トリミング後、発現定量して、発現差データ作成するのを並行に進めつつ、pfastq-dumpのバグ出しから。
2017 SPARC Japan ワーキンググループキックオフミーティング
Written by bonohu in misc on 水 21 6月 2017.
今年度(2017年度)も引き続き、国際学術情報流通基盤整備事業(SPARC Japan)のセミナー企画ワーキンググループのメンバーとして。そのキックオフミーティングで一ツ橋の国立情報学研究所へ。今年もSPARC JAPANセミナーの開催に貢献することに。
並列版 fastq-dump
Written by bonohu in misc on 火 20 6月 2017.
探したらやはりあった、並列版のfastq-dump。これはpythonによる実装でインストールがちょっと…。さらに探したら、身近にbashでのimplementationを公開している方がいたw。こちらのほうがインストールが楽じゃないかと。そういうわけで、
pfastq-dump --threads 8 --outdir fq/ DRR045547.sra
てな感じで。pfastq-dumpはcurrent directoryに一時ファイルを作る。HD上で実行するとそれはおそくなるかもしれないので、SSD上のどこか、たとえば/tmp/などを指定したら早くなるかもということで。< ペアエンドのファイルに対しては、以下の例のように--split-filesを指定。
pfastq-dump --threads 6 --outdir fq/ DRR068893.sra
--tmpdir /tmp/ --split-files
ベンチマーク取っていないのでどれぐらい早くなったかは現状不明。でもpbzip2と同じく、普段使うコマンドとしてfastq-dumpに置き換えて使っていくつもり。
HIF-1-mediated suppression of mitochondria electron transport chain function
Written by bonohu in misc on 月 19 6月 2017.
confers resistance to lidocaine-induced cell death wordpress_id: 3660 categories:
2006年3月にがんとハイポキシア研究会に初めて出てからすでに10年以上経ったが、ようやくこの研究会つながりの共同研究による論文(doi: 10.1038/s41598-017-03980-7)がpublish!詳しくはDBCLSニュースおよび関西医科大学のプレスリリースを参照。 がんとハイポキシア研究会で知り合ったさまざまな方に研究協力的な活動は細々としてきてはいたが、これまでは論文に貢献するまでには至らず。今回、SRAにあるリードの再利用データ解析というところでやっとそのレベルにまで到達。具体的には、SRAにあるRCC4細胞VHL+/-のRNA-seqデータを再解析して、実験データのsupport evidenceとした。詳しくはこちらを。初めてがんとハイポキシア研究会に参加した際、私の口頭発表の座長をしてくれたのが今回の論文のlast & corresponding authorなのは単なる偶然ではないだろう。 重要なのは、私がデータ解析を全て担当したわけでなく、DRY解析教本でRNA-seqデータ解析法を勉強してもらって実際にやっていただき、わからなかった点と最終的な可視化をコンサルした点。つまり、私がすべてのデータ解析から引き受けてやったわけではない。この種の共同研究スタイルならこちらは破綻せずスケールしそうなので、続けてやっていきたい …
道具の研磨
Written by bonohu in misc on 日 18 6月 2017.
日頃よく使う「道具」のメンテナンス。システム標準のだと効率が悪かったりするので。 このブログでも何回か出てきたgzipとbzip2の並列版、pigzとpbzip2が前の名前で呼び出しても使われるように/usr/local/binにリンク張ったり。
またGNUのtarをgtarではなく、tarという名前で使うやり方、 [shell] brew install -v gnu-tar --with-default-names [/shell] でtarも置き換えてしまったり。もちろん、rsyncも。 [shell] brew install -v rsync [/shell] ファイル操作は普段からよく使うので、「研いで」おきたい、ある程度は(これが重要)。
rsem-calculate-expression for human
Written by bonohu in misc on 金 16 6月 2017.
ようやく、RSEMの実行。bowtie2でだが、以下のコマンドで。 [shell] time rsem-calculate-expression -p 12 --paired-end --bowtie2 --bowtie2-path /usr/local/bin --estimate-rspd --append-names --output-genome-bam hoge_1.fq hoge_2.fq rsem-bowtie2/human rsem_out/hoge [/shell] -pに12設定したが意外に時間がかかった。
real 333m27.062s
user 1795m57.676s
sys 98m26.410s
実時間で約5時間半。そうでなかったらuser+sysで約31.5時間だから、並列化万歳といえよう。。
rsem-prepare-reference for human
Written by bonohu in misc on 木 15 6月 2017.
リファンレンスゲノムとGTFの両方Ensemblから調達。実行時点で最新のEnsembl89を使って検索用のリファレンス作成。 [shell] time rsem-prepare-reference --gtf Homo_sapiens.GRCh38.89.chr.gtf --bowtie2 --bowtie-path /usr/local/bin Homo_sapiens.GRCh38.dna.toplevel.fa rsem-bowtie2/human [/shell] 実行時間はわりとかかる。
2406.83s user 40.73s system 99% cpu 40:51.46 total
これと並行してやっていた実行するためのサンプル配列を取得して、FASTQをdumpして、トリミングするほうがずっと時間結構かかるという罠。
GFF2GTF
Written by bonohu in misc on 水 14 6月 2017.
RSEMを実行する際には、リファレンスを作成する必要がある。それをやるrsem-prepare-referenceコマンドは、GFF(version3)はダメで、GTFしか受け付けない模様。しかもこのGTFのチェックが厳しく、大文字小文字も区別するようだ。その辺を編集しないといけないGTFファイルもあったり。
GTFはGFFのversion2ということであるが、現在よく配布されているGFFはversion3のそれであることが多いようで、違うのである。そこでその変換スクリプトがないかなとググったら、やっぱりあった。
https://github.com/zachcp/ea-utils/blob/master/clipper/gff2gtf
このスクリプトで変換したもので実行するとうまくいった!
(後日談)EnsemblではGFF(version3)以外にGTFでも公開されていることにその直後に気づいた…。最初からこちらを使えばよかった…。
RSEM with bowtie2
Written by bonohu in misc on 火 13 6月 2017.
RSEM (RNA-Seq by Expectation-Maximization)は、内部からaligner programを呼び出して使うタイプの発現定量プログラム。 しっかりしたチュートリアルが用意されていて、それに従って実行。 まずはRSEMで使うリファレンスを準備。
1 2 3 4 5 | |
alignerとしてSTARも選べるが、ゲノム配列が発展途上の非モデル生物のゲノム配列ではSTARのindex作成がうまくいかなかった(メモリ不足になる)ため、今回はチュートリアル通り、bowtie2で。 そして、実行。
1 2 3 4 5 6 7 8 | |
MacPro不具合
Written by bonohu in misc on 月 12 6月 2017.
週末火を落として十分に冷却して見たものの、やはり起動が途中で止まる。そして、shiftを押しながら起動のセーフモードなら立ち上がるのだが、普通に立ち上がらないという状況。 いろいろ調べて見て知った起動時にDを押し続けると立ち上がるApple Hardware Testをやってみたが、とくに異常なし。 そういわけで、最終手段としてcommand + R でリカバリーモード起動して、再インストールしてみた。
MacPro起動せず
Written by bonohu in misc on 金 09 6月 2017.
計算途中に急に再起動がかかる。そして、再起動せず…。一回休みorz
transdecoderがコケる
Written by bonohu in misc on 木 08 6月 2017.
しばらくぶりにtransdecoderを実行したところ、TransDecoder.Predictコマンドでコケた。 エラーメッセージ曰く、
% TransDecoder.Predict -t Trinity.fasta
CMD: /usr/local/Cellar/transdecoder/3.0.1/libexec/util/get_top_longest_fasta_entries.pl Trinity.fasta.transdecoder_dir/longest_orfs.cds 5000 > Trinity.fasta.transdecoder_dir/longest_orfs.cds.top_longest_5000
CMD: /usr/local/opt/cd-hit/bin/cd-hit-est -r 1 -i Trinity.fasta.transdecoder_dir/longest_orfs …ゲノムリスト
Written by bonohu in misc on 水 07 6月 2017.
解読されたゲノムデータのDBとしては、Genome OnLine Database (GOLD)が有名だが、この種のデータの本家NCBIのそれもかなり充実しているのを先日の学会参加で知った。 Genome Listがそれ。Organism/Name以外に、Kingdom, Group, Subgroupのほか、(Genome) Size, Chr(染色体数), Organelles, Plasmidsの数のほか、Assemblyの数がメタデータとして表示されている。 各種メタデータでのsortがクリックだけで可能で、例えばヒトよりもゲノムサイズが大きな生物種はわずか数クリックでリストが得られ、しかも絞り込んだ結果をタブ区切りやコンマ区切りテキストでダウンロードできる。 さすがにその生物種の和名までは出ていないが…。
GATKのライセンス変更
Written by bonohu in misc on 火 06 6月 2017.
ちょっと前の話題になるが。GATKのバージョン4がGATKのブログで紹介された。それと同時に、GATK4 is completely open sourceというブログエントリもポストされ、GATKのラインセンスが変更となるようである。このポストのコメントを見る限り、商用でも有償ライセンスが不要になる模様。 ま、普通にアカデミアの研究で使っている人には変わりないわけであるが、オープンソースになったことでブラックボックス感が薄れ、また必要であれば自分で改変することも可能となる点では大きな変化である。Congratulations!
データベースを作るということ
Written by bonohu in misc on 土 03 6月 2017.
リトリートに参加してちょっと引っかかったことがあった。データベース(DB)を作るということに関する認識の違いである。 「DBを作る」というのは、おそらくこれまでのやり方では解釈できないぐらい多くのデータを集めたから、なのだろうが、それ自身が目的になってしまってはいないだろうか? そういったDBは、どう使うかを考えて作る場合とそうでない場合がある。後者のような場合には、そういったデータをインターネット上で公開したい、ということであろう。それならTogoDBを使えばできる。そのためにライフサイエンス統合データベースセンター(DBCLS)でこういったツールが作成され、サービスされているわけである。DBCLSはこのTogoDBのような研究開発を専門とするセンターであり、個別のDB作成を代行するセンターではない。 前者のような場合にはどう使うかを教えてくれないことも多い。まあ、そりゃそうだろうけど、それなのにどうしたらいいか教えてくれ的なことを言われたこともあり、大変困惑した経験がある。ひょっとしたら、独自の検索やかっこいいウェブサイトを作りたい、という意図もあるのかもしれない。はたまた、利用可能な公共DBとリンクしてマッシュアップしたコンテンツを、ということもあるだろう。それらを個別に考えるのまではさすがに難しい。2010年代の今は、そこまで含めて生命科学の研究であろう。 仮に作ったとしてもその後の更新はどうするのか?セキュリティ対策も継続してやっていかなければならない。つまり、基本引退するまでそのDBと付き合う覚悟が必要なわけである。生命科学系DBアーカイブというサービスがあり、スプレッドシート型のデータやそれに対応した画像データ等を永代供養してくれるサービスがある。ただ、この場合のDBはそれらの型が決まったデータであって、独自に作り込んだウェブサーバごと …
NIG retreat 2017 2日目
Written by bonohu in misc on 金 02 6月 2017.
引き続き。研究支援としてやっている事業に対して、事あるごとに説明して理解を深めてもらういいチャンスだった。やはり、「看板」として、論文をコンスタントに出しているのが効いている気がする。あと、DRY解析教本の執筆・監修やったのも地味に知られているっぽい。 ポスター発表に来てくれた人も前回より断然多く。そのほとんどが学生さん。あとで「あれが契機だった」という日が来るに違いない。
NIG retreat 2017 1日目
Written by bonohu in misc on 木 01 6月 2017.
帰国して次の朝から遺伝研リトリートへ。 情報発信していることは思っている以上に見られていることが判明(このブログもw)。もっと研究交流の余地があることもわかった。今日のdiscussionが今後のcollaborationにつなげられればいいな。
PAG ASIA 2017 3rd day
Written by bonohu in misc on 水 31 5月 2017.
最終日。やはり、来たら来ただけ、学ぶことがあった。PAG終了後同じホテルで開催された 2017 PacBio APAC User Group Meetingもフライトの時間の関係で最初だけしか出れなかったものの、いろいろと学ぶことだらけ。
学而時習之 不亦説乎
PAG ASIA 2017 2nd day
Written by bonohu in misc on 火 30 5月 2017.
海外なのに時差が全くないのは素晴らしい。シャワートイレだし、メシマズじゃないし。信号もそっくりだが、右側通行なので車にはぐれぐれも注意して。 そして、自分の発表が午後イチに。思ったよりも早めに終了してしまった感。DORとの連携を進めねば。
PAG ASIA 2017 1st day
Written by bonohu in misc on 月 29 5月 2017.
2017年国立遺伝学研究所 国際シンポジウム 最終日は研究者向けの英語での講演。その後、中座してNHDへ。実は今日から始まっているPAG ASIA 2017へ。 旅程も短く、油断しているのか、いつもは持って行くノイズキャンセリングヘッドホンを持ってくるの忘れていたり。油断しているわけではないのだが。締まっていかねば。
DDBJ 30周年記念シンポジウム
Written by bonohu in misc on 日 28 5月 2017.
2017年国立遺伝学研究所 国際シンポジウムとして、DDBJ 30周年記念シンポジウムが三島にて。 Janet ThorntonさんはBritish Airwaysのシステム障害のため、飛行機が飛ばず来れずにキャンセルとのことで残念だったが、Peer Borkさんのメタゲノムの話は大変参考になった。また、ヒトゲノム計画を牽引されて来た榊佳之先生の話は、現在の研究においても示唆を含む内容だった。
[「初期の自動車が馬のように上手に走れないから価値がないと言っているようなものだ。このレフェリーの評価の間違いは歴史が示すであろう」](https://twitter.com/bonohu/status/868691804811440128)
[研究費を獲得するための応援の「外圧」と判断した](https://twitter.com/bonohu/status/868695024136892417)
[“作成されたデータについては作成から24時間を基本として全て公開して全ての研究者が自由に利用できるようにするという項目を含む、バミューダ原則”](https://twitter.com/bonohu/status/868695964801875968)
とくに、みんなと画一的である必要はない、いろんなタイプの人が居ていい、という高校生へのメッセージは響いて欲しいな、と。また、我らが統合DBの高木利久先生による話は
[「DBは研究のインフラでありフロンティア」](https …
All-in-one 合同講習会 2017
Written by bonohu in misc on 土 27 5月 2017.
生命科学データベースの構築・管理・運営を担う
の4つの組織が連携して、ここ数年合同講習会を開催してきたのが、今回は三島での開催。自分は、それの統合TV撮影部隊として業務参加。
第一部は、前日まで行われていたINSDCメンバーのうち、NCBIの3人とEBIの1人が今日まで残ってくれて素晴らしい話をしてくれた。その感動したフレーズをtwitterで流した。
[データベースは学問のインフラ=公共基盤であり、普段無意識に使って居るが、使えなくなって初めて重要性に気がつく](https://twitter.com/bonohu/status/868321448359636992)
[全世界の科学研究のためにオープンデータ=科学情報の公開・共有を](https://twitter.com/bonohu/status/868322604322398208)
[あなたのデータの最もよい使い道は、あなた以外の他の誰かが思いつくかもしれない](https://twitter.com/bonohu/status/868332772896555008)
とくに追加説明はいらないだろう …
Spliced Transcripts Alignment to a Reference (STAR)
Written by bonohu in misc on 金 26 5月 2017.
また別のtranscript alignerのSpliced Transcripts Alignment to a Reference (STAR)によるgenome mappingを試してみた。まずは、STAR用のReference genomeのindex作成から。 [shell] time STAR --runThreadN 12 --runMode genomeGenerate --genomeDir genome4star --genomeFastaFiles hogenome.fa [/shell] メモリが足りないといわれたら、--limitGenomeGenerateRAM=3200000000のようなオプションを追加して。パラメータの渡し方が他とは違って=で指定しないといけないらしい。 そして、mapping本体は以下のように。 [shell] time STAR --runThreadN 24 --genomeDir genome4star --readFilesCommand pigz -dc --outFileNamePrefix hogenome --readFilesIn fuga_1.fq …
Genome-guided Trinity
Written by bonohu in misc on 木 25 5月 2017.
ゲノム配列も読んである場合に使えるGenome-guided Trinity De novo Transcriptome Assembly。まずは、TopHatやSTARなどでリードをゲノム配列マッピング(RNA用)して、その結果のBAMファイル(以下の例ではhogenome.bam)でde novo transcriptome assemblyを実行できる。 [shell] time Trinity --genome_guided_bam hogenome.bam --genome_guided_max_intron 10000 --max_memory 64G --CPU 24 [/shell]
SAMファイルをmerge?
Written by bonohu in misc on 水 24 5月 2017.
SAMファイルをmergeしてからBAMファイルに変換してsortしようとしたが。一度、BAMに変換してからsortするしかないのか? まず1ファイルづつ、SAM->BAM変換。 [shell] for f in .sam; do g="${f%.}" time samtools view -@ 4 -bS $f > $g.bam done [/shell] それらをmergeして、そのままsort。 [shell] time samtools merge -@ 4 - *.bam | time samtools sort -@ 4 -o merged.bam - [/shell] sortする際のtemporary領域を/tmp以下に指定した方がなおよいかも。具体的には-T /tmp/hogeのオプションををsortのコマンドに足す。
StringTie
Written by bonohu in misc on 火 23 5月 2017.
RNA-seqのためのtranscript assemblyとquantificationのプログラムStringTie。またオプションが変わっているかもしれんが、前に動かした時のそれ。 [shell] stringtie fuga.bam -p 4 -o fuga.gtf -G hogenome.gff -A fuga_abd.txt [/shell] -Gで指定しているhogenome.gffはGuideとなるreference annotation。-Aのそれがgene abundance estimation。-oでassembled transcriptsの出力を指定(GTFファイル)。
hisat2
Written by bonohu in misc on 月 22 5月 2017.
hisat2でreference genomeにmappingする場合。hisat2のウェブサイトにすでにindexずみのそれがある場合はしなくていいが、まずはindex作成。hisat2-buildコマンドにて。 [shell] hisat2-build -p 4 hogenome.fa hoge [/shell] そして、実際のmapping。 [shell] hisat2 -p 4 -x hoge -1 fuga_1.fastq -2 fuga_2.fastq -S fuga.sam [/shell] 出力はSAM形式であることに注意。
pip update
Written by bonohu in misc on 金 19 5月 2017.
pip updateコマンドはないので、pipで入れたパッケージのアップデートは以下のようにする。 [shell] pip3 list --outdated | awk '{print $1}' | xargs pip3 install -U [/shell] そろそろ、python3をデフォルトのpythonにして、version3系のpipをpip3と打たないで済むようにしたいところ。
ChIPデータのアノテーション
Written by bonohu in misc on 木 18 5月 2017.
近頃はChromatin ImmunoPrecipitation(ChIP)データの再利用がしやすくなっている。それらのデータをアノテーションしているDBとして、UCSC Genome BrowserのTrackにも入っているthe Open Regulatory Annotation database (ORegAnno)に注目していたが。現状temporalなページになっていて、だがデータはダウンロードできる状況。そのうち、復活するのだろうか?
SPARQLthon56 day2
Written by bonohu in misc on 火 16 5月 2017.
統合TVのコンテンツ(.movファイル)だけでなく、Togo Picture Galleryのコンテンツも生命科学系データベースアーカイブに移行。統合TV関連コンテンツの完全クラウド化が実現した。そしてついに、この日を持ってtdiary版統合TVウェブインターフェースが廃止となった。「togotv+キーワード」でググった時にそちらが優先的に出るのがずっと気になっていたのだが、今回の廃止でついに現在の三代目インターフェースに統一されることに。関係者の皆さん、おつかれさまでした! AOEの更新は結局終わらず、継続課題に。
SPARQLthon56 day1
Written by bonohu in misc on 月 15 5月 2017.
AOEの追加機能の計算をpythonでやろうとするが、データがでかすぎて思うようにできず。できる手段を探しつつ、データをまとめて減らすことも検討。 メタデータの仕様に変更があったようで、それの原因究明。やはり、これまで取れていたメタデータがなくなっている。どこからそれを取ってくるか、要検討。
転置するUNIXコマンド
Written by bonohu in misc on 金 12 5月 2017.
きっとあるだろうと思ったら、やっぱりググって出て来たこのページを参考に。 transposeというコマンドもあるらしいが、ここは手堅くawkで。とおもったら、メモリ不足で途中でkillされた。以下のdatamashコマンドを使うやり方だと数万x数十万の行列の転置が(少々かかったが)できた。 [shell] brew install -v datamash datamash transpose < matrix.txt > transposed.txt [/shell] いよいよpythonでのコーディング覚醒の悪寒。
みんなのPython勉強会#24
Written by bonohu in misc on 水 10 5月 2017.
みんなのPython勉強会に参加してきた。今回、奇しくも第24回目。月1回なので、ちょうど丸2年ということだった。 内容的にはそれぞれの方の会社で開発されているツールやそれにまつわる周辺情報。この種の会への参加が久しぶりだったので、勉強になったし、新鮮だった。
Mishima.syk#10開催打ち合わせ
Written by bonohu in misc on 月 08 5月 2017.
Mishima.syk開催打ち合わせで、三島広小路のあの店へ。その際の写真はこちらに。個人的には、生姜まみれのホタルイカが圧巻だった。次回はついに10回目のMishima.syk。いろんな意味で期待。
ぶらっとBLAT
Written by bonohu in misc on 日 07 5月 2017.
BLATはThe BLAST Like Alignment Toolで、UCSC Genome Browser のサイトにあるリファレンスゲノム配列に特化した配列類似性というか配列マッピングツールである。ゲノムランディングツールとも呼ばれる。だが、商用利用にはライセンスが必要なためか、便利なのだが広まっていない。そういうツールだからHomebrewにはまさか入っていないだろう、と。 ぶらっと [shell] brew install -v blat [/shell] してみたら、インストールが始まった…。商用でなければアカデミア、非商用、個人利用はライセンスいらない模様。ちなみに [shell] blat refgenome.fa query.fa output.psl [/shell] という感じで使い、出力はPSL形式で<kbd.output.pslに。BWAやbowtie、BLASTのように実行前に特別なindexingは必要ない。