遠隔作業が可能なので、時間のかかる処理を仕込みつつ。
fastq-dumpでヘッダを変えたFASTQでは、Trim Galore!(cutadapt)によるトリミングが失敗するようなので、仕方がなくTrinity(v2.5.1)が実行できるようなヘッダに書き換える以下のようなフィルタ(for_trinity.pl)を書いて処理。ペアエンドのみの対応。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | |
年頭恒例にしているその年の計。「2018年、かくありたい」
引き続き、ずっと取り組んでいるメインの仕事、公共DBの全レコードを対象としたデータ解析研究に力を注ぎ、懸案の仕事を論文化したい。
その上でそれを利用した研究を進め、グラントを獲得できるようにしたい。
SNSに割く時間を減らして、考えていることの情報発信をこのブログなど、他の便利ツールに頼らないやり方でより発信していきたい。
温泉インフォマティクス研究会を単独開催して、2017年の反省会。場所はいつものところに。頭の整理をするために、この温泉に度々来た2017年であった。
Bono本の構想もここで考え、湯船で考えた末に思いついたことを脱衣所でメモったこともあった。第2章と第3章を入れ替えた方が良いかもと思いついたのもこの温泉で考えた末だった。
今回はそういう構想を練るとかいうよりは、現在進行しているプロジェクトを頭のなかで整理して「やきなます」イメージで。優先順位の確認というか。「確認」ばっかりしていて進んでない気もするので、もっと2018年はせめて行かねばね。
三島に勤務しだした2014年から数えている「仕事で外泊」した日数。本日(12月28日)で仕事納め、というわけで、2017年の日数確定。 去年と同数の77泊。2014年50泊、2015年65泊、と年々増加してきたので、今年は抑制気味にしていたのだが、結局減らなかったという結果。さらなる抑制が必要。自重もだが。
前のエントリを書いたら、pfastq-dumpを作っている@iNutさんからまた別のFASTQファイルを生成するdockerコンテナを教えてもらった。
docker run --rm -v "$(pwd)":/data -w /data
inutano/sra-toolkit fastq-dump --split-files SRR1864696.sra
こちらの場合は、コマンドラインを見ての通り、すでにSRAファイル(.sra)を前もってローカルにダウンロードしておかねばならないが、この方がネットワークトラフィックも少なく、かなり高速である。前の例では約1時間かかった17Mreadほどのこれも3分程で。
また、この例のSRR1864696はPaired end readなので、ペアごとに別のFASTQファイルに分割する必要があるが、そのオプションである--split-filesも上記の例のように足せば問題なく反映される。
そして、データ取得も海外からではなく、日本の遺伝研にあるDDBJにあるSequence Read Archive(SRA) からダウンロードしてくることで高速になる(DDBJ sequence …
SRAデータの再利用で困っているのでよく聞くのが、FASTQファイルが得られないという声。FASTQファイルでの配布は新規にはされていないので、SRA(.sra)形式でのファイルを取ってきてfastq-dumpコマンドを実行する必要があるわけであるが、このコマンドのインストールが上手く行かなかったりする模様。
そこでdockerを使ってコマンドを直接インストールすることなく実行できるようにできないかと考えたが、やはりすでにやっている人がいた。
このページにある通り、SRR-ID.txtというファイルにrunのIDを改行区切りで書いて、dockerが起動している状態で
docker run -v '/Users/bono/Downloads':/tmp cyverseuk/fastq-dump SRR-ID.txt
のようなコマンドを実行するとfastq-dumpをインストールすることなしにそのrunIDのFASTQファイルがダウンロードできる。していたディレクトリ(この例の場合、/Users/bono/Downloads)の中に、SRA_downloadという名前のディレクトリが作成され、その中にFASTQが生成される。ただ、物凄く容量が大きいうえに非圧縮のテキストファイルがそのままダウンロードされてくるため、(17Mほどのreadであったが)1時間ほどダウンロードにかかったが…。
もちろん、dockerが手元のマシンにインストールされていないとダメだが、WindowsでもMacでも簡単に使えるようになっているので、とくにWindowsでデータ取得をしたい場合にはこれであっても便利かもしれない。
Trinityが動かない問題再燃。使っているバージョンは2.4.0。
以前に言及したFASTQヘッダの問題かと思ってfastq-dumpをいじってみた。
fastq-dump --defline-seq '@$sn[_$rn]/$ri' --split-files hoge.sra
が、そうして生成されたFASTQファイルは逆に、trimming(Trim Galore!)が動かなくなった。そこで、普通にfastq-dumpして得たFASTQファイルにtrimming後、FASTQファイルのヘッダファイルを改変するようにフィルタを書いてやってみたところ、動かない。その際、ご丁寧にbzip2圧縮していたのだが、どうもそれがまずいような気がした。というのも、実行がすぐに終わり、結果ファイルがちゃんと出来てないからだ。そこで圧縮を解いたファイルを指定してみると…。bzip2圧縮されていることが障害になっていた模様。ひょっとするとgzip圧縮なら問題ないのかもしれないが。
RefExの論文を2017年8月末に出したが、その英語版プレスリリースを11月頭に出してもらった。
すると、英語版のそういったニュースにも取り上げてもらい、その種の英語の著名なブログでもネタとして採用していただき。結果として論文のaltmetricsのスコアが上昇。その準備や手続きは大変だったものの、やってよかった感が非常にあった。
もし出してもらえるのなら英語のプレスリリースも是非検討すべき。次回からは必ずそうしたい。
今日のワンライナー。普通なら
cut -f1,3 hoge.txt
で済ますところだが、さらなる処理、IDのバージョン情報を取る(s/.d+//)とか必要な場合にPerlで処理したい場合、こんな風に。
perl -anle 'print "@F[0]t@F[2]"' hoge.txt
-aはawkモードの意味らしい。
-Fでフィールドセパレータを変えたりとかもできるらしいが、多くはタブ区切りのこの業界。
ナショナルバイオリソースプロジェクト(National BioResource Project; NBRP)のシンポジウムに参加。今年度(２０１７年)から第４期が開始ということであったが、それは５年を1期とするプロジェクトが3回行われ、今年度から4期目が始まったという意味で、つまり16年目。非常に長きに渡って続けられているプロジェクトらしい。30種類の生物というか、生物群に対して支援がなされているとのこと。
統合DBとの接点というか、お互いwin-winになれる部分がないか、と話を聞いたが、その生物学的なコンテンツのおもしろさに魅了された。異なる生物でも同じようなターゲットをやっていることにほくそ笑んだり。今のところは、今のオミックス目次をガッツリ使ってもらえるレベルにまで完成度を上げることが私がやるべきことかなという結論。
BH17.11の続き。NCBI GEOのメタデータをDBCLS SRAのAPIから取得してこれるよう、AOEのコードを追加。そしてそれらをGitHubにアップすべくまとめたり、ドキュメントを充実させたり。短いコードであってもそれらを書き散らすのは楽しい。
普段日程が合えば参加しているみんなのPython勉強会(Start Python Club)が、Pythonオープンサイエンスシンポジウムをつくばで開催。これまたちょうど都合がよかったので参加。
いろんな研究分野でPythonを使っている人が増えていることが実感できるとともに、そういった研究分野の一端を知るキッカケに。それがむしろ私にとっては興味深かった。また、そういう方々と知り合いに。もちろん、懇親会まで残って膝を突き合わせて色々話したから、ではあるが。他の分野の方々のお話を聞くことは重要。自分のやっている研究分野(生命科学)がどういう立ち位置にあるのか知ることができて。たまにはそういう機会があるべきだなと。
いろいろとおもしろくなってきた。
最終日は、RefExとAOEの口頭発表。今回は@h_ono氏が発表をやってくれた。2年前に同じく神戸で(その時は自分が)口頭発表したときに比べて、disり質問もなく。(今は)公共データを再利用しよう、という流れをここでも感じた。遺伝子発現データの利用事例をもっと作って発表していこう!
そして、ランチの時間帯に行われたJSTのバイオサイエンスデータベースセンター(NBDC)のフォーラムだが…公共データベース利活用がはやりの流れからか超満員となり、嬉しい悲鳴だった。データベースに対する関心は我々の想像を超越していた感。もっと「どう使ったか」伝えられるような、そういう事例を作っていかないと(シツコイようだが…)。
この日には夜に癌研究者の集まりに。毎度研究コミュニティーのsmall world感を感じながらも、初めて会った人にも統合TVすごく使っていただいていることをお話いただいて、やってきた良かったなあと。
その一方で、ブース展示するたびに統合TVをまだ知らない研究者に紹介しつづけている現実もあり、そういった層にもっとリーチするにはどうしればいいかを考えるキッカケになったり。物凄く効率の良い手段なんてないんだろうけど。
2日目はブース対応をメインのはずだったが、Bono本サイン会があったりして迷惑かけてしまった…。そちらのイベント自体は大成功だったのだが。
この日の夜には「統合データ解析環境 Galaxy を使った再現可能なデータ解析」のフォーラムがあって参加したが、フォーラムとは思えない人の入り(約80名!)で、関心の高さが窺い知れた。ユーザーコミュニティがさらに広がっていくといいな。
ConBio2017は初日の午前にいきなり主宰ワークショップ「いかにして『使える』データベースを維持し続けるか?」から開幕。以下のような豪華な演者陣でバイオなデータベースをめぐるさまざまな立場からお話いただいた。
高木氏 「ライフサイエンス統合データベースプロジェクトから学ぶこと」 20171206ConBio_takagi(PDF)
粕川氏 「FANTOMプロジェクトおよび一細胞データベースSCPortalenにおけるデータリソース維持管理の取り組み」 https://doi.org/10.6084/m9.figshare.5682850
林氏 「オープンサイエンス政策とその実践が目指す研究者社会に向けて」 https://doi.org/10.6084/m9.figshare.5691196
新谷氏 「論文の補足資料を越えて:リポジトリとデータジャーナルによる効果的なデータ共有」 https://doi.org/10.6084/m9.figshare.5687536
八塚氏 「生命科学におけるオープンデータの理想と現実」 https://doi.org/10.6084/m9.figshare …
次の日朝イチで主宰ワークショップだったので、午前にミーティングに出てから午後に移動で、前日入り。それに乗じて途中下車して共同研究打合せ。結果として、ミニハッカソン＠グランフロントみたいになり、有意義な打合せができたかと。
それにしてもJR大阪駅は日本各地の料理が食べられるグルメスポットになっていて。変わったな。
2017年の国内版バイオハッカソンは熊本にて、11月26日〜12月1日まで。 AOEのコード群をDBCLS傘下のGitHubに移し、書き散らしていたコードをまとめたり、発現定量値を使ったソレを議論したり。その裏で、共同研究の配列データ解析も進めつつ。 途中の日から会場の隣に岩盤浴のある日帰り温泉施設があることがわかり、温泉インフォマティクス研究会を開催。でも帰ってきたら体重は増加していたというオチ。食欲の秋だった。
今回で2回目のアノテーソン。ゲノム配列解読系の人が多かったような。自分の考えていた「アノテーション」とは違う世界に戸惑うものの、アップデートされたデータに対するデータ解析が不十分なことを思い知らされた。それもやらねば。 アノテーションで用いるツールを参加者みんなでリストアップしたのは、大きな成果の一つ。
遅ればせながら、kallistoを試す。日本語でブログに書いている人もいる模様だが、最新の情報は英語の本家のドキュメントから。
indexはtranscriptのFASTAファイルに対して。つまりtranscriptごとの発現定量がなされるわけである。
time kallisto quant -i index -o results/ -t 12 test1.fq test2.fq
23Mのpair-end readのGRCh38なtranscriptでの定量が
275.06s user 9.22s system 438% cpu 1:04.81 total
つまり約1分。爆速である。
time kallisto quant -i index -o results/ -t 12 -b 100 test1.fq …
日が変わってもなお議論。いつにも増してハードな会となった。
自分ですべての「データ」を出すだけでなく、公共データベースにいろいろと利用可能なのだから、それらを活用すればいいのに、と思ったこと多数。まずはそういうのが使えるということを認識して使ってみるというところから。
次回、第16回がんとハイポキシア研究会は2018/11/9-10にホテルグリーンタワー幕張で、とのこと。
無線LANのトラブルの中、いくつかのプロジェクトの打合せを進める。
2017年5月以来、半年ぶりに参加。期せずして3冊のPython本の著者の人が話される節目の勉強会30回目で、大変参考になった。その3冊とは、以下の通り。
Bono本とその読書会の宣伝もLTしたものの。反応が鈍くて残念。生ビールを飲みながらの歓談には敵わなかった感。
それでもまたスケジュールが今回のようにうまくあったらまた参加したい。特に次回は、2017年12月12日(火)に「Pythonオープンサイエンスシンポジウム in つくば」ということで、つくばでオープンサイエンスと銘打ってPythonによるデータ解析の話の回として昼間に開催されるので可能なら参加したい。本日(2017年11月9日正午)より募集開始で、参加者多数の場合、抽選になるようだ。
日付変更線を越えてきたため、私にとっての今日の日は物凄く短く、すぐに終わってしまった。11月1日が37時間あった分のツケ。
カードキーがいきなり磁気が飛んで無反応になるやシャワーのお湯がなかなか温かくならない等、いろいろあったが、基本楽しめた。 とくにScientificには大満足。 このConferenceは一番自分に合っていることを再確認。
次回はイギリスで2018/9/17-20、次々回はCSHLで2019/11/6-9の予定とのこと。 できればまた自分で参加したい。
日本は祝日らしいが、こちらはとくに祝日でもないので、普通にセッションが朝から晩まで。
最初だけかと思っていたら、ずっとヒトに関する応用ばっかりで。 ポスター発表にはそれでもまだ植物系のものもあるのだが、ショウジョウバエやC.elegansのそれは皆無。 非モデル生物を主戦場とするようになってそこが気になるようになったのだろうか?
いくつか、新しい解析プログラムに関しても情報を得て、大変満足。 今後出て来るであろう、役立つリソースに関しても。 帰ったら早速試そう。
twitterから得た、参加者らしき人のtweetによれば、229の発表があり、そのうち44が口頭発表で残り185がポスター発表とか。 参加者数は345とか。これもtwitter情報。
発表者のLast nameのアルファベット順にポスター番号が振られ、口頭発表も含めて分け隔てなくsimpleにナンバリングされるのは相変わらず。 abstractのページ数がそのまま自分のポスター番号になっている。 上記の通り、総ポスター発表数が多く、会場が２つに別れたばかりか、会期中張りっぱなしでなく1日だけで、今日2日目が自分はポスター発表だった。 今回は多数ポスター発表を聞いてくれる方が来て、論文が出たタイミングの発表だったので、さまざまな質問にも明快に答えられた。 人が途切れたときには他のポスターを見て回る時間も取れて、個人的には満足。
夕方ぐらいまでは大丈夫だったが、結局時差ボケ辛くて早めに寝てしまった。 シエスタ必要だったかもだが、スケジュールが詰まっていて無理。 かつては緩いスケジュールが印象的だったCSHL meetingだったのだが。
2017/11/1-4まで Cold Spring Harbor Laboratory (CSHL) で開かれている Genome Informaticsに参加。 隔年でCSHLとWellcome Genome Campusとで開かれていて、今年は米国で。 実は、第1回目に出ていて口頭発表しているという最古参。 しかしながら、ここ最近はわりと同僚の誰かがこのmeetingに出ていることが多く、自分自身が出るのは調べてみたら、なんと ~~6~~ 7年ぶりということで、かなり久しぶり。 そして、CSHLに来るのも3年ぶり。ガッツリ勉強してきたい。
セミナーから一夜明けて、また別の研究会の企画打合せ。「昆虫のゲノムデータベースとそれを活用したデータ解析」は、2018年2月８-９日開催予定に。
セミナー企画ワーキンググループメンバーの担当として企画から関わった第2回 SPARC Japan セミナー2017「プレプリントとオープンアクセス」が無事終了した。 企画自体は8月頭ぐらいから開始していたものの、大変申し訳無いことに本業の論文出版とプレスリリースや、なぜかこの季節に来てしまった講演クラスターと9月初旬のバイオハッカソン、そして私事ではあるが9月末のBono本の出版など、いつになく時間が取れず、結果として周りに迷惑をかけてしまった。 とくに一緒に企画に入っていただいた方お二人には本業もお忙しいところ多大なご助力をいただいた。 今後はこういった仕事を引き受ける際にはそういったことが重ならないよう、うまく調整する必要があることを今回学んだ。
今回司会は初めてで、至らないところだらけで運営には迷惑をかけてしまったかもしれない。 個人的には、セミナー自体はプレプリントに関する最新の情報を知ることができ、大変勉強になった。 総合討論は時間を持て余すのではないかと恐れていたが、結果として盛り上がったところで時間となってしまう感じで、とても良かったかと。 そしてなにより、その後の反省会で異分野交流ができたことが一番の成果だったかと。関係者の皆さん、お疲れさまでした。
しつこいようですが。 このSPARCは、こっちのSPARQLとは関係ありません。