自宅鯖絶不調
Written by bonohu in misc on 金 05 1月 2018.
自宅鯖にしているMac miniの調子がここのところ悪い。今朝はおそらく早朝に勝手に再起動していたし、さっきはちょっと出かけている間に固まっていた。前者は瞬電の可能性もあるのでアレだが、後者は明らかに不調の表現型。wordpress.comのバックアップサイトを常時起動するようにしておくかな…。
冬休みの宿題その1
Written by bonohu in misc on 木 04 1月 2018.
ある本の分担翻訳をひとまずやり遂げてしまった。打ち込んだ文字数の合計、約5万字ほど。冬休みの宿題として持ってきたが、おそらくこの休み中には終わらず、冬の週末にと思っていたのだが。
その分野のことを広く知ってもらうために、母国語である日本語に翻訳することは、研究者にとってボランティア活動のようなものだ。完全な無報酬、ではないからプロボノ(pro bono publico)ということにはならないのだろうけど、対価を考えると安いものである。基本、業績にならないし、勤務時間以外にやったし。
とはいえ、翻訳することで実は自分も勉強させていただいた。よく知っているはずの知識が補完され、さらに再構成されて。早目に出版されるといいのだが…。
Bonoがbyobuで上手にbashのスクリプトを書いた
Written by bonohu in misc on 水 03 1月 2018.
かつて紹介したbyobuであるが重宝している。とくに遠隔からたまにネットワークが切れたりすることが前提の環境における使い方で。
その場合、ローカルな手持ちのマシンではなく、遠隔のサーバーでbyobuを起動して、いくつかの時間のかかる処理を実行するわけである。私の場合、httpdのログのtail -fな監視であったり、時間のかかるデータベースのミラー作業であったり、(bashスクリプト化した)transcritopme assemblyの計算であったり、ハードディスク間のrsyncであったりする。いずれの場合も再接続した時点で現在行われている処理がリアルタイムにわかるので大変便利。
この場合、すなわちサーバーにbyobuがインストールされていないといけないのであるが、某スパコンとかでこれをやっているわけではなく、自分で管理しているマシンで立ち上げている。そうでないマシンに関してはそこから都度sshして使っている。もちろん、停電等でそのマシンが落ちてしまったらすべてのプロセスが死んでしまうのであるが。
Trinity前処理
Written by bonohu in misc on 火 02 1月 2018.
遠隔作業が可能なので、時間のかかる処理を仕込みつつ。
fastq-dumpでヘッダを変えたFASTQでは、Trim Galore!(cutadapt)によるトリミングが失敗するようなので、仕方がなくTrinity(v2.5.1)が実行できるようなヘッダに書き換える以下のようなフィルタ(for_trinity.pl)を書いて処理。ペアエンドのみの対応。
1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 | #!/usr/bin/perl
my $c = 0;
my $strand = shift(@ARGV); # 1 or 2
# STDIN: fastq file … |
2018年の計
Written by bonohu in misc on 月 01 1月 2018.
年頭恒例にしているその年の計。「2018年、かくありたい」
-
引き続き、ずっと取り組んでいるメインの仕事、公共DBの全レコードを対象としたデータ解析研究に力を注ぎ、懸案の仕事を論文化したい。
-
その上でそれを利用した研究を進め、グラントを獲得できるようにしたい。
-
SNSに割く時間を減らして、考えていることの情報発信をこのブログなど、他の便利ツールに頼らないやり方でより発信していきたい。
2017年を振り返って
Written by bonohu in drbonobon on 日 31 12月 2017.
2017年を振り返って。今年は収穫の年であった。
ここのところの懸案だったDBCLSでのメインの仕事の論文が2本出版された。quanto論文とRefEx論文である。それぞれGigaScience、Scientific Dataというデータジャーナルと呼ばれる雑誌形態の論文誌。我々の活動を報告する場として今後もお世話になりそう。
このぼうのブログで書いてきたことをまとめた本も紙媒体で出版できた。それがDr.Bonoの生命科学データ解析である。
また、がんとハイポキア研究会つながりの共同研究で初めて名前の入った論文(HIF-1-mediated suppression of mitochondria electron transport chain function confers resistance to lidocaine-induced cell death)が出版された。10年以上この研究会への参加を続けて、議論してきた結果。2018年にはまた別に何本か続くはず。
昆虫関係の共同研究も継続して論文（Identification of functional enolase genes of the silkworm Bombyx mori …
2017年反省会＠温泉インフォマティクス研究会
Written by bonohu in misc on 金 29 12月 2017.
温泉インフォマティクス研究会を単独開催して、2017年の反省会。場所はいつものところに。頭の整理をするために、この温泉に度々来た2017年であった。
Bono本の構想もここで考え、湯船で考えた末に思いついたことを脱衣所でメモったこともあった。第2章と第3章を入れ替えた方が良いかもと思いついたのもこの温泉で考えた末だった。
今回はそういう構想を練るとかいうよりは、現在進行しているプロジェクトを頭のなかで整理して「やきなます」イメージで。優先順位の確認というか。「確認」ばっかりしていて進んでない気もするので、もっと2018年はせめて行かねばね。
2017年出張外泊数
Written by bonohu in misc on 水 27 12月 2017.
三島に勤務しだした2014年から数えている「仕事で外泊」した日数。本日(12月28日)で仕事納め、というわけで、2017年の日数確定。 去年と同数の77泊。2014年50泊、2015年65泊、と年々増加してきたので、今年は抑制気味にしていたのだが、結局減らなかったという結果。さらなる抑制が必要。自重もだが。
dockerでfastq-dump(続き)
Written by bonohu in misc on 火 26 12月 2017.
- Docker
前のエントリを書いたら、pfastq-dumpを作っている@iNutさんからまた別のFASTQファイルを生成するdockerコンテナを教えてもらった。
docker run --rm -v "$(pwd)":/data -w /data
inutano/sra-toolkit fastq-dump --split-files SRR1864696.sra
こちらの場合は、コマンドラインを見ての通り、すでにSRAファイル(.sra)を前もってローカルにダウンロードしておかねばならないが、この方がネットワークトラフィックも少なく、かなり高速である。前の例では約1時間かかった17Mreadほどのこれも3分程で。
また、この例のSRR1864696はPaired end readなので、ペアごとに別のFASTQファイルに分割する必要があるが、そのオプションである--split-filesも上記の例のように足せば問題なく反映される。
そして、データ取得も海外からではなく、日本の遺伝研にあるDDBJにあるSequence Read Archive(SRA) からダウンロードしてくることで高速になる …
dockerでfastq-dump
Written by bonohu in misc on 火 26 12月 2017.
- Docker
SRAデータの再利用で困っているのでよく聞くのが、FASTQファイルが得られないという声。FASTQファイルでの配布は新規にはされていないので、SRA(.sra)形式でのファイルを取ってきてfastq-dumpコマンドを実行する必要があるわけであるが、このコマンドのインストールが上手く行かなかったりする模様。
そこでdockerを使ってコマンドを直接インストールすることなく実行できるようにできないかと考えたが、やはりすでにやっている人がいた。
このページにある通り、SRR-ID.txtというファイルにrunのIDを改行区切りで書いて、dockerが起動している状態で
docker run -v '/Users/bono/Downloads':/tmp cyverseuk/fastq-dump SRR-ID.txt
のようなコマンドを実行するとfastq-dumpをインストールすることなしにそのrunIDのFASTQファイルがダウンロードできる。していたディレクトリ(この例の場合、/Users/bono/Downloads)の中に、SRA_downloadという名前のディレクトリが作成され、その中にFASTQが生成される。ただ、物凄く容量が大きいうえに非圧縮のテキストファイルがそのままダウンロードされてくるため、(17Mほどのreadであったが)1時間ほどダウンロードにかかったが…。
もちろん、dockerが手元のマシンにインストールされていないとダメだが、WindowsでもMacでも簡単に使えるようになっているので、とくにWindowsでデータ取得をしたい場合にはこれであっても便利かもしれない。
Trinityが動かない問題再燃
Written by bonohu in misc on 月 25 12月 2017.
Trinityが動かない問題再燃。使っているバージョンは2.4.0。
以前に言及したFASTQヘッダの問題かと思ってfastq-dumpをいじってみた。
fastq-dump --defline-seq '@$sn[_$rn]/$ri' --split-files hoge.sra
が、そうして生成されたFASTQファイルは逆に、trimming(Trim Galore!)が動かなくなった。そこで、普通にfastq-dumpして得たFASTQファイルにtrimming後、FASTQファイルのヘッダファイルを改変するようにフィルタを書いてやってみたところ、動かない。その際、ご丁寧にbzip2圧縮していたのだが、どうもそれがまずいような気がした。というのも、実行がすぐに終わり、結果ファイルがちゃんと出来てないからだ。そこで圧縮を解いたファイルを指定してみると…。bzip2圧縮されていることが障害になっていた模様。ひょっとするとgzip圧縮なら問題ないのかもしれないが。
英語版プレスリリースの威力
Written by bonohu in misc on 土 23 12月 2017.
RefExの論文を2017年8月末に出したが、その英語版プレスリリースを11月頭に出してもらった。
すると、英語版のそういったニュースにも取り上げてもらい、その種の英語の著名なブログでもネタとして採用していただき。結果として論文のaltmetricsのスコアが上昇。その準備や手続きは大変だったものの、やってよかった感が非常にあった。
もし出してもらえるのなら英語のプレスリリースも是非検討すべき。次回からは必ずそうしたい。
Bono本第2刷
Written by bonohu in drbonobon on 土 23 12月 2017.
しばらくブログをホストしているサーバーが落ちている間に、Bono本の第2刷が出回り始めていたり。
それにしても9月末の第76回日本癌学会学術総会での発売開始(=出版)から三ヶ月も経たないうちに2刷というのは。出版社の予想以上に売れたということの模様だが、残念ながら著者としては実感がほとんどない。
'今日のワンライナー: Perl -a'
Written by bonohu in misc on 金 22 12月 2017.
今日のワンライナー。普通なら
cut -f1,3 hoge.txt
で済ますところだが、さらなる処理、IDのバージョン情報を取る(s/.d+//)とか必要な場合にPerlで処理したい場合、こんな風に。
perl -anle 'print "@F[0]t@F[2]"' hoge.txt
-aはawkモードの意味らしい。
-Fでフィールドセパレータを変えたりとかもできるらしいが、多くはタブ区切りのこの業界。
NBRPシンポジウム2017
Written by bonohu in misc on 水 20 12月 2017.
ナショナルバイオリソースプロジェクト(National BioResource Project; NBRP)のシンポジウムに参加。今年度(２０１７年)から第４期が開始ということであったが、それは５年を1期とするプロジェクトが3回行われ、今年度から4期目が始まったという意味で、つまり16年目。非常に長きに渡って続けられているプロジェクトらしい。30種類の生物というか、生物群に対して支援がなされているとのこと。
統合DBとの接点というか、お互いwin-winになれる部分がないか、と話を聞いたが、その生物学的なコンテンツのおもしろさに魅了された。異なる生物でも同じようなターゲットをやっていることにほくそ笑んだり。今のところは、今のオミックス目次をガッツリ使ってもらえるレベルにまで完成度を上げることが私がやるべきことかなという結論。
Bono本読書会
Written by bonohu in drbonobon on 土 16 12月 2017.
@oec014さんの呼びかけで、静岡駅近くでBono本読書会が2017年12月16日(土)に開かれた。どういった人が、どれぐらい集まるか、心配な感じだったが、案ずるより産むが易し、学生さんも多く参加するバランスの良いユーザー分布だったのではないかと。ただ、エンジニア系の人(いわゆるSE)が少なかった気が。
自分も第1章「生命科学データ解析の歴史」を担当した。自分で書いた内容だからある意味楽勝だったが、何を話すかという取捨選択をわりと悩んだのだが。実際には出たとこ勝負でその時に思いついたことを話して時間内に収めた形になった。
今回初めてGitPitchを使って発表してみた。GitPitch用に少々拡張されたmarkdownで書いて(今回の自分のmarkdown)、GitHubにアップするだけでプレゼンスライドができるのでとても便利(そのmarkdownはGitPitchによってこのようなスライドに)。今後も使っていきたい。
SPARQLthon63
Written by bonohu in misc on 木 14 12月 2017.
BH17.11の続き。NCBI GEOのメタデータをDBCLS SRAのAPIから取得してこれるよう、AOEのコードを追加。そしてそれらをGitHubにアップすべくまとめたり、ドキュメントを充実させたり。短いコードであってもそれらを書き散らすのは楽しい。
Pythonオープンサイエンスシンポジウム in つくば
Written by bonohu in misc on 火 12 12月 2017.
普段日程が合えば参加しているみんなのPython勉強会(Start Python Club)が、Pythonオープンサイエンスシンポジウムをつくばで開催。これまたちょうど都合がよかったので参加。
いろんな研究分野でPythonを使っている人が増えていることが実感できるとともに、そういった研究分野の一端を知るキッカケに。それがむしろ私にとっては興味深かった。また、そういう方々と知り合いに。もちろん、懇親会まで残って膝を突き合わせて色々話したから、ではあるが。他の分野の方々のお話を聞くことは重要。自分のやっている研究分野(生命科学)がどういう立ち位置にあるのか知ることができて。たまにはそういう機会があるべきだなと。
いろいろとおもしろくなってきた。
ConBio2017 4日目
Written by bonohu in misc on 土 09 12月 2017.
最終日は、RefExとAOEの口頭発表。今回は@h_ono氏が発表をやってくれた。2年前に同じく神戸で(その時は自分が)口頭発表したときに比べて、disり質問もなく。(今は)公共データを再利用しよう、という流れをここでも感じた。遺伝子発現データの利用事例をもっと作って発表していこう!
そして、ランチの時間帯に行われたJSTのバイオサイエンスデータベースセンター(NBDC)のフォーラムだが…公共データベース利活用がはやりの流れからか超満員となり、嬉しい悲鳴だった。データベースに対する関心は我々の想像を超越していた感。もっと「どう使ったか」伝えられるような、そういう事例を作っていかないと(シツコイようだが…)。
ConBio2017 3日目
Written by bonohu in misc on 金 08 12月 2017.
この日には夜に癌研究者の集まりに。毎度研究コミュニティーのsmall world感を感じながらも、初めて会った人にも統合TVすごく使っていただいていることをお話いただいて、やってきた良かったなあと。
その一方で、ブース展示するたびに統合TVをまだ知らない研究者に紹介しつづけている現実もあり、そういった層にもっとリーチするにはどうしればいいかを考えるキッカケになったり。物凄く効率の良い手段なんてないんだろうけど。
ConBio2017 2日目
Written by bonohu in misc on 木 07 12月 2017.
2日目はブース対応をメインのはずだったが、Bono本サイン会があったりして迷惑かけてしまった…。そちらのイベント自体は大成功だったのだが。
この日の夜には「統合データ解析環境 Galaxy を使った再現可能なデータ解析」のフォーラムがあって参加したが、フォーラムとは思えない人の入り(約80名!)で、関心の高さが窺い知れた。ユーザーコミュニティがさらに広がっていくといいな。
ConBio2017 1日目
Written by bonohu in misc on 水 06 12月 2017.
ConBio2017は初日の午前にいきなり主宰ワークショップ「いかにして『使える』データベースを維持し続けるか?」から開幕。以下のような豪華な演者陣でバイオなデータベースをめぐるさまざまな立場からお話いただいた。
-
高木氏 「ライフサイエンス統合データベースプロジェクトから学ぶこと」 20171206ConBio_takagi(PDF)
-
粕川氏 「FANTOMプロジェクトおよび一細胞データベースSCPortalenにおけるデータリソース維持管理の取り組み」 https://doi.org/10.6084/m9.figshare.5682850
-
林氏 「オープンサイエンス政策とその実践が目指す研究者社会に向けて」 https://doi.org/10.6084/m9.figshare.5691196
-
新谷氏 「論文の補足資料を越えて:リポジトリとデータジャーナルによる効果的なデータ共有」 https://doi.org/10.6084/m9.figshare.5687536
-
八塚氏 「生命科学におけるオープンデータの理想と現実」 https://doi.org/10.6084/m9.figshare …
ConBio2017 0日目
Written by bonohu in misc on 火 05 12月 2017.
次の日朝イチで主宰ワークショップだったので、午前にミーティングに出てから午後に移動で、前日入り。それに乗じて途中下車して共同研究打合せ。結果として、ミニハッカソン＠グランフロントみたいになり、有意義な打合せができたかと。
それにしてもJR大阪駅は日本各地の料理が食べられるグルメスポットになっていて。変わったな。
BH17.11
Written by bonohu in misc on 金 01 12月 2017.
2017年の国内版バイオハッカソンは熊本にて、11月26日〜12月1日まで。 AOEのコード群をDBCLS傘下のGitHubに移し、書き散らしていたコードをまとめたり、発現定量値を使ったソレを議論したり。その裏で、共同研究の配列データ解析も進めつつ。 途中の日から会場の隣に岩盤浴のある日帰り温泉施設があることがわかり、温泉インフォマティクス研究会を開催。でも帰ってきたら体重は増加していたというオチ。食欲の秋だった。
Annotathon2017
Written by bonohu in misc on 木 16 11月 2017.
今回で2回目のアノテーソン。ゲノム配列解読系の人が多かったような。自分の考えていた「アノテーション」とは違う世界に戸惑うものの、アップデートされたデータに対するデータ解析が不十分なことを思い知らされた。それもやらねば。 アノテーションで用いるツールを参加者みんなでリストアップしたのは、大きな成果の一つ。
kallisto
Written by bonohu in misc on 水 15 11月 2017.
遅ればせながら、kallistoを試す。日本語でブログに書いている人もいる模様だが、最新の情報は英語の本家のドキュメントから。
indexはtranscriptのFASTAファイルに対して。つまりtranscriptごとの発現定量がなされるわけである。
time kallisto quant -i index -o results/ -t 12 test1.fq test2.fq
23Mのpair-end readのGRCh38なtranscriptでの定量が
275.06s user 9.22s system 438% cpu 1:04.81 total
つまり約1分。爆速である。
time kallisto quant -i index -o results/ -t 12 -b 100 …
Bono本はノウハウ本でなく教科書
Written by bonohu in drbonobon on 日 12 11月 2017.
Dr.Bonoの生命科学データ解析に関して、「この本を読んだら、（自分のやりたい配列データ解析）ができるのか?」という質問がちょっと気になっている。
まあ、中身をよくご存じないからだろう。「ノウハウ本ではなく教科書なので…」というのが私の答え。自分が必要なデータ解析ならば、自分で原著論文読んで学ぶなり、やっている人に(日本人のみならずworld wideに)連絡して教わるなり、すべきでは?日本語で書かれたそういったノウハウ本が充実しすぎていて、馴らされてしまっているのか?じっくりと本を読んで基礎から学ぶという時間がなかなかとれなくなっている現実もあるのだろうな。
第15回がんとハイポキシア研究会2日目
Written by bonohu in misc on 土 11 11月 2017.
日が変わってもなお議論。いつにも増してハードな会となった。
自分ですべての「データ」を出すだけでなく、公共データベースにいろいろと利用可能なのだから、それらを活用すればいいのに、と思ったこと多数。まずはそういうのが使えるということを認識して使ってみるというところから。
次回、第16回がんとハイポキシア研究会は2018/11/9-10にホテルグリーンタワー幕張で、とのこと。
第15回がんとハイポキシア研究会1日目
Written by bonohu in drbonobon on 金 10 11月 2017.
今年は淡路夢舞台国際会議場にて。今年もhypoxia transcriptomeのメタ解析の続きをポスター発表。以前よりは関心持ってくれる人が増えたが、まだまだ。かつてのようになんでもホイホイ引き受けるのは止めて、まずは相談というスタンスで。生命科学研究者自身にデータ解析してもらうべく、Bono本を書いたわけだし。
というわけで、ポスター発表でも、そのポスターアピールでも、拙著を紹介させていただいた。この研究会での議論も、この本の成立に大きく関与しているわけで。
SPARQLthon62
Written by bonohu in misc on 木 09 11月 2017.
無線LANのトラブルの中、いくつかのプロジェクトの打合せを進める。