ワイルドカードによるファイル指定でそのコマンドに一括で引数で指定できず、数多くのファイルに対して同じ処理を繰り返したい時。もしくはそのファイルの数が数万とか多く、引数指定するには数が多くなりすぎて無理な時。シェルスクリプトでバッチ処理が有効。ファイル一つづつに対して、シーケンシャル(sequential)にバッチ処理したい時にbashのシェルスクリプトで対処する場合には、
1 2 3 4 | #!/bin/sh
for f in *.bz2 ; do
bunzip2 $f #command to execute here.
done
|
てな具合にfor f in * ; do ... done定型句を使う。
ただ、この場合、 [shell] bunzip2 *.bz2 [/shell] でも可だが。そうはできないような処理の場合に役立つ場合も。
卒論、修論、追い込みの方も多い今日このごろ、バックアップは重要。大事なデータほどきっちりとバックアップを。もちろん、簡便にフォルダのコピーだけでもよいのだが、何回もコピー続けていると何回も同じファイルを重複してコピーすることになって煩雑になるかと。そこで、rsyncコマンド。rsyncを使うと差分コピーが可能に。
その解説は、次世代シークエンサーDRY解析教本p35に。ここでは同一のコンピュータ上でrsyncコマンドでコピーする方法が説明されている。つまり [shell] rsync -av --exclude '/' /Users/bono/Documents/ /Volumes/USBHDD [/shell] のようにすると、/Users/bono/Documents以下のファイルとフォルダ(ディレクトリ)を/Volumes/USBHDD以下にコピーすることになる。1回目はフルバックアップなので時間がかかるが、2回目以降は同じファイルはコピーされず、差分のファイルだけがコピーされるため、ファイル転送が高速化される。定期的なミーティング終了後に実行するなど、週1回や月1回など習慣づけて行うことをお勧めする。
実はこのコマンド、ネットワーク越しのコンピュータに対しても実行可能である。受け側のコンピュータにsshでアクセスできるように設定されていればだが、以下のようなコマンドで。 [shell] rsync -av -e ssh --exclude …
カイコ(Bombyx mori)のEnolaseに関する論文がacceptになりました。研究成果としてすでに公開されている配列情報データベースから候補をドライ解析(in silico)で探し出してきて、それらをウェットベンチで精査し、実際に確認したところに新規性がある研究です。この論文で使用した候補の探し方を紹介します。
まずはhmmerをインストールします。
brew install -v hmmer
で簡単に入ります。
そして、タンパク質ファミリーのデータベースPfamから利用するタンパク質ファミリーを検索します。今回の場合はEnolase_CとEnolase_Nがそれで、どれが利用すべきエントリかを選ぶところで生物学的な知識が発揮されます。Curation & model タブ中のHMM informationにあるdownloadからタンパク質配列のプロファイル(profile HMM)をダウンロード、ダウンロードしたファイルをEnolase_N.hmmと名前を変更し、以下のようにhmmsearchを実行します。
hmmsearch Enolase_N.hmm Bombyx_mori.GCA_000151625.1.30.pep.all.fa
Enolase_C.hmmに関しても同様に実行し、ヒットしてきた=このドメインを含むとみなされる候補のcDNA(or 予測遺伝子 …
Oracle Labs PGX(Parallel Graph Analytics) というグラフに対するクエリや分析のためのフレームワークのユーザー勉強会にお誘いいただいたので、参加。かつては専用のプログラムを書いてKEGGの代謝経路の最短経路とかを計算していたものだが、これを使うとそういうのだけでなく、グラフ構造に基づく解析がいろいろとできる模様。やってみたいことが簡単にできそうなので、今後もちょっといじってみたい。
先日のAJACSadvanced講習会で、Trinityで得た結果をアミノ酸配列に翻訳するプログラムをここで言及していないのに気がついたので。Trinityで得られるのは塩基配列レベルの情報で、それをアミノ酸配列に翻訳してくれるのがこのtransdecoder。 [shell] brew install -v transdecoder [/shell] でインストールされる。 [shell] TransDecoder.LongOrfs -t Trinity.fasta TransDecoder.Predict -t Trinity.fasta [/shell] のように実行する。 実行したディレクトリにTrinity.fasta.transdecoder.pepというファイルができて、それにアミノ酸配列がFASTA形式で記録されている。詳しくはtransdecoderの本家ウェブサイト参照。
今回の遺伝研研究会では、初の試みとして講習会を連続開催してみた。つまり、研究会をやる前(1日目午前)と後(2日目午後)に講習会を実施した。それぞれのパートだけの参加者ももちろん居たが、研究会のついでに参加という効果もあったかと。それぞれ独立に企画するよりも準備コストもそれぞれ小さく、相乗効果も見込める。このかたちは今後も続けていくべきだろう。
自分が企画した講習会は、AJACSadvanced三島3と題して、DBCLS主催。中上級向けの内容として
仮想環境版のpitagora-galaxy
homebrewを使ってMacOSXでTrinity
をやってみた。
今回は、遺伝研での講習会ということでSRA(DRA)からのデータダウンロードにもかなり有利な環境であったものの、トラブルはやはり多く。以前にインストールされていたソフトウェアが新しく入れたソフトウェアの邪魔をしたり、homebrewが入っていても長い間brew update && brew upgradeしておらずそれが原因でみたこともないエラーが出たり、そもそもXcodeが最新でなくて再インストールが必要だったり、空きディスク容量や搭載メモリが足りなかったり。一番致命的なのは最後のポイントで、やはりある程度のデータ解析をするにはコンピュータのスペックとディスク容量がそれなりに要る。
今回の講習会をやってみて、実行すべきコマンドそのものより、そこに至るまでの環境構築に難がある状況を感じた。前者はググればまあ見つかるものの、自分の環境に特異的な状況はなかなか自ら解決しづらいのではないかと。そういった部分を今後ケアできるように講習会の内容を考えたい。
遺伝研研究会として「次世代モデル生物におけるゲノム情報利用ワークショップ」を2016年12月15,16日にオーガナイズさせていただいた。「ゲノム情報利用ワークショップ」は、当時かずさDNA研究所にいらっしゃった中村保一さんが中心となって約10数年前ぐらいに行われていたワークショップで、主にバイオインフォマティクスな人がデータ解析手法やその実例などを紹介するのがメインだった。
そして、2016年。DBCLSの一部が遺伝研に来て2年半あまり経ち、これまでDBCLSとDDBJの橋渡し的なテーマで遺伝研研究会を実施してきたが、今年度はかつての「ゲノム情報利用ワークショップ」を復活させようという考えで企画した。対象を、次世代シークエンサーの登場でゲノム情報の恩恵にあずかろうとしている非モデル生物、もとい「次世代モデル生物」にして。 そういった分野で活躍されている方にコンタクトして、それぞれのゲノム情報利用を語ってもらった。10年前よりもずっとBiologyな、そして興味深い発表ばかりで。やっぱりやってよかったなあと。
話していただいた研究者の皆様、お忙しい中にもかかわらず三島くんだりまでご足労頂き、ありがとうございました。
2日目。引き続き、SRAからのRNA-seqデータ回収のパイプライン作り検討。それ以外に、統合TVがflashで再生できなくなっていた問題の対処をお願いするなど。
午後には山口情報芸術センター(YCAM)を見学させて頂く。
今日2016年12月12日から、国内版Biohackathon(BH16.12)、山口県湯田温泉にて。「公共遺伝子発現データ目次AOEを使ったデータ解析事例作成」というテーマで取り組む予定。遺伝子発現データ解析で、機能アノテーションを公共DBから引っ張ってくる際にRDF化したソレが便利に使えるはずなので、それが利用できるようにするための流れと実例を作りたい。
それを始めるために統合TVのとあるエントリを見ているとバグを発見したり、AOEのためのデータ作成しようと思ったら(以下同文)。全体としては良くなっている方向と。「すみなすものは心なりけり」ということで。
今回が9回目のMishima.syk(ミシマ・エス・ワイ・ケー、三島創薬勉強会)。今回は仮想環境の上のLinuxでTensorFlow（てんさーふろー、と読むらしい)とkerasのハンズオン講習会。1runで数千万リード出るようなご時世の塩基配列データ解析では直接的に使う部分は思いつかないが、必要になったときに役に立ちそう。やった内容は、githubのmishima-syk/9に上がっている。 時間が余ったので仮想環境つながりでpitagora-galaxyの紹介がてら、来週(2016/12/15-16)の遺伝研研究会の宣伝活動もしたり。新しい参加者も増えて、知的にも人的ネットワーク的にも満足。もっと勉強しなきゃな…。
treeという、置かれているファイルやディレクトリをCUIで可視化する便利なコマンドを教えてもらったのに、忘れていたのを半月後の仕事納めの直前に思い出した。MacだとHomebrewで入れられた。 [shell] brew install -v tree [/shell]
第39回日本分子生物学会年会にて、「いかにして使えるデータベースを維持し続けるか?」というフォーラムをオーガナイズした。本来ワークショップ(今年の場合はシンポジウム)企画として提案したものの、落とされてフォーラムになったわけだが。そんなにDB、重要でないですか、このデータがものをいう研究をされている人たちばかりの学会で?そういえば2年前もワークショップ落とされて、さらにプログラム集にも載せてもらえないというひどい扱いであった。なんか、嫌われているらしい。
参加者は50人ほど。私自身はデータ流通業代表として、「DBの流通業10年目の今ー知のめぐりは果たして良くなったのか?」と題して、統合データベースプロジェクトとして始めてからちょうど10年の今にして思うことをつらつらと。
統合TV: 2007年7月から、9年5ヶ月で、1,166の動画作成
統合データベース講習会AJACS: 2008年3月から、8年9ヶ月で、約60回の講習会実施
新着論文レビュー: 2010年9月から、6年2ヶ月で、1,002の総説公開
領域融合レビュー: 2012年9月から、4年2ヶ月で、60の総説公開
という具合にこの10年間で日本語のコンテンツは着実に増やしてきた。にもかかわらず、その本務では評価されているとは言い難い現実を語らせていただいた。「評価されていない」というのは競争的資金を取るときなどにやってきたことがプラスになっていないということで、この状況を予言するかのように6年前の2010年トーゴーの日に伊藤啓さんが「ショウジョウバエ脳の神経画像データベースFlybrain: 15年の蓄積と将来への課題」と題したご講演の中で指摘されていたことである。私にしたって、DBCLSとしてやった統合DBの仕事でなく、昆虫やハダカデバネズミでの個人研究で …
要するに、ArrayExpressのデータをコピった。やった事自体、簡単そうだが、転送量が数十TByteもあると、そう簡単にいかなかった。2016年5月に英国Cambridge郊外のHinxtonにあるEuropean Bioinformatics Institute(EBI)に行って打ち合わせしてきて、8月中頃に正式に自分がやることとなり。結果として、この11月末になんとか形になり、年越さずに済んでよかっただけでなく、週末からの学会年会(分生)に間に合った。
最初は、普通にrsyncでやっていて、そのペースだと2年以上かかることがわかり、絶望に打ちしがれつつも作業を継続した。それを先方に伝え、asperaのサーバーを用意してもらい。その後も何回もやりとりして、なんとか超高速にデータ転送することが可能となった。すると今度はディスク容量が逼迫して、disk full直前で一旦止めて、とか波瀾万丈だった。
DDBJのニュースにまでしていただいたが、言われてみればDDBJとDBCLSの協力関係の賜物。一昔前なら不可能だった。
私にとっては小さな一歩だが、センターにとっては偉大な一歩だ
データベースは維持してナンボのもの。今後の継続的なactionに乞うご期待。
地震で飛び起きたSPARQLthon50の2日目。結局、ArrayExpressのmirrorは終わらず。来月のSPARQLthonへと持ち越し。それ以外のデータ収集手段についてupdateしていただき、より簡単に高速にデータを取得できる目処がついた。
久しぶりの参加。ArrayExpressのmirrorに関しても目処がついて、次期開発に向けてのちょうど良いタイミング。RDFやSPARQLの利用実例として実用的なものに発展させていければいいな。 50回目のキリ番SPARQLthonのためか、参加者が多く、annexの柏での作業スペースでの参加。仲間と議論するのは楽しいが、それだけではなく、使われるシステムとしてどう舵を取っていくかももっと議論していければと思う。
AJACSadvanced三島３でPitagora GalaxyをNGSデータ解析環境として紹介したいと考え、Pitagora Galaxy Meetup 2016-11に参加。仮想環境のダウンロードページにある仮想環境イメージのアップデートのお願いがメイン。その目的は達成できたが、どういう操作を講習としてやるかはまだこれから考える感じ。
普通のftpやrsyncでコピーするとしたら、数ヶ月単位かかるような数十Tbyteのデータを転送する必要があり、先方にAsperaを設定してもらい。ascpというコマンドラインのプログラムをネット上からググって探してダウンロードインストールして、以下のようなコマンドで実行。 [shell] ascp -p -k 1 -QT -l 1G --overwrite=diff+older hoge@xxxx:hoged/ . [/shell] タイムスタンプ保持の-pオプションと上書きルールのオプション(--overwrite=diff+older)は今回のタスク的に大事だった。
今年(2016年)の３月に急逝したLorenz Poellinger氏の追悼シンポジウム(Professor Lorenz Poellinger Memorial Symposium)で縁の深かった方々によるプレゼンテーションは、泣きそうになる一方、彼らの研究の遍歴がうかがい知れて勉強になった。
またそれに続いて行われた、普段からお世話になっている関西医大の広田さんによる「2016年アルバート・ラスカー基礎医学賞を記念してOxygen, Hypoxia and Beyond」というプレゼンテーションはこの業界の歴史がよくわかって、知らなかった知識が補完されていって大変勉強になった。しかもそのプレゼンのスライドはfigshareで共有していただいているという…。オープンにしていただいて、ありがとうございます。
Hirota, Kiichi (2016): Oxygen, Hypoxia and Beyond. figshare. https://dx.doi.org/10.6084/m9.figshare.4142166.v1 Retrieved: 11 20, Nov 05, 2016 (GMT)
去年は三島でお世話させていただいた、がんとハイポキシア研究会。今年は岐阜で。実は、2年続けての東海地方開催。今年は運営に関わる部分がない分、しっかりと勉強させていただこうと。
会場のホテルは、なんと岐阜城を長良川越しに南に臨む素晴らしい立地。しかも、温泉。さらに、酸素の研究会にはもってこいの、鉄分が多い泉質という最高のお膳立て。
自分のポスタープレゼンテーションであるが、来ていただいた人たちと話してみて、これまでに増してメタ解析の需要があるらしいことを感じた。この研究会でこれまで共同研究ベースでシェアしてきたデータを論文化して、外に出すことを決心した。ついに機が熟したようだ…。
時は今 雨が下しる 五月哉
今年度(2016年度)採択していただいた国立遺伝学研究所研究会「次世代モデル生物におけるゲノム情報利用ワークショップ」を2016年12月15,16日に開催します。非モデル生物と呼ばれてきた、次世代モデル生物を使った研究でゲノム情報を利用している、もしくはそれに役立つ研究をされている方々を呼んで、ゲノム情報を始めとした生命科学分野のデータベースを利活用した研究を盛り上げ、支援しようという会にしたいと目論んでいます。
アナウンスには明示的に書いていませんが、11年前にかずさDNA研究所で開催されました、ゲノム情報ワークショップ2005ー実戦系バイオインフォマティクス＠かずさ、の現代版になっております。実は11年前にも、2日目の午後には講習会があったのですが、今回は1日目の午前と2日目の午後の両方に講習会を配置し、さまざまなリテラシレベルに対応する体制で臨んでおります。それらの講習会とは、以下のとおり。
DDBJing講習会: DDBJ,NIG SuperComputer,Bioproject,Biosampleの紹介編 (1日目午前)
DDBJing講習会: NIG SuperComputer の利用方法 (2日目午後)
統合データベース講習会 AJACSadvanced 三島3: pitagora-galaxyを使ったデータ解析環境の構築とTrinityによる Transcriptome assembly (2日目午後)
とくに、NIG SuperComputerの利用方法って、これまで講習はなかったかと思います。それぞれ参加登録を忘れずに、奮ってご参加ください。
cell types in mammals' wordpress_id: 2863 categories:
READとFANTOMDB論文以来、なんと15年ぶりにNucleic Acids Research (NAR) Database issueに名前が入った標記の論文が掲載。
Nucl. Acids Res. (2016) doi: 10.1093/nar/gkw995 First published online: October 27, 2016
Advance accessなのでページ数は付いてないが、DOIのcitationは変わらないので、こちらで是非。 「データベースセンター」に約10年勤務していてどういうことだとお叱りを受けるかもしれません。言い訳しておきますと、日本の中のDBを使った「知のめぐり」の向上を目標として活動しており、DBの利用普及活動や日本語のコンテンツを増やすのがメインで、英語の論文出版は二の次でした。また、ここのところはNARにはWeb server issueでの論文でお世話になることが続いており(2008年のgendoo、2012年のGGRNA …
去年は参加できなかったJASPUGMだが、今年は参加。今回はとくに発表とかなく。実質アカデミックフリーになって、公式にユーザーに返り咲いてからは初めてのユーザーミーティングだった。しかしながら、そこに居る必要は、もはやない印象を今までになく受けた。いつまでも惰性で参加していてはいけない。そう感じた。製薬業界の人たちの意見交流の場として、ますます発展していって欲しい。
今週はオープンアクセスウィーク。ということで、連動企画として、2016年のSPARC Japanセミナー2回目はこのタイミングで。
今回もセミナー担当のワーキングメンバーとしてなかのひと。前回は自分自身が話したが、今回はtsudaり係ということで、ひたすらtwitter。ただし、研究会のアカウントで。ハッシュタグ#sparcjp201602でそれが見れるが、有志の方がtogetterにまとめてくれました。ありがとうございました。
札幌の定山渓にて、10/22-23の一泊二日で。研究会のお題目の通り、オモロイ生き物でさまざまな生命現象を解明しようと取り組んでいる人たちの集まりで、かなりハイレベルな議論が。 ライフワークとなりつつある遺伝子機能アノテーションの話をして、これまでモデルとされておらずDBリソースが不足している生物種ならではの話をした。研究会の最後の方だったため、それを踏まえた議論があまりできなかった印象。今後の共同研究につながるといいな。
MacOSXだとSpotlight検索が中身まで検索対象になっていて便利だが、ファイル名でのみ検索したいときがある。しかもコマンドラインで。そういう時に使っているのがlocateコマンド。 [shell] locate hoge [/shell] でhogeを(絶対)ファイルパスに含むファイルをリストしてくれる。 それでも見つからないときはfindコマンド。 [shell] find . -name index.html -print [/shell] とかやるとindex.htmlというファイルをcurrent directory以下から探してくれる。 [shell] cd / find . -name 'hoge*' -print [/shell] とするとroot directoryに移動してから、hogeからはじまるファイルがリストされる、という具合に。
今年はトーゴーの日シンポジウム(10/5-6)と1日被り、大会2日目からの参加。企業展示ならびにポスター会場がスカスカでびっくりする。別の学会と被ったから、らしいが。clinical sequenceに移行していくなか、ますますアウェー感が増した印象。公共DBの再利用よりも自分のところで出した大量のデータをいかに解析するか、そっちの方が喫緊の課題であるような。その一方で大型機器は予算の制約で買えず、某社のデータ解析サービスが赤字に耐えかねて有償化という状況。果たしてどうなっていくのやら。
今年も、10月5日ということで、「トーゴーの日」シンポジウム。今では、この1年の進捗を発表する機会となっているが、統合データベースプロジェクトが始まって早10年。論文で測ることのできない成果が出てきているとは思うが、データの大量化に伴う個人持ちのデータの解析に悩む人はむしろ増えているのではないかと。そこを改善する解決策を提案していければよいのだが。
Entomology（昆虫学）の国際学会に参加。初参加でアウェーの学会だったが、来てみると全く問題なかった。自分は、いわば系統樹を書くときのアウトグループのような存在かと思っていたが、わりとそうでもなく。
種が多い昆虫ならではなのだろうか、比較生物学がごく当たり前に行われていて、また研究の分業化がされていてRNA-seq解析などもごく普通にやられているのも本邦との温度差を感じた。やはり身近にそういうデータ解析ができて相談(もしくは共同研究)できる人がいるようにならないと。
Keynote lectureが事情により録画で流されたり、学会に来れなかった人がskypeで遠隔からプレゼンしたり、新しいタイプの発表にも衝撃を受けた。学生のプレゼンでもちゃんとgrantを明らかにしているのは、当たり前だがきっちりしている。こういうところは見倣わねば。
周りの人に自分が何者かを話していると、専門がバイオインフォマティクスの遺伝研に居るが遺伝研所属じゃないデータベース流通業という、自分の中で少々曖昧になっていた自分の立ち位置を再認識できた良い機会となった。良い刺激を受けることができたのではないかと。
日本生物工学会誌に「バイオインフォマティクスを使い尽くす秘訣教えます!」という連載が開始。2ヶ月に1回、全7回の予定。2016年1月に鹿児島大学医学部で行われた統合データベース講習会: AJACS薩摩でその会誌の編集委員の方が受講されていて、講習の合間に話したのがきっかけとなって連載する話に。引き受けたのは、掲載後すぐネット上で公開され、会員でなくても誰でも読める、というところが決め手だった。その後、先方が遺伝研にいらした際に詳細を話し合って連載の構成を決め、第1回は私による「ウェブ上に散在する情報を生命科学研究にどう役立てるか」ということで。シリーズの今後の内容に乞うご期待。
ArrayExpressのdataをrsync開始してから今日でちょうど一ヶ月。前回と変わらず、experimentディレクトリのミラーが終わらない。データ転送量的には、合計1.5Tbyteほど。もう1thread増やしてやっているものの。約44Tbyteと書かれている全体のデータを信じれば、あと2年半。対策を考えねば。
いろいろ書き散らす。2016年の計として元旦に誓ったことでもあるし。まさかこういう形で転ぶとは思っていなかったが。このやり方のほうが怠惰な自分が奮起してやり遂げるのではないかと。もちろん、本務優先ではあるが、長い目で見るとこれこそがやるべきことになるのかもしれないね。