ぼうのブログ

また別のtranscript alignerのSpliced Transcripts Alignment to a Reference (STAR)によるgenome mappingを試してみた。まずは、STAR用のReference genomeのindex作成から。 [shell] time STAR --runThreadN 12 --runMode genomeGenerate　 --genomeDir genome4star --genomeFastaFiles hogenome.fa [/shell] メモリが足りないといわれたら …

Genome-guided Trinity

Written by bonohu in misc on 木 25 5月 2017.

ゲノム配列も読んである場合に使えるGenome-guided Trinity De novo Transcriptome Assembly。まずは、TopHatやSTARなどでリードをゲノム配列マッピング(RNA用)して、その結果のBAMファイル(以下の例ではhogenome.bam)でde novo transcriptome assemblyを実行できる。 [shell …

SAMファイルをmerge?

Written by bonohu in misc on 水 24 5月 2017.

SAMファイルをmergeしてからBAMファイルに変換してsortしようとしたが。一度、BAMに変換してからsortするしかないのか? まず1ファイルづつ、SAM->BAM変換。 [shell] for f　in .sam; do g="${f%.}" time samtools view -@ 4 -bS $f > $g.bam done [/shell] それらをmergeして、そのままsort。 [shell] time samtools merge -@ 4 - *.bam | time samtools sort -@ 4 -o merged.bam …

StringTie

Written by bonohu in misc on 火 23 5月 2017.

RNA-seqのためのtranscript assemblyとquantificationのプログラムStringTie。またオプションが変わっているかもしれんが、前に動かした時のそれ。 [shell] stringtie fuga.bam -p 4 -o fuga.gtf -G hogenome.gff -A fuga_abd.txt [/shell] -Gで指定しているhogenome …

hisat2

Written by bonohu in misc on 月 22 5月 2017.

hisat2でreference genomeにmappingする場合。hisat2のウェブサイトにすでにindexずみのそれがある場合はしなくていいが、まずはindex作成。hisat2-buildコマンドにて。 [shell] hisat2-build -p 4 hogenome.fa hoge [/shell] そして、実際のmapping。 [shell] hisat2 -p 4 -x hoge -1 fuga_1.fastq -2 fuga_2.fastq -S fuga.sam [/shell] 出力はSAM形式であることに注意。

pip update

Written by bonohu in misc on 金 19 5月 2017.

pip updateコマンドはないので、pipで入れたパッケージのアップデートは以下のようにする。 [shell] pip3 list --outdated | awk '{print $1}' | xargs pip3 install -U [/shell] そろそろ、python3をデフォルトのpythonにして、version3系のpipをpip3と打たないで済むようにしたいところ。

ChIPデータのアノテーション

Written by bonohu in misc on 木 18 5月 2017.

近頃はChromatin ImmunoPrecipitation(ChIP)データの再利用がしやすくなっている。それらのデータをアノテーションしているDBとして、UCSC Genome BrowserのTrackにも入っているthe Open Regulatory Annotation …

SPARQLthon56 day2

Written by bonohu in misc on 火 16 5月 2017.

統合TVのコンテンツ(.movファイル)だけでなく、Togo Picture Galleryのコンテンツも生命科学系データベースアーカイブに移行。統合TV関連コンテンツの完全クラウド化が実現した。そしてついに、この日を持ってtdiary版統合TVウェブインターフェースが廃止となった。「togotv+キ …

SPARQLthon56 day1

Written by bonohu in misc on 月 15 5月 2017.

AOEの追加機能の計算をpythonでやろうとするが、データがでかすぎて思うようにできず。できる手段を探しつつ、データをまとめて減らすことも検討。メタデータの …

転置するUNIXコマンド

Written by bonohu in misc on 金 12 5月 2017.

きっとあるだろうと思ったら、やっぱりググって出て来たこのページを参考に。 transposeというコマンドもあるらしいが、ここは手堅くawkで。とおもったら、メモ …

みんなのPython勉強会#24

Written by bonohu in misc on 水 10 5月 2017.

みんなのPython勉強会に参加してきた。今回、奇しくも第24回目。月1回なので、ちょうど丸2年ということだった。内容的にはそれぞれの方の会社で開発されている …

Mishima.syk#10開催打ち合わせ

Written by bonohu in misc on 月 08 5月 2017.

Mishima.syk開催打ち合わせで、三島広小路のあの店へ。その際の写真はこちらに。個人的には、生姜まみれのホタルイカが圧巻 …

ぶらっとBLAT

Written by bonohu in misc on 日 07 5月 2017.

BLATはThe BLAST Like Alignment Toolで、UCSC Genome Browser のサイトにあるリファレンスゲノム配列に特化した配列類似性というか配列マッピングツール …

ゲゲゲのゲノム

Written by bonohu in misc on 土 06 5月 2017.

配列パターン検索はリファレンスゲノム中に探すのであれば、ゲゲゲのゲノムことGGGenomeでやるのが手っ取り早い。ゲノ …

曖昧配列パターン検索

Written by bonohu in misc on 金 05 5月 2017.

配列パターン検索はUNIX的にはgrepでできるが、バイオな配列に対してだと、パターン中に改行が入った場合やヘッダ行中の「誤爆」を防ぎたい …

非モデル生物での転写因子結合サイト予測

Written by bonohu in misc on 木 04 5月 2017.

もちろん、ChIP-seqのデータがあればそれを利用すればいいのだが、多くの場合そういったデータのない非モデル生物種では、転写因子の結合の有無を調べるのに、転写因子 …

UTRの抽出

Written by bonohu in misc on 水 03 5月 2017.

モデル生物ではきっちりアノテーションがなされ、UTR(UnTranslated Region)の配列抽出とか、EnsemblのBiomartを使えば簡単にできる。Ensemblにない生物種でも、Ensembl Genomesのそれを …

samtools indexも並列化

Written by bonohu in misc on 火 02 5月 2017.

割とすぐに終わるからこれまで特に気にしていなかったが。調べてみたら、やはりsamtools indexもスレッドオプションがあった。他のコマンドと同じで-@のあと …

samtools merge の並列化と sort へのパイプライン処理

Written by bonohu in misc on 月 01 5月 2017.

今日から5月。絶好のデータ解析日和ということで(^_^)。 TopHatの結果を処理するコマンドは以前はやっつけでinteractiveに処理していたが、バッチ化というか並列化というか。中間ファイルがかさばるの …

BAMからCRAMへのバッチ変換

Written by bonohu in misc on 金 28 4月 2017.

ファイル変換weekになってしまったので、BAMからCRAMへのバッチスクリプトも紹介しておく。 SAMBAM変換とは異なり、リファレンスゲノム配列が必要で、それは各環境で違う場所にあると思うので、それは自分の環 …

SAMからBAMへのバッチ変換

Written by bonohu in misc on 木 27 4月 2017.

SAMからBAMに変換して、そのまま中間ファイルを作らずにBAMをソートする。それをバッチで処理するには。 SAMファイルの置いてあるディレクトリに移動(cd)してから、以下のようなスクリプトを実行 …

FAST5からFASTQへの変換

Written by bonohu in misc on 水 26 4月 2017.

現在お世話になっている研究所でOxford Nanopore Technologies　のセミナーがあり、参加させていただいた。大変興味深く聞かせてもらった …

Quanto論文

Written by bonohu in misc on 火 25 4月 2017.

ぼうのブログによると、2009年の7月29日に初めてDBCLSに来てくれた当時M1の学生さんだった。その後、Research Assistantとして統合牧場でUNIXとしてのMacの使い方を身につけ、そして学んだことをブログや統合TVとしてまとめてくれた。その後、そのままDBCLSに残ってくれて、後輩RAの指導、とき …

満を持して

Written by bonohu in misc on 月 24 4月 2017.

ついにこの日がやってきた。各所に働きかけた末に。

That's one small step for (a) man, one giant leap for mankind.

ただの盛り上がったミーティングに …

背水の陣

Written by bonohu in misc on 金 21 4月 2017.

配列データ解析、頑張らないと。それを後押しする事象発生。折しもそれ関連の計算を始めていたのは、虫が知らせたか …

CRAMによる圧縮効率

Written by bonohu in misc on 木 20 4月 2017.

昨日のエントリの続きで、複数のBAMファイルをCRAMに変換し、そのサイズを比べてみた。

それぞれのファイルサイズを同一行に来るように1行ごとにデータを作って(cram …

BAMからCRAMへの変換、そしてその逆

Written by bonohu in misc on 火 18 4月 2017.

BAMからCRAMへの変換を試してみた。samtoolsを使えば良いだけの模様。 [shell] samtools view -@ 4 -T hogenome.fa -C -o hoge.cram hoge.bam [/shell] 3,091,833,154byteあったファイルサイズが、2,325,565,061byteに。約75%になったとは、すごい!CPU時間的には

263.48s user 45.58s system …

アクセッション番号すら諸行無常

Written by bonohu in misc on 火 18 4月 2017.

dottupの説明を書くため、EMBOSSのチュートリアルを見ていたら、XL23808というアクセッション番号の配列が使われていた。チュートリアルに出ている配列だし、自分もこれで例を作ろうと、これが何かをDDBJ/ENA/GenBankで検索しても、ググって …

春の心の嵐

Written by bonohu in misc on 月 17 4月 2017.

直接は被っていないものの、それでも学生委員会の同窓会で最近も何回か会った、同学年の同志の訃報。そんな私にも …

Libraries of Life

Written by bonohu in misc on 土 15 4月 2017.

米国のアウトリーチ活動に関して、2016年9月のICE2016に参加した時に紹介してもらった Library of Life Collection Card が断舎離していたら出てきた …

SPARQLthon55 day2

Written by bonohu in misc on 金 14 4月 2017.

AWSに移設したAOE2の更新ができるように、いろいろと準備してもらいつつ。昨日やったことのまとめ。 AWSにsshできるように/Users/hoge/.ssh/configに以下の設定を追記。

host fuga
 user ec2-user
 hostname xxx.xxx.xxx.xxx
 identityfile /Users/hoge/.ssh/fuga.pem

そして [shell …

SPARQLthon55 day1

Written by bonohu in misc on 木 13 4月 2017.

AOE2いよいよ公開へ。セキュリティ強化と停電のないサーバーでのサービスを、ということでAWS化を急遽。達人たちに教えてもらい、AWSでセットアップしてもらう。いろいろと …

EnsemblでもTrack Hubs

Written by bonohu in misc on 水 12 4月 2017.

これまで試したことなかったが、EnsemblでもTrack Hubsが使えるらしい。追加する際に見に行く先の Track Hub registry はかつてのDAS registryのように各ゲノムブラウザー(といってもUCSC Genome BrowserとEnsembl Genome …

国の機関サイトの5年残存率

Written by bonohu in misc on 火 11 4月 2017.

ショッキングな統計値を教えてもらった。国の機関サイトの残存率というもので、5年残存率は40% (2015年)というものである。つまり半分 …

Trinity実行時のFASTQヘッダ問題

Written by bonohu in misc on 月 10 4月 2017.

Trinityを実行する際にFASTQのヘッダが問題となる事例。以前から同様の事が起きており、その場合は、 [shell] bzcat file.fq.bz2 | awk '{if(NR%4==3) $0=sprintf("'"+${index}%d"'",(1+i++)); print;}' | awk '{if(NR%4==1) $0=sprintf("'"@${index}%d"'",(1+i++)); print;}' | bzip2 …

諸行無常

Written by bonohu in misc on 日 09 4月 2017.

未来永劫続くプロジェクトやデータベースはないとはわかっていても、その継続を仮定してしまうのはなぜだろう …

国立遺伝学研究所一般公開2017年

Written by bonohu in misc on 土 08 4月 2017.

DBCLSが三島の国立遺伝学研究所に移転した2014年から毎年の参加で、これで4回目。しかしながら、雨になったのは初めてと。去年に引き続き、公開講演会の撮影補助。もちろん撮影にかかわる …

遺伝研の論文 in Pubmed

Written by bonohu in misc on 金 07 4月 2017.

昨日のDBCLSの論文数の検索と同じことを遺伝研でやっていみると…。

https://www.ncbi.nlm.nih.gov/pubmed/?term=National+Institute+of+Genetics[ad]

遺伝研ほどヒット数が多いと、右上に …

DBCLS10年の論文数

Written by bonohu in misc on 木 06 4月 2017.

とあるtweetがきっかけで、所属としてDatabase Center for Life Science (DBCLS)が載っているPubmedエントリを抽出してみた。

https://www.ncbi.nlm.nih.gov/pubmed?term=Database+Center+for+Life+Science[ad]

というURLでリストされる。2017年4月6日現在43本あって、1本を除いてすべてOpen Accessという徹底ぶりは凄い。みなさん、さすが …

転写因子のChIP-seqデータの可視化

Written by bonohu in misc on 水 05 4月 2017.

まずはChIP-Atlasで調べる。目的の転写因子があれば、ラッキー。ない場合は、"転写因子の遺伝子名"+"ChIP-seq"をqueryとしてNCBI GEOで検索。ヒットしてきたエン …

Overleaf

Written by bonohu in misc on 火 04 4月 2017.

ふとtwitterのタイムラインを見た時に「オンラインLaTeXエディター“Overleaf”：論文投稿プロセスを変革する共同ライティングツール」という日本語論文が情報管理に掲載 …

Data Authorship as an Incentive to Data Sharing

Written by bonohu in misc on 月 03 4月 2017.

The New England Journal of Medicine に掲載された論文(sounding board)、"Data Authorship as an Incentive to Data Sharing"　doi:10.1056/NEJMsb1616595。 Data Sharing に関わる Incentive として Data Authorshipを、というわかりやすい考 …