ArrayExpressデータのFTPミラーサイト構築
要するに、ArrayExpressのデータをコピった。やった事自体、簡単そうだが、転送量が数十TByteもあると、そう簡単にいかなかった。2016年5月に英国Cambridge郊外のHinxtonにあるEuropean Bioinformatics Institute(EBI)に行って打ち合わせしてきて、8月中頃に正式に自分がやることとなり。結果として、この11月末になんとか形になり、年越さずに済んでよかっただけでなく、週末からの学会年会(分生)に間に合った。
最初は、普通にrsyncでやっていて、そのペースだと2年以上かかることがわかり、絶望に打ちしがれつつも作業を継続した。それを先方に伝え、asperaのサーバーを用意してもらい。その後も何回もやりとりして、なんとか超高速にデータ転送することが可能となった。すると今度はディスク容量が逼迫して、disk full直前で一旦止めて、とか波瀾万丈だった。
DDBJのニュースにまでしていただいたが、言われてみればDDBJとDBCLSの協力関係の賜物。一昔前なら不可能だった。
私にとっては小さな一歩だが、センターにとっては偉大な一歩だ
データベースは維持してナンボのもの。今後の継続的なactionに乞うご期待。