Data storage in Subaru Telescope are roughly divided by three areas: group area, area in hard drive and scratch area. Steps for the data backup differ from each other. Here are the backup guideline for each.

=====1 Group area(/grpNN)=====

First of all, the group area is huge data storage consisting of combination of PetaSire and staging disk (hard drive). Uses' (group's) data is under directory named by group, which is under /grpNN(NN:01~05). That area are going to be removed next February, so data in the storage is not going to be readable. The use of the area will be stopped at the end of December. After next January, the area will be only used to back up the data. This area has a gigantic capacity because of the combined storage; however, it takes a massive time to read out the data stored. Approximately 70-80% of the data stored in the group area now are probably backed up by the end of next February.

Backing up the data stored in group are will be done by following procedures mentioned below.

1. Information about the amount of data stored in group area and hard drive area mentioned later is going to be updated on the Subaru Telescope website (http://www.naoj.org/stn), sorted by the users or groups. Please check this information and go over the summary of your data.
2. To list up the data needed to back up, please use only those four commands: cd, pwd, ls and rm, the access group area. It would help to avoid ball-up of the computer with group area. The use of other commands would cause drastically decline in speed at which the data would read out. This is because the cons traction of tape storage is like jukebox.
3. The data to back up has to be only the files, which would be difficult to restore from the original file or are not be stored in other storage like STARS. For example, the raw data of observation should be eliminated from the list.
4. For the users who store massive data like more than 100GB, please list up less than 20% of your data to back up.
5. Please submit the list of backup via E-mail at helpdesk@nsoj.org by Dec.31st, 2007. As it is received,Subaru Telescope will back up the data. First come, first served. Therefore, backup might not be completed before the computer replacement if the submission of the list is right before the due date.
6. The data read out from group area will be stored in another hard drive, which will be connected to network and accessible. As soon as Subaru Telescope build the network after the completion of readout or in the middle of it, we will let the users know that the data become accessible to make sure the copied files are correct. If it is all correct, please let us know that by the due date, which will be within two weeks. To get backup to be efficiently done, the data, which certain days passed after copying, will be deleted from staging disk. This means that the data will be completely gone. Even though there are any problems with copied files in the temporal storage, the data will not be able to read out again.
7. Subaru Telescope does not guarantee the integrity of the copied files although we will read out the data from group area and copy it instead of the users. It will be the users' responsibility to check the data.
8. The copied files stored in temporal storage will be possibly deleted after the completion of computer replacement. Therefore, the data should be stored in final storage by each users.

=====2 areas in hard drive (/home,/scr/local./ksdatNN, web/data in mail server etc.)=====

It will be faster to read out the data from these areas than from the group area because tape or staging disk is not applied to those areas. However, we recommend to start backing up in advance. The replacement might affect data area and cause problems with the connection of network. It would be used after next January; however, it would be safer to complete the backup by the end of December. Subaru Telescope will help to back up personal or group data to change over to the new system; however, the integrity of the copied data is not guaranteed. Also, the part of the data will be copied temporary as transition measures. This is not backing up the data, so please make sure to back up the data under the users' responsibilities. In the case when the user of the data is outside of Subaru Telescope, we will prepare temporary storage to store backed up data as much as possible. Also, we will send the users the copied data in tape if it is needed. Detailed information about it will be informed separately.
　

=====3 scratch area(/scrNN)=====

Scratch area is an area to store data only for limited period, which is four weeks. This area will be closed at the end of coming December; therefore, all the stored data would be automatically deleted by January 31, 2008. The data in this area will not be backed up by Subaru telescope. Please back up the data individually before the due as usual.

=====4 Questions? =====

Please contact helpdesk @ naoj.org.

データ保存の手順

ハワイ観測所のデータストレージは以下のように大きく3種類の領域に分けられます。データのバックアップの条件や手順はこの3つで異なりますので、以下では個別に説明いたします。
　

=====１　グループ領域(/grpNN)=====

グループ領域はステージングディスク（ハードディスク）とテープライブラリ(PetaSite)を組み合わせた巨大なデータ保管庫です。
/grpNN（NN:01~05)配下にグループ名のディレクトリがあり，その配下が当該グループもしくはユーザのデータとなります。
この領域は来年2月に撤去されますので、以降データ保管庫からデータを読み出すことは不可能となります。このためこの領域の運用は今年12月末までとし、1月以降はデータのバックアップに占有する予定です。このグループ領域はディスクとテープの組み合わせを使っているため保管容量が大きい反面、データの読み出しに時間がかかるという短所があります。現在の予想では、皆さんがグループ領域に保存されているデータの約70%から80%を、来年2月末までにバックアップできるものと考えています。

グループ領域に保管されているデータについては、以下のような手順でバックアップを進めていきます。

1. ハワイ観測所のWebサイト(http://www.naoj.org/stn)に、ユーザあるいはグループごとにグループ領域と後述のハードディスク領域にどの程度データを保管しているかを示すデータを公開します。このデータをご覧になって、ご自身が保管されているデータの概要をご確認ください。
   　
2. グループ領域と呼ばれる場所へcd, pwd, lsとrmの4つのコマンドだけを用いてアクセスしていただき、バックアップの必要なファイルをリストアップしていただきます。それ以外のコマンドによりテープライブラリ(PetaSite)への読み出しアクセスが集中しますと、ジュークボックスのような機械構造とテープからの読み出しのため、データ読み出し速度が極端に低下し、データのバックアップ自体が進まなくなるおそれがあります。
   　
3. バックアップを必要とするファイルは、STARSなど他の場所に保管されていないもの、またはオリジナルファイルからの復元が困難なものに限定してください。たとえば観測生データのバックアップは避けてください。
   　
4. 大量のデータ（おおむね100GB以上）を保管されているユーザに関しましては、保管データの20%以上をバックアップしない（削除対象とする）ようお願いします。
   　
5. バックアップを希望されるファイルのリストをhelpdesk@naoj.orgまで送付願います。リストの受付順にハワイ観測所がバックアップをおこないます。最終受付締め切りは12月31日といたします。ただし、リストの受領が遅くなりますと、前のバックアップ作業が完了するまで待たされることになりますし、バックアップが撤去期限内にできないという事態も想定されます。
   　
6. グループ領域から読み出されたデータは、別のハードディスクに保管します。このハードディスクはネットワークに接続し、データの読み出しのみ可能といたします。グループ領域からのデータの読み出しが完了、あるいは進行中にハワイ観測所からユーザに連絡しますので、ハードディスクにコピーされたファイルに障害がないかどうかをご確認いただき、別途設定します締め切り日（おおむね2週間以内）にハワイ観測所にご連絡ください。グループ領域からのバックアップを効率よく遂行するため、コピーから一定期間後にステージングディスクからデータを消去いたします。これにより、データはグループ領域から完全に消去されることとなり、万一コピーされたデータに障害があっても、再度読み出すことは不可能となります。
   　
7. ハワイ観測所はグループ領域からデータの読み出しとハードディスクへのコピーを行いますが、データの完全性については保証できません。データのチェックは各ユーザにおいておこなってください。
   　
8. コピー用のハードディスクはデータの一時保管にのみ使用することとなっていますので、計算機の移行作業終了後には消去される可能性があります。最終的なバックアップは各ユーザが取ってください。ハワイ観測所外の方のデータについては、ご希望によりテープなどにコピーし、送付もおこないます。データの送付に関しては別途ご案内いたします。

=====２　ハードディスク上の領域（/home，/scr/local，/ksdatNN，web/メールサーバ上のデータなど）======

この領域に関しては、テープやステージングディスクを使用していませんので、比較的迅速にバックアップできますが、余裕を見て早めにバックアップを開始されるようお薦めします。来年1月以降も運用は継続しますが、リプレイス作業のためデータ領域にアクセスできなくなる期間が発生することもありますので、今年12月末をバックアップ完了のめどとしてください。ハワイ観測所では個人・グループデータに関しては、新システムに移行するためのデータコピー、つまりバックアップのお手伝いはいたしますが、データの完全性については保証いたしかねます。また、ハワイ観測所は限られたデータを新システムに移行するためにデータの一時コピーをおこないますが、これはバックアップではありません。データのバックアップはあくまでもデータの所有者の責任において実施していただくようお願いいたします。データの所有者がハワイ観測所の外にいらっしゃる場合には、可能な範囲でバックアップ用一時データ待避場所などを用意します。また、ご希望によりテープなどにコピーし、送付もおこないます。データの送付に関しては別途ご案内いたします。
　

=====３　スクラッチ領域(/scrNN)=====

スクラッチ領域は4週間に限定したデータ保管領域です。本領域の新規/更新割り当ては今年12月末をめどに停止します。よって，来年1月末までに全てのデータが4週間の削除期限を超え，削除されることになります。この領域に関しては、これま同様削除期限までに各自でバックアップしていただくようにお願いします。ハワイ観測所では本領域のバックアップは行いません。

計算機のユーザの皆様にはご迷惑をおかけいたしますが、事情をご理解の上、ご協力を賜りますようよろしくお願い申し上げます。

=====４　ご質問、お問い合わせ =====

helpdesk @ naoj.orgまでお願いします。