Altopiano di Asiago 2010

Ho trascorso le ferie di fine agosto in montagna. Tornando, una decina di giorni fà, ho ricevuto una newsletter dal fornitore dell’hosting nella quale veniva fatto riferimento ad alcuni disagi subiti da alcuni utenti a causa del crash del database.

Rimanendo un po’ perplesso, ma giusto per curiosità, ho aperto col browser il mio sito, trascurato per molte settimane. 

Ho sgranato gli occhi leggendo su una pagina semi-bianca il titolo  “jhjhlooddwwd: Solo un altro sito WordPress” !

Orrore e tragedia! Pochi istanti e la conferma dei tecnici dell’Hosting provider
e ho capito che il database del mio sito era uno di quelli sfortunati, cioè si era in pratico “fumato” a causa di un grave errore hardware del server, ma soprattutto che i dati non potevano essere ripristinati!

Chi predica bene razzola male: non avevo impostato backup periodici, e l’ultimo backup che avevo fatto manualmente al DB era purtroppo abbastanza vecchio da non contenere alcuni ultimi post! Accidentaccio… il contenuto di qualche articolo, a mio avviso, era veramente interessante ed era un peccato che fosse stato perso così.

Per fortuna che alcune idee buone vengono al momento giusto: grazie alla cache delle pagine nei motori di ricerca e
grazie anche alla latenza con la quale i crawlers effettuano la scansione dei siti, sono riuscito fortunosamente a recuperare e salvare tutti i contenuti persi.
Se la velocità di scansione fosse stata più elevata, anche per esempio settimanale, avrei recuperato solo parzialmente le informazioni: non tutti i mali vengono per nuocere quindi!

Grazie allora a

 Google,  Bing e  Gigablast

non lo conoscevo, ma ho utilizzato anche Gigablast, The “Green” Search Engine, la cui server farm viene alimentata al 90% dall’energia pulita del vento.
Poi, per non affidarmi esclusivamente a backup manuali, ho creato opportuni script per il backup:
Il database non è accedibile direttamente, ma solo via Web da MySqlAdmin e accedendo precedentemente da CPanel:
certamente sono precauzioni legate alla sicurezza, ma impediscono l’implementazione di un automatismo semplice.

Utilizzando Wget in 3 passi, si riesce a scaricare un backup gzippato del DB, simulando le stesse azioni che farebbe un utente reale.

Di seguito riporto il contenuto dello script backup.sh:

-- cpanel url
cpurl=https://cp.tophost.it/
cpusr=user1
cppwd=pass1

-- mysqladmin url
dburl=$cpurl/mysql/
dbusr=database_user
dbpwd=database_pass

-- file location
d=$(dirname $0)
bkfile="backup.sql-$(date +%F).gz"
bkurl="$dburl/export.php?export_type=server&db_select%5B%5D=database_user&what=s
ql&header_comment=&sql_compat=NONE&sql_structure=structure&sql_auto_increment=1&
use_backquotes=1&sql_data=data&showcolumns=yes&extended_ins=yes&max_query_size=5
0000&hexforbinary=yes&sql_type=insert&latex_caption=yes&latex_structure=structur
e&latex_structure_caption=Struttura+della+tabella+__TABLE__&latex_structure_cont
inued_caption=Struttura+della+tabella+__TABLE__+%28continua%29&latex_structure_l
abel=tab%3A__TABLE__-structure&latex_data=data&latex_showcolumns=yes&latex_data_
caption=Contenuto+della+tabella+__TABLE__&latex_data_continued_caption=Contenuto
+della+tabella+__TABLE__+%28continua%29&latex_data_label=tab%3A__TABLE__-data&la
tex_replace_null=%5Ctextit%7BNULL%7D&csv_data=csv_data&export_separator=%3B&encl
osed=%22&escaped=%5C&add_character=%5Cr%5Cn&csv_replace_null=NULL&excel_data=exc
el_data&excel_replace_null=NULL&excel_edition=win&htmlexcel_data=htmlexcel_data&
htmlexcel_replace_null=NULL&htmlword_structure=structure&htmlword_data=data&html
word_replace_null=NULL&pdf_data=pdf_data&pdf_report_title=&xml_data=xml_data&asf
ile=sendit&filename_template=__SERVER__&remember_template=on&compression=gzip" 

/usr/bin/wget  --save-cookies=c --keep-session-cookies --http-user=$cpusr --http
-passwd=$cppwd -O $d/u1 -q $cpurl
/usr/bin/wget  --save-cookies=c1 --load-cookies=c --keep-session-cookies --http-
user=$dbusr --http-passwd=$dbpwd -O $d/u2 -q $dburl
/usr/bin/wget  --save-cookies=c2 --load-cookies=c1 --keep-session-cookies --http
-user=$dbusr --http-passwd=$dbpwd -O $d/$bkfile -q $bkurl

 
Per quanto riguarda la copia del filesystem ho utilizzato Lftp.

echo "open ftp://$login:$password@$desthost" > $tmpfile
echo "mirror -ec / $d/MIRROR/" >> $tmpfile
echo "exit" >> $tmpfile

/usr/bin/lftp -f  $tmpfile

Pomeriggio d'agosto sull'Altopiano

In questi giorni sto finendo di ri-caricare i contenuti persi. Ora, con i backup periodici schedulati e funzionanti, mi sento più tranquillo e sereno.

Riferimenti

- lftp: http://lftp.yar.ru/

- Cpanel: http://www.cpanel.net/

- MysqlAdmin: http://sourceforge.net/projects/mysql-admin/

- Altopiano di Asiago: http://www.asiago7comuni.to/it/home.htm

Custodivo la maggior parte dei dati sul mio buon vecchio (3 anni oramai) LACIE, un disco esterno USB da 250 GB. Solitamente faccio backup frequenti per i files di progetto e le fotografie digitali su DVD-ROM, ma nulla per quanto riguarda i montaggi dei filmati AVI, essendo questi di dimensioni spropositate: 50-60 GB complessivamente tra i files originali scaricati dalla videocamera digitale JVC, il montato, i files di contorno e i files temporanei… D’altronde per backuppare tutto ciò ci vorrebbe un’unità nastro o un altro disco fisso; e poi i tempi di backup non sarebbero proprio istantanei…

Lacie unità esterna

E la perdita dei dati a causa della rottura del disco è per me in generale una cosa tremenda!Così, per razzolare bene ed evitare la perdita dei suddetti montaggi video, ho acquistato un’unità esterna che implementasse la tecnologia RAID 1, ovvero la copia real-time dei dati (a livello di byte) tra due dischi. In questo modo, pur rimanendo la problematica del backup, ho aumentato l’integrità dei dati e la tolleranza ai guasti del disco.Ho acquistato un Mapower TB32, cioè un’unità esterna che espone al Sistema Operativo un unico disco (il mirror), mentre invece internamente ci sono 2 dischi SATA che lavorano in parallelo. La configurazione è semplice e viene effettuata solo in hardware tramite un jumper e lo stato dei  dischi è visualizzato tramite i led sul pannello frontale. Le connessioni esterne sono USB ed eSATA

Enclosure TB32 raid1

La sceneggiatura (alla Bill Maxwell) prevedeva quindi la copia dei dati tra le due unità USB. E la copia di 200 GB  non è una cosa da farsi con Windows Explorer, che è estremamente lento ed in caso di errori si ferma a metà.

Ho utilizzato invece Killcopy, un programma freeware che accellera la copia tra files sfruttando parallellismo e grandi buffer di memoria; inoltre può effettuare una verifica dei bytes scritti (utile nelle copie in rete), riservare lo spazio prima della copia effettiva (per ridurre la frammentazione del file) ed essere utilizzato dalla command line.  Cito brevemente  Teracopy, un altro programma con le stesse caratteristiche, disponibile gratuitamente per usi non commerciali.

E nel bel mezzo della copia massiva, dopo un centinaio di GB copiati,  ecco comparire i primi problemi: errori CRC, dovuti probabilmente a settori danneggiati o illeggibili… Non mi preoccupavo, finché questi comparivano su alcuni file thumb.db o su qualche foto già backuppata; mi sono seriamente preoccupato quando, ad un certo punto è comparso il popup di alert Disco non inizializzato, formattare il disco!

Ovviamente non ho seguito il suggerimento di Windows, e mi sono buttato freneticamente nell’attività di data recovery.

Il disco veniva riconosciuto tra le periferiche rimuovibili, la partizione del disco veniva riconosciuta dal Sistema come RAW, non più come NTFS, e questo significava che si era danneggiata l’area del disco dove risiedeva la MFT, quindi non l’elettronica o le meccaniche del disco.

Tutto sommato la situazione non era cosè catastrofica: quello che mi interessava veramente l’avevo già copiato e poi avevo alcuni backup delle foto e del software sviluppato; non mi ricordavo se mancava ancora qualche file…

Alla fine ho utilizzato GetDataBack for NTFS, un eccellente programma commerciale per il recupero dei dati: di fatto analizza i settori del disco alla ricerca di record e pezzi di directory; poi permette il salvataggio dell’indice così ricostruito su un file, in modo tale da poter accedere velocemente ai dati del disco anche in un secondo momento senza dover ripetere l’analisi. 

Alla fine ritengo di aver recuperato il 99% dei dati presenti sul disco USB, e comunque il 100% di ciò che mi interessava veramente.

Una storia comunque finita bene, anche se mi ha fatto sudare freddo perdendo un po’di tempo durante il week-end, e che mi ha dato ragione sull’importanza delle politiche di backup e salvaguardia dei dati per mezzo della tecnologia Raid.

Backuppare i backup in un ambiente di produzione è un esigenza indiscutibile; in questo caso la tipologia di backup prescelta è quella full, che può essere tranquillamente utilizzata per DB di piccole e medie dimensioni, ma che può essere modificata per esigenze diverse. I backup vengono salvati nella cartella C:\BACKUP\SQL\.

Da notare che un backup automatizzato tramite script di tutti i DB presenti sull’istanza minimizza sicuramente l’intervento amministrativo.

DECLARE @dbid int
DECLARE @dbname varchar(100)
DECLARE @sql varchar(1000)

DECLARE curs CURSOR LOCAL FORWARD_ONLY FOR
select database_id, [name] from msdb.sys.databases where name <> ''tempdb''
OPEN curs
FETCH NEXT FROM curs INTO @dbid, @dbname
WHILE @@FETCH_STATUS = 0
BEGIN

SET @sql = ''BACKUP DATABASE [''+@dbname+''] TO 

DISK = N''''C:\BACKUP\SQL\''+@dbname+''.bak''''
WITH NOFORMAT, INIT,  NAME = N''''''+@dbname+''-Full Database Backup'''',
SKIP, NOREWIND, NOUNLOAD,  STATS = 10''

RAISERROR(N''Executing... %s'',2,-1,@sql)
EXEC( @sql )
FETCH NEXT FROM curs INTO @dbid, @dbname
END

Lo script può facilmente essere integrato in un JOB e schedulato ogni notte. Di seguito riporto l’intero script per creare il JOB, lo STEP TSQL e la SCHEDULAZIONE relativa; ho evidenziato il codice precedente presente proprio nella creazione dello Step. Faccio notare che tutto l’output dello script viene appeso nel file C:\BACKUP\SQL\history.txt a mo’ di log.

USE [msdb]
GO

BEGIN TRANSACTION
DECLARE @ReturnCode INT
SELECT @ReturnCode = 0

IF NOT EXISTS (SELECT name FROM msdb.dbo.syscategories
WHERE name=N'[Uncategorized (Local)]' AND category_class=1)
BEGIN
EXEC @ReturnCode = msdb.dbo.sp_add_category
  @class=N'JOB',
  @type=N'LOCAL',
  @name=N'[Uncategorized (Local)]'
IF (@@ERROR <> 0 OR @ReturnCode <> 0) GOTO QuitWithRollback

END

DECLARE @jobId BINARY(16)
EXEC @ReturnCode =  msdb.dbo.sp_add_job
  @job_name=N'BACKUP FULL DB (Tutti i DB definiti sul questa istanza)',
  @enabled=1,
  @notify_level_eventlog=0,
  @notify_level_email=0,
  @notify_level_netsend=0,
  @notify_level_page=0,
  @delete_level=0,
  @description=N'Script per eseguire il backup FULL di tutti i database',
  @category_name=N'[Uncategorized (Local)]',
  @owner_login_name=N'sa', @job_id = @jobId OUTPUT

IF (@@ERROR <> 0 OR @ReturnCode <> 0) GOTO QuitWithRollback

EXEC @ReturnCode = msdb.dbo.sp_add_jobstep
  @job_id=@jobId,
  @step_name=N'LIST AND BACKUP ALL DATABASES',
  @step_id=1,
  @cmdexec_success_code=0,
  @on_success_action=1,
  @on_success_step_id=0,
  @on_fail_action=1,
  @on_fail_step_id=0,
  @retry_attempts=0,
  @retry_interval=0,
  @os_run_priority=0, @subsystem=N'TSQL',
  @command=N'
DECLARE @dbid int
DECLARE @dbname varchar(100)
DECLARE @sql varchar(1000)

DECLARE curs CURSOR LOCAL FORWARD_ONLY FOR
select database_id, [name] from msdb.sys.databases where name <> ''tempdb''
OPEN curs
FETCH NEXT FROM curs INTO @dbid, @dbname
WHILE @@FETCH_STATUS = 0
BEGIN

SET @sql = ''BACKUP DATABASE [''+@dbname+'']
TO  DISK = N''''C:\BACKUP\SQL\''+@dbname+''.bak''''
WITH NOFORMAT, INIT,  NAME = N''''''+@dbname+''-Full Database Backup'''',
SKIP, NOREWIND, NOUNLOAD,  STATS = 10''

RAISERROR(N''Executing... %s'',2,-1,@sql)
EXEC( @sql )
FETCH NEXT FROM curs INTO @dbid, @dbname
END

',
  @database_name=N'msdb',
  @output_file_name=N'C:\BACKUP\SQL\history.txt',
  @flags=6
IF (@@ERROR <> 0 OR @ReturnCode <> 0) GOTO QuitWithRollback
EXEC @ReturnCode = msdb.dbo.sp_update_job @job_id = @jobId, @start_step_id = 1
IF (@@ERROR <> 0 OR @ReturnCode <> 0) GOTO QuitWithRollback
EXEC @ReturnCode = msdb.dbo.sp_add_jobschedule
  @job_id=@jobId,
  @name=N'Ogni notte',
  @enabled=1,
  @freq_type=4,
  @freq_interval=1,
  @freq_subday_type=8,
  @freq_subday_interval=23,
  @freq_relative_interval=0,
  @freq_recurrence_factor=0,
  @active_start_date=20080506,
  @active_end_date=99991231,
  @active_start_time=20000,
  @active_end_time=235959

IF (@@ERROR <> 0 OR @ReturnCode <> 0) GOTO QuitWithRollback
EXEC @ReturnCode = msdb.dbo.sp_add_jobserver
        @job_id = @jobId, @server_name = N'(local)'
IF (@@ERROR <> 0 OR @ReturnCode <> 0) GOTO QuitWithRollback
COMMIT TRANSACTION
GOTO EndSave
QuitWithRollback:
    IF (@@TRANCOUNT > 0) ROLLBACK TRANSACTION
EndSave:

Il codice completo di backup_automatizzato dei DB di un’istanza SQL Server è scaricabile a questo link e faclimente  utilizzabile con copia e incolla in SQL Management Studio.