Hvordan synkronisere filer til Amazon S3 på Linux

Amazon Simple Storage Service (S3) har mye å like. Det er billig, kan brukes til oppbevaring av en liten bit av data eller så mye du vil, og det kan brukes for å distribuere filer offentlig eller bare lagring av dine private data. La oss se på hvordan du kan dra nytte av Amazon S3 på Linux.

Amazon S3 er ikke hva du ønsker å bruke til lagring av bare en liten bit av personopplysninger. For det, kan det være lurt å bruke Dropbox, SpiderOak, ownCloud, eller SparkleShare. Som man er avhengig av hvor mye data, din toleranse for ikke-fri programvare, og hvilke funksjoner du foretrekker. For mine arbeidsfiler, bruker jeg Dropbox – i stor grad på grunn av sin LAN sync-funksjonen.

Men S3 er veldig bra hvis du trenger for å lage sikkerhetskopier av en stor mengde data, eller mindre mengder, men du trenger en ekstern backup. Det er også bra hvis du vil bruke S3 som vert filer for offentlig distribusjon og ikke har en server eller trenger å avlaste deling av data på grunn av problemer kapasitet. Kanskje du bare ønsker å bruke den til å være vert for en blogg, billig. S3 har også noen fiffige funksjoner for innholdsdistribusjon og datalagring fra flere regioner, som vi vil komme inn i en annen tid.

Å få Tools

Du kan bruke S3 i en rekke måter på Linux, avhengig av hvordan du ønsker å administrere sikkerhetskopiene. Hvis du ser deg rundt, vil du finne en haug med verktøy som støtter S3, inkludert:

S3 Tools

Duplicity

Deja Dup

Dragon

S3 Verktøy og Duplicity er kommandolinje-verktøy som støtter S3. S3 Tools, som navnet tilsier, fokuserer på Amazon S3. Duplicity har S3 støtte, men støtter også flere andre metoder for å overføre filer. Deja Dup er en ganske enkel GNOME app for sikkerhetskopiering, som har S3 support takket være Duplicity. Drage Disk er et freeware (men ikke gratis programvare) verktøy som gir mer finkornet kontroll over sikkerhetskopier til S3. Den støtter også Google Cloud Storage og annen sky lagring programvare.

I forbindelse med denne artikkelen, jeg kommer til å fokusere på S3 Tools. Hvis du er en GNOME bruker, bør det ta svært liten innsats for å sette opp Deja Dup for S3. Vi skal takle Duplicity and Dragon Disk annen gang.

S3 Tools

Du kan finne S3 Tools i distribusjons er repositories. Hvis ikke, S3 Verktøy folk har pakke repositories og har støtte for flere versjoner av Red Hat, CentOS, Fedora, opensuse, SUSE Linux Enterprise, Debian og Ubuntu. Du vil også finne instruksjoner om hvordan du legger verktøyene på pakken repositories siden.

Når du har S3 Tools installert, må du konfigurere den med Amazon S3 legitimasjon. Hvis du ikke har registrert deg for dem ennå, traff Sign Up knappen på toppen av S3 oversiktssiden. Du vil også være lurt å se på prisingen, som starter på $ 0,125 per GB per måned.

Prisingen kalkulatoren kan hjelpe deg å få en idé om hvor mye det ville koste å lagre dataene i S3. For eksempel, hvis du lagrer 100GB i S3, det ville kjøre om $ 12,50 per måned - før eventuelle kostnader for dataoverføring ut
av S3. Transfer i
til S3 er gratis. Amazon lader også for Få /forespørsler og så videre - så hvis du bruker S3 å tjene opp innhold, da prisingen kommer til å være høyere

Tilbake til verktøy.. Du må konfigurere s3cmd (kommandolinjeverktøyet fra S3 Tools-prosjektet) som så:

s3cmd --configure

Det vil hjelpe deg gjennom å legge til dine Amazon legitimasjon og GPG informasjon hvis du ønsker å kryptere filer mens lagret på S3. Amazons lagring er ment å være privat, men du bør alltid anta at data som er lagret på eksterne servere er potensielt synlig for andre. Siden jeg lagring av informasjon som har noe reelt behov for privatliv (WordPress sikkerhetskopier, MP3-filer, bilder som jeg ville gjerne publisere på nettet uansett) jeg ikke bekymre overmuch om kryptering for lagring på S3

. Det er en annen Fordelen med foregående GPG-kryptering, som er at s3cmd kan bruke en rsync-lignende algoritme for synkronisering filer i stedet for bare gjen kopiere alt.

Nå til å kopiere filer og bruke s3cmd sync. Du vil finne at de s3cmd syntaksligner standard * nix kommandoer. Ønsker du å se hva som blir lagret i din S3 konto? Bruk s3cmd ls vise alle skuffer. (Amazon kaller 'em skuffer i stedet for kataloger.)

Vil du kopiere mellom bøtter? Bruk s3cmd cp bucket1
bucket2
. Merk at skuffer er spesifisert av syntaksen s3: //bucketname

For å sette filer i en bøtte, bruk s3cmd sette filnavn
s3. //bøtte
. For å få filer, bruker s3cmd få filnavn
lokal
. For å laste opp kataloger, må du bruke --recursive alternativet.

Men hvis du ønsker å synkronisere filer og spare deg noen problemer på veien, det er kommandoen sync. Det er dødt enkel å bruke:

s3cmd sync katalogen
s3: //bøtte /

Den første gangen, vil den kopiere opp alle filene. Neste gang vil det bare kopiere opp filer som ikke allerede finnes på Amazon S3. Men hvis du ønsker å bli kvitt filer som du har fjernet lokalt, bruker --delete-fjernet alternativet. Merk at du bør teste dette med --dry drevne alternativet først. Du kan ved et uhell sletter filer på den måten.

Det er ganske enkelt å bruke s3cmd, og du bør se på sin mann siden også. Den har også en viss støtte for CloudFront CDN tjeneste hvis du trenger det. Glad synkronisering! Anmeldelser