it-swarm.it

Come posso analizzare i file di registro di Amazon S3?

Quali sono le migliori opzioni per l'analisi dei file di log di Amazon S3 (Simple Storage)? Ho attivato la registrazione e ora ho i file di registro che assomigliano a questo:

858e709ba90996df37d6f5152650086acb6db14a67d9aaae7a0f3620fdefb88f files.example.com [08/Jul/2010:10:31:42 +0000] 68.114.21.105 65a011a29cdf8ec533ec3d1ccaae921c 13880FBC9839395C REST.GET.OBJECT example.com/blog/wp-content/uploads/2006/10/kitties_we_cant_stop_here_this_is_bat_country.jpg "GET /example.com/blog/wp-content/uploads/2006/10/kitties_we_cant_stop_here_this_is_bat_country.jpg HTTP/1.1" 200 - 32957 32957 12 10 "http://atlanta.craigslist.org/forums/?act=Q&ID=163218891" "Mozilla/5.0 (Windows; U; Windows NT 5.1; en-US; rv:1.9.0.19) Gecko/2010031422 Firefox/3.0.19" -

Quali sono le migliori opzioni per automatizzare i file di registro? Non sto usando altri servizi Amazon diversi da S3.

2
artlung

Amazon consiglia di utilizzare AWStats e include istruzioni su come impostare un file di configurazione di AWStats . Dovrai anche impostare un metodo per automatizzare il download dei log in cui si trova l'installazione di AWStats.

Personalmente uso cron per impostare uno script Python che utilizza boto per afferrare i file.

"""s3logDL.py

Downloads S3 logs and deletes old logs

Usage: python s3logDL.py"""

import sys
import os
from boto.s3 import Connection
import boto.s3

########################


########################

def main(argv):
    s3 = Connection('ACCESS_ID', 'PASSWORD')
    logsBucket = s3.get_bucket('logbucket')

    for b in logsBucket:
        #Download log
        print b.name
        key = logsBucket.get_key(b.name)
        fp = open("/PATH/TO/SAVE/POINT/" + b.name, "w")
        key.get_file(fp)

        #Delete log
        key.delete()

    exit(0)


########################

if __== '__main__':
    main(sys.argv)
2
Chealion

Stiamo per lanciare Qloudstat che ti fornirà analisi per il tuo account S3 come servizio.

1
David Kocher