ZAVOD ZA AUTOMATIKU I PROCESNO RAČUNARSTVO FAKULTET ELEKTROTEHNIKE I RAČUNARSTVA SVEUČILIŠTE U ZAGREBU HTTP PROTOKOL OTVORENO RAČUNARSTVO Zagreb, 2006.
Sadržaj 1. Što je HTTP?... 3 1.1. Što su to resursi?... 4 2. Struktura HTTP transakcija... 5 2.1. Inicijalna linija za zahtjev... 6 2.2. Inicijalna linija za odgovor (status linija)... 6 2.3. Linija zaglavlja... 7 2.4. Tijelo poruke... 8 3. Primjer HTTP komunikacije... 8 4. Ostale HTTP metode... 9 4.1. HEAD metoda... 9 4.2. POST metoda... 9 5. HTTP proksiji... 10 6. Literatura... 11 2
1. Što je HTTP? HTTP je oznaka za Hypertext Transfer Protocol, mrežni protokol koji se koristi za prijenos datoteka i različitih tipova podataka (zajedničkim imenom nazvanih resursi) na World Wide Web-u bilo da se radi o HTML datotekama, slikama, rezultatima različitih upita ili nečemu drugom. Najčešće HTTP koji je aplikacijski protokol u Internet slojevitom modelu za prijenos podataka, koristi TCP/IP protokol mrežnog sloja. Slika 1. Klijent-poslužitelj model Preglednik je HTTP klijent budući da šalje zahtjeve HTTP poslužitelju (Web poslužitelju), koji onda obrađuje zahtjev i odgovor šalje natrag klijentu. Standarni port koji osluškuju HTTP poslužitelji je port 80 (dobro znani port) iako se može koristiti i bilo koji drugi. Na svaki zahtjev klijenta (web preglednika) da mu dostavi sadržaj neke datoteke, Web poslužitelj dostavlja klijentu jednu kopiju te datoteke. Kopije iste datoteke mogu biti dostavljene mnogim klijentima. Isto vrijedi i za HTML (engl. HyperText Markup Language) pa istu Web stranicu može istodobno gledati više korisnika koji rade na različitim domaćinima (engl. host) jer svaki korisnik gleda svoju kopiju izvornih datoteka koje sačinjavaju tu stranicu. Komunikacija između web pretraživača (kao klijenta) i web poslužitelja odvija se pomoću niza naredbi (zahtjeva i odgovora) koje su definirane HTTP protokolom. Definicija i softverska realizacija naredbi toga protokola aplikacijske razine nadograđuje usluge/funkcije TCP protokola (odnosno, TCP softvera) sa transportne razine mrežnog sustava. Dakle, naredbe HTTP softvera realiziraju se uz upotrebu funkcija/naredbi TCP softvera; to znači, da izvođenje HTTP naredbi "pokreće" određene funkcije/operacije TCP softvera (transportnog sloja), koji onda "pokreće" funkcije/operacije IP sloja ispod sebe, i tako do razine fizičkog sloja (na kojoj se odvija fizički prijenos zapisa/signala). HTTP je tekstualno orijentiran protokol; to znači, da se u okviru tog protokola, operacije "pokreću" pomoću tekstualnih ("linearnih") naredbi. Poruke koje razmjenjuju klijent i poslužitelj sastoje se od više takvih naredbi i imaju slijedeću osnovnu strukturu. 3
1.1. Što su to resursi? HTTP se koristi i za prijenos resursa, a ne samo datoteka. Resursi su bilo kakvi dijelovi informacija koji se mogu identificirati pomoću URL-a (engl. Uniform Resource Locator). URL je standardna adresa koja se koristi za pronalaženje stranice Web poslužitelja ili drugog uređaja na Webu ili Internetu i predstavlja opis lokacije određenog resursa na Webu. URL je mrežno proširenje standardnog koncepta imena datoteke: potrebno je naznačiti ime datoteke u direktoriju, ali i na kojem se računalu u mreži nalaze ta datoteka i direktorij te pomoću koje metode (protokola) se datoteka može dohvatiti. protokol://ime.računala/direktorij/resurs Tri su osnovna dijela URL adrese: ime protokola nakon kojeg slijede dvotočka i dvije kose crte ime Internet računala na kojem se nalazi traženi servis, a opcionalno slijedi broj porta nakon kojeg slijedi jedna kosa crta resurs je običan dokument ili datoteka na računalu (ili neka druga vrsta resursa) Tablica 1. Osnovne vrste URL-a Protocol HTTP FTP Gopher e-mail Telnet WAIS Usenet File URL http://<host>:<port>/<path>?<search> ftp://<login>:<password>@<host>:<port>/<path>;type=<type_code> gopher:// <host>:<port>/<gopher_path> mailto:<login@host> telnet://<login>:<password>@<host>:<port>/ wais://<host>:<port>/<database>?<search> wais://<host>:<port>/<database>/<type>/<path> news:<conference_group> news: //<host>:<port>/<conference_group>/<messag_number> file:///<host>/<path> Najpoznatija vrsta resursa je datoteka ali resurs također može biti i dinamički generiran rezultat upita, izlaz CGI skripte, dokument ili nešto drugo. Dok se proučava HTTP protokol najpraktičnije je o resursima razmišljati kao o nečemu sličnom datotekama budući da su gotovo svi resursi upravo datoteke ili izlazi skripti na poslužiteljskoj strani. 4
2. Struktura HTTP transakcija Kao i mnogi drugi mrežni protokoli, HTTP se temelji na klijent-poslužitelj modelu: HTTP klijent otvara vezu i šalje zahtjev HTTP poslužitelju, a poslužitelj vraća odgovor koji obično sadrži zahtijevani resurs. Nakon dostave odgovora, poslužitelj zatvara vezu (što HTTP čini stateless protokolom - ne pamte se nikakve informacije o vezi između transakcija). Slika 2. HTTP transakcija Format poruka zahtjeva i odgovora je sličan i engleski orijentiran. Obje poruke se sastoje od: inicijalne linije, nijedne ili više linija zaglavlja, prazne linije i opcionalno tijela poruke (npr. datoteka, podaci upita, ili izlaz upita). Drugim riječima, format HTTP poruke je: <inicijalna linija, ovisna o tipu (zahtjev ili odgovor) poruke> Zaglavlje1: vrijednost1 Zaglavlje2: vrijednost2 Zaglavlje3: vrijednost3 <ovdje ide opcionalno tijelo poruke, kao sto je sadržaj datoteke ili upita; može biti proizvoljne duljine, i sadržavati čak i binarne podatke $&*%@!^$@> Inicijalna linija i linije zaglavlja moraju završiti s CRLF dok ostale linije završavamo sa samo LF. 5
2.1. Inicijalna linija za zahtjev Inicijalna linija je različita za poruku zahtjeva odnosno odgovora. Linija za zahtjev ima 3 dijela odvojena razmakom a to su: ime metode, lokalna staza do zahtijevanog resursa, i verzija korištenog HTTP protokola. Tipična inicijalna linija izgleda ovako: GET /staza/do/datoteke/index.html HTTP/1.0 Napomena: GET je najpoznatija HTTP metoda koja sluzi za zahtjevanje određenog resursa. Postoje jošmetode POST and HEAD o kojima ćemo nešto više reći kasnije. Imena metoda se uvijek pišu velikim slovima. Staza je dio URL-a nakon imena racunala poznatog kao URI (engl. Uniform Resource Identifier) Verzija HTTP protokola je uvijek oblika "HTTP/x.x" 2.2. Inicijalna linija za odgovor (status linija) Inicijalna linija za odgovor (status linija) također ima 3 dijela odvojena razmacima: verziju HTTP protokola, statusni kôd odgovora koji je rezultat zahtjeva i kratak opis. Tipične statusne linije su npr. : HTTP/1.0 200 OK ili HTTP/1.0 404 Not Found Napomena: Verzija HTTP protokola je u istom formatu kao i kod linije za zahtjev, "HTTP/x.x". Statusni kôd je troznamenkasti cijeli broj u kojem prva znamenka određuje općenitu kategoriju odgovora: o 1xx označava samo informacijsku poruku o 2xx označava neku vrstu uspjeha o 3xx preusmjerava klijenta na drugi URL o 4xx označava pogrešku na strani klijenta o 5xx označava pogrešku na strani poslužitelja Najčešći statusni kodovi su : 200 OK Zahtjev je uspješno ostvaren i rezultirajući resurs je vraćen u tijelu poruke 404 Not Found Zahtijevani resurs ne postoji 301 Moved Permanently Resurs je premješten na drugi URL koji bi trebao biti 6
302 Moved Temporarily automatski prihvaćen od strane klijenta. Ovo često koriste 303 See Other CGI skripte za preusmjerenje preglednika na postojeću datoteku 500 Server Error Neočekivana pogreška na strani poslužitelja. Najčešći uzrok je skripta na poslužiteljskoj strani koja ima pogrešnu sintaksu, ili se iz nekog razloga ne može pokrenuti Potpuna lista statusnih kodova se može pronaći u HTTP specifikaciji. 2.3. Linija zaglavlja Linije zaglavlja pružaju informacije o zahtjevu ili odgovoru, ili o objektu koje se šalje u tijelu poruke. Linije zaglavlja su u karakterističnom tekstualnom obliku: jedna linija po zaglavlju oblika Header-Name: value završavajući sa CRLF (engl. Carriage Return Line Feed). Isti format se koristi za slanje e-mail i news poruka a definiran je RFC-om 822 u odjeljku 3. Neki detalji vezani za linije zaglavlja: kao što je prethodno istaknuto, trebaju završavati sa CRLF naziv zaglavlja nije case-sensitive (iako vrijednost to može biti) između : i vrijednosti može biti bilo koji broj praznina linije zaglavlja koje počinju sa prazninom ili tabulatorom su zapravo dio prethodne linije zaglavlja koja je razdvojena u više linija radi lakšeg čitanja Tako su slijedeća dva zaglavlja ekvivalentna: Header1: some-long-value-1a, some-long-value-1b HEADER1: some-long-value-1a, some-long-value-1b HTTP 1.0 definira 16 zaglavlja, no nijedno nije obavezno. HTTP 1.1 definira 46 zaglavlja i jedno (Host:) je obavezno u zahtjevima. Radi mrežne pristojnosti, sljedeća zaglavlja bi bilo pristojno koristiti u svojim zahtjevima: From: zaglavlje označava e-mail adresu osobe koja šalje zahtjev ili izvodi program koji to radi User-Agent: zaglavlje identificira program koji šalje zahtjev u obliku Imeprograma/x.xx", gdje je x.xx (obično) alfanumerička oznaka za verziju programa. Npr. Mozilla Firefox 1.5 šalje zaglavlje "User-agent: Mozilla/5.0". Ta zaglavlja pomažu webmasterima pri otkrivanju problema a također otkrivaju informacije o korisniku. Pri donošenju odluke o zaglavljima koja ćemo uključiti potrebno je pronaći ravnotežu između potreba webmastera i vlastitih potreba za privatnošću. 7
2.4. Tijelo poruke HTTP poruka može imati tijelo nakon linija zaglavlja. U odgovoru, to je mjesto gdje se zahtijevani resurs šalje klijentu (najčešća upotreba tijela poruke) ili se šalje dodatni tekst s objašnjenjem ako je došlo do pogreške. U zahtjevu se u tijelu poruke stavljaju korisnički podaci ili se uploadani podaci šalju poslužitelju. Ako HTTP poruka sadrži tijelo, obično postoje linije zaglavlja koje opisuju tijelo poruke. Npr.: Content-Type: zaglavlje označava MIME-tip podataka u tijelu kao što je text/html ili image/gif Content-Length: zaglavlje označava broj bajtova u tijelu 3. Primjer HTTP komunikacije Kako bismo dohvatili datoteku s URL-a http://www.ime-racunala.com/staza/datoteka.html potrebno je prvo otvoriti priključnicu (engl. socket) s računalom www.ime-racunala.com na portu 80 (koristi se po defaultu port 80 jer nije drugačije određeno URL-om). Nakon toga se kroz priključnicu šalje: GET /staza/datoteka.html HTTP/1.0 From: neki_korisnik@neko-racunalo.com User-Agent: HTTPTool/1.0 Poslužitelj bi trebao kroz tu istu priključnicu odgovoriti na ovaj način: HTTP/1.0 200 OK Date: Fri, 15 Dec 2005 23:59:59 GMT Content-Type: text/html Content-Length: 1354 <html> <body> <h1> neki tekst </h1>... </body> </html> Nakon što pošalje odgovor, poslužitelj zatvara priključnicu. Kako biste se bolje upoznali sa zahtjevima i odgovorima, možete eksperimentirati s HTTP-om koristeći telnet protokol. 8
4. Ostale HTTP metode Osim metode GET, dvije najčešće korištene metode su HEAD i POST. 4.1. HEAD metoda Zahtjev HEAD metodom je sličan GET zahtjevu osim što pitamo poslužitelj da nam vrati jedino zaglavlja odgovora a ne samo stvarni resurs. To je korisno za provjeru karakteristika resursa bez da ga zapravo downloadamo i tako štedimo bandwidth. Dakle, HEAD metodu koristimo kada nam zapravo nije potreban sam sadržaj neke datoteke. Odgovor na HEAD zahtjev nikada ne smije sadržavati tijelo poruke većsamo statusnu liniju i zaglavlja. 4.2. POST metoda POST zahtjev se koristi za slanje podataka poslužitelju za obradu na jedan od načina kao što je npr. CGI skripta. POST zahtjev se razlikuje od zahtjeva GET metodom u sljedećem: Postoji blok podataka poslanih sa zahtjevom u tijelu poruke. Obično postoje dodatna zaglavlja kao Content-Type: i Content-Length:. Zahtjevani URI ( ) nije resurs nego je to obično program koji obrađuje podatke koje mu pošaljemo HTTP odgovor je obično izlaz programa, a ne statična datoteka POST metoda se najčešće koristi za slanje podataka HTML obrazaca CGI skriptama. U takvom slučaju, Content-Type: zaglavlje je obično application/x-www-form-urlencoded a Content-Length: zaglavlje sadrži duljinu URL-enkodiranih podataka iz HTML obrasca. CGI skripta prima tijelo poruke preko STDIN-a i dekodira ga. Slika 3. HTML obrazac 9
Evo prikaza tipičnog slanja podataka preko obrasca korištenjem metode POST: POST /staza/skripta.cgi HTTP/1.0 From: neki_korisnik@neko-racunalo.com User-Agent: HTTPTool/1.0 Content-Type: application/x-www-form-urlencoded Content-Length: 32 home=cosby&favorite+flavor=flies Zahtjevi POST metodom se mogu koristiti za slanje bilo kakvih podataka, a ne samo podataka prikupljenih kroz HTML obrasce samo je potrebno osigurati da se klijentski i poslužiteljski program slažu u formatu komunikacije. 5. HTTP proksiji HTTP proksi (engl. proxy) je program koji se ponaša kao posrednik između klijenta i poslužitelja. Prima zahtjeve od klijenata i prosljeđuje ih odgovarajućim poslužiteljima. Na isti način preko njega prolaze i odgovori poslužitelja prema klijentu tako da proksi ima ulogu i klijenta i poslužitelja. Kada klijent koristi proksi onda sve zahtjeve šalje njemu umjesto poslužitelju u URL-u. Zahtjevi prema proksiju se u jednome razlikuju od standarnih HTTP zahtjeva: u prvoj liniji koriste kompletan URL zahtjevanog resursa umjesto korištenja samo staze. Npr. : GET http://www.ime-racunala.com/staza/datoteka.html HTTP/1.0 Na taj način proksi zna kojem će poslužitelju proslijediti zahtjev (sam proksi također može korisiti drugi proksi). Proksiji se koriste u vatrozidovima, lokalnim mrežema a česta je njihova primjena na Webu za filtriranje neprimjerenih i uvredljivih Web stranica te se takva u implementaciji nazivaju Web proksiji (engl. Web proxies). Druge vrste Web proksija reformatiraju Web stranice za namjenu u određenim uređajima, npr. Skweezer reformatira Web stranice za mobilne uređaja i PDA-ove. Posebna vrsta Web proksija su CGI proksiji (engl. CGI proxies). To su Web stranice koje omogućuju korisniku preko njih pristup drugim stranicama. Obično koriste PHP ili CGI za implementaciju proksija. CGI proksiji se često koriste za ostvarivanje prava pristupa stranicama koje su blokirane iz nekog razloga (npr. u školama, uredima i sl.). Budući da skrivaju korisnikovu IP adresu stranicama kojima se pristupa preko njih, ponekad se također koriste i za ostvarivanje određenog stupnja anonimnosti. 10
6. Literatura [1] M. Matijašević, G. Gledec, Internet, Osnovne arhitekture mreža, A. Bažant i dr., Element, Zagreb, 2003. p.254-275. [2]J. Marshall, HTTP Made Really Easy, URL: http://www.jmarshall.com/easy/http/ (10/11/05) 11