Šī gada atvērtā pirmkoda konferencē EclipseCon nelielu ieskatu Google's darbībā sniedza tās vice prezidents Urs Hoelzle.
Lai ātri tiktu galā ar milzīgajiem informācijas apjomiem Googlieši veiksmīgi izmanto kādu senu datu glabāšanas un apstrādes paņēmienu - darba dalīšanu. Taču tā vietā, lai izmantotu lielus un dārgus serverus, viņi darbina daudzas mazākas un lētākas mašīnas. Ierindas Google serveris maksā apmēram 1000$. Šīm lētajām mašīnām gan piemīt kāda vājība, proti, tās bieži plīst. Patiesībā ikdienu no ierindas iziet kāds no vairākiem tūkstošiem Google serveru. Lai no tā neciestu lietotāji Googleieši ir izstrādājuši automatizētu sistēmu, lai tiktu galā ar serveru problēmām.
Google roboti pārstaigā vairāk nekā 10 miljardu pasaules web lapu, tāpēc Googliešiem vajadzēja kādu drošu veidu kā uz saviem daudzajiem serveriem glabāt un efektīvi apstrādāt daudzos terabaitus savāktās informācijas. Šim nolūkam Googlieši izstrādāja paši savu failu sistēmu, kas ir īpaši optimizēta, lai darbotos lielā serveru tīklā, kur ik pa brīdim kāda mašīna nobrūk. Visa Google robotu savāktā informācija tiek sadalīta mazās 64 MB "drupatās", kuras katra pēc tam tiek nodublēta uz trīs dažādiem "piciņu" serveriem, kas noteikti neatrodas viena sviča vai elektrības kastes darbības zonā. Vairāki neatkarīgi master serveri vienmēr zina, uz kura no serveriem glabājas katra no "drupačām". Tāpat tie nepārtraukti pārbauda vai kādam no serveriem nav radušās kādas problēmas un vajadzības gadījumā atrod kādu citu serveri un uz kura pāris minūšu laikā tiek nodublētas bojātā servera "drupatas".
Darba dalīšana turpinās arī pie lietotāju pieprasījumu apstrādes. Katrs pieprasījums tiek sadalīts vairākās daļās, kas tiek izkaisītas uz vairākiem paralēli strādājošiem serveriem, katrs no tiem atgriež vairākus iespējamos rezultātus, kuri galvenajam serverim jāsakopo un rezultāts jāparāda lietotājam. Lai šāds process būtu iespējams Google programmas tiek rakstītas īpašā pašu Googlieši radītā vidē "Map/Reduce Framework", kas nodrošina automātisku un efektīvu datu izdalīšanu un rezultātu sakopošanu Google serveru tīklā.
Šķiet Googliešu sistēma darbojas gana labi, jo kopš 1997. gada, kad Googli darbināja divi parasti PC, kurus "neviens cits vairs neizmantoja", Google ir attīstījies līdz tādam līmenim, kad pat situācijā, kad no ierindas iziet 1800 no kopējiem 2000 "darba dalīšanas" serveriem, atlikušie tomēr veiksmīgi turpina savu lietotāju apkalpošanu. Tāpat Googles darbību neesot varējis apturēt arī pamatīgs ugunsgrēks kādā no viņu datu centriem, kura likvidēšanā esot piedalījušās sešas ugunsdzēsēju mašīnas.
Iedvesmu smēlos nowww.internetnews.com un www.informationweek.com, bet ja gribas uzzināt kā patiesībā darbojas Google, tad ieskaties šeit
2005. gada 5. martā 21:03
Kas Googlei vēderā? (5)
Autors: Orvils Apskatīt komentārus »
Atslēgvārdi: Google
Balsis: 0, vidējais vērtējums: 0