Ollama, atvērtā pirmkoda rīks lielo valodas modeļu palaišanai uz paša datora, 9. jūlijā piesaistīja 65 miljonu dolāru B sērijas finansējumu. Raundu vadīja Theory Ventures, un tam pievienojās Benchmark, 8VC, Y Combinator, Pace Capital, 49 Palms un GTMFund. Kopā uzņēmums tagad ir savācis 88 miljonus dolāru — pirms šī raunda bija 15 miljonu A sērija, ko vadīja Benchmark partneris Pīters Fentons.
Aiz šīs summas stāv maza komanda. Ollama pašlaik strādā 14 cilvēku, un rīku katru mēnesi lieto 8,9 miljoni izstrādātāju. GitHub projektam ir 176 000 zvaigžņu un teju 17 000 atzarojumu. Kopš janvāra lietotāju skaits ir divkāršojies, un katru nedēļu pienāk aptuveni miljons jaunu instalāciju.
Ko Ollama dara
Ollama ļauj palaist atvērto svaru modeli uz sava klēpjdatora vai servera, neaizsūtot datus uz mākoni. Instalē rīku, ieraksti ollama run llama3, un modelis lejupielādējas no Ollama bibliotēkas un sāk atbildēt terminālī. Rīks strādā uz Mac, Windows un Linux.
Zem virsmas Ollama palaiž lokālu serveri, kas klausās uz localhost:11434 un atbild ar HTTP API. Tāpēc jebkura lietotne datorā var runāt ar modeli, neejot uz āru, un tieši uz šī API balstās vairāk nekā 67 000 integrāciju — no redaktoru spraudņiem līdz čatbota karkasiem. Modeļus tur saspiestā GGUF formātā, tā ka septiņu miljardu parametru modelis ietilpst dažos gigabaitos un darbojas arī uz iekārtas bez atsevišķas videokartes, kaut lēnāk. Ar Modelfile var uzstādīt sistēmas norādi vai parametrus un saglabāt to kā jaunu vietējo modeli.
Tieši lokālā darbība ir iemesls, kāpēc rīku pieņēmuši uzņēmumi, kas nedrīkst sūtīt datus ārā. Pēc uzņēmuma teiktā, Ollama izmanto 85% Fortune 500 sarakstā esošo firmu, tostarp valsts iestādes, veselības aprūpes un finanšu sektora klienti. Šajās nozarēs prasība noturēt tekstu un modeli uz savas iekārtas bieži ir stingrāka par jebkuru veiktspējas argumentu.
Lokālā palaišana maina arī izstrādes darbu. Modeli var izsaukt bez interneta, atbildes laiks nav atkarīgs no sveša servera slodzes, un par katru pieprasījumu nav jāmaksā. Tāpēc daudzi izstrādātāji Ollama tur ieslēgtu fonā, kamēr raksta kodu, un pieslēdz to redaktoram vai skriptam ar to pašu API. Trūkums ir vienkāršs: mājas dators nevar palaist paša lielākos modeļus, tāpēc lokālā izvēle bieži nozīmē mazāku modeli ar zemāku precizitāti.
Kāpēc tik daudz izstrādātāju
Ollama dibinātāji Džefs Morgans un Maikls Čiangs pirms tam strādāja pie Docker. Tā pieredze redzama arī tagad: viena komanda palaiž modeli tāpat, kā palaistu konteineru, un modeļu bibliotēka darbojas līdzīgi Docker attēlu reģistram. Morgans skaidroja TechCrunch, ka atvērtie modeļi bija grūti lietojami:
Atvērtie modeļi sāka parādīties 2023. gadā, bet tos bija ļoti grūti lietot. Tie bija taisīti pētniekiem, nevis programmētājiem.
Fentons no Benchmark, kurš vadīja A sēriju, salīdzina projektu ar dibinātāju iepriekšējo darbu. Pēc viņa vārdiem, Morgana un Čianga pie Docker uzbūvēto katru dienu lieto vairāk nekā 10 miljoni izstrādātāju, un spēja divreiz uztaisīt tik plaši izplatītu produktu ir reta. Tas skaidro, kāpēc raundu apsēda gan agrīnie investori, gan Y Combinator. Kopš tā laika Ollama pievienojusi arī atbalstu redzes modeļiem un lielākiem atvērtiem modeļiem, kas parādās gandrīz katru mēnesi.
No bezmaksas rīka uz biznesu
Pats Ollama paliek atvērtā pirmkoda un bezmaksas. Naudu uzņēmums pelna ar abonementu, kas maksā no 0 līdz 100 dolāriem mēnesī un dod piekļuvi lielākiem modeļiem caur paša mākoni. Norēķini balstās uz izmantoto GPU laiku, nevis apstrādāto žetonu skaitu, tāpēc izmaksas ir paredzamākas nekā vairumam mākoņa API. Piesaistīto naudu Ollama grib likt produktā un atvērtā pirmkoda kopienā, palielināt savu skaitļošanas jaudu un pieņemt darbā jaunus cilvēkus.
Konteksts palīdz saprast summas apmēru. Ollama nav vienīgais veids, kā palaist modeli lokāli — to dara arī llama.cpp un citi projekti, un tieši uz llama.cpp Ollama sākotnēji balstījās. Atšķirība ir ērtībā: viena komanda modeļa vietā, kur citur vajag pašam salikt saspiešanu, parametrus un servera slāni. Investorus piesaistīja tas, ka 14 cilvēku apkalpo tīklu, kas pēc uzņēmuma vārdiem ir lielākais atvērto modeļu ekosistēmā.
Kas paliek atklāts
Raunda paziņojumā nav skaitļu par ieņēmumiem vai to, cik no 8,9 miljoniem lietotāju maksā. Nav arī vērtējuma, par kādu uzņēmums piesaistīja naudu. Tāpat paliek jautājums, cik ilgi bezmaksas lokālais rīks un maksas mākonis turēsies līdzsvarā, kad investoriem vajadzēs atdevi. Pagaidām vienīgais skaitlis, ko var pārbaudīt katru nedēļu, ir gandrīz miljons jaunu instalāciju.
Komentāri
Šim rakstam vēl nav komentāru. Esi pirmais, kurš dalās ar savu viedokli.