Microsoft spustil Orca, skvělý nový jazykový model, který by mohl podpořit budoucnost AI chatbotů, jako je ChatGPT. Je o dost menší (13 miliard parametrů) než jeho oblíbené protějšky, ale už překonal ChatGPT od Open AI a v některých benchmarcích dokonce dal modelu GPT 4 (údajně s 1 bilionem parametrů) zabrat. Když už mluvíme o penězích, trénovat ve srovnání s těmi velkými stojí velmi málo. Navíc je to open-source. No, to je na tom to nejzvláštnější a myslím, že jsme s tím měli začít.
Ať tak či onak, pojďme se dozvědět, jak jeho design a provoz záleží na současném a budoucím výzkumu a vývoji umělé inteligence.
Jak Orca funguje a proč je lepší než GPT
https://www.youtube.com/watch?v=–khbXchTeE
Než se dostaneme k Orce, pojďme pochopit problém, který se snaží vyřešit.
Trénovat velmi rozsáhlé jazykové modely (LLM), jako je Open AI GPT 4 nebo Google LaMDA nebo PaLM 2, vyžaduje miliardy. To jsou miliony za shromažďování dobrých dat, školení, vylepšování a posilování učení pomocí lidské zpětné vazby.
Čtěte také: 4 nové funkce nového GPT 4, díky kterým je ChatGPT pokročilým multimodálním chatbotem
Ne všechny společnosti, natož malé výzkumné skupiny, takové peníze mají. Také GPT 4 a podobné jsou pro své vlastní dobro příliš silné a všestranné. Klienti těchto LLM nemusí všechny tyto znalosti a dovednosti potřebovat. Takže něco levnějšího, ale zároveň specializovanějšího, chcete-li, tito zákazníci potřebují.
Orca tyto dva požadavky nejen splňuje, ale je také v některých ohledech chytřejší.
Je to díky tomu, jak je navržen tak, aby se věci učil.
Učí se nebo spíše napodobuje GPT 4 a podobné modely LLM. Zachycuje však nejen to, co GPT 4 dělá, ale také to, jak něco dělá, a takříkajíc myšlenkový proces za jeho akcí.
Microsoft také představil novou metodu učení pro Orca:
Orca se učí ve dvou fázích. Nejprve řeší jednodušší dotazy ChatGPT, pak je vytvořeno k použití těchto zkušenostních znalostí k učení se z GPT 4 k řešení složitějších dotazů.
Čtěte také: Google Bard byl vylepšen o úžasné schopnosti umělé inteligence, ale je lepší než ChatGPT?
Takže vidíte, snaží se napodobit lidské rozumové schopnosti napodobováním způsobu, jakým lidé myslí a jednají. Pokud je tak efektivní, jak je popsáno, pak máme model LLM nebo AI schopný narušit budoucnost AI.
Uvidíme, zda výkon Orcy odpovídá jeho slibné teorii. Samozřejmě to očekáváme s určitým strachem.
