AI-förmågors utveckling: En resa från 1998 till nu
De senaste Ären har vi sett stora framsteg i vad AI kan göra, men vÄr förmÄga att bedöma dessa förmÄgor har aldrig varit sÀmre. En studie tittar pÄ hur AI-förmÄgor har utvecklats över Ären (Kiela et al. 2023) och anvÀnder ett nytt benchmarks-system. Studien visar hur AI-system presterar pÄ olika förmÄgor i förhÄllande till mÀnsklig prestation. Varje förmÄga nÀr den introducerades har satts till -100 pÄ grafen. 0 representerar den mÀnskliga prestationsnivÄn, som anvÀnds som ett riktmÀrke för att utvÀrdera AI-prestationen.
đ AI krĂ€ver dynamiska benchmarksStudien argumenterar för att benchmarks bör vara lika dynamiska som modellerna de utvĂ€rderar för att hĂ„lla jĂ€mna steg med den snabba utvecklingen inom AI-teknologi. Genom att lĂ€gga nya prestandasiffror ovanpĂ„ de gamla siffrorna observerade de att takten för benchmarkmĂ€ttnad har accelererat betydligt sedan AI-revolutionen. Denna snabba framgĂ„ng understryker behovet av kontinuerligt uppdaterade och dynamiska benchmarks.
Â
Studien tittar pÄ mÄnga olika förmÄgor, hÀr zoomar vi in pÄ:
đ LĂ€sförstĂ„else - Ser pĂ„ hur AI-modeller extraherar eller hĂ€rleder svar frĂ„n textstycken.
đźPrediktiv resonemang - Involverar AI-modellers förmĂ„ga att förutse framtida utfall eller fortsĂ€ttningen av en sekvens baserat pĂ„ givna data. Det krĂ€ver förstĂ„else för kontext och mönster för att göra korrekta förutsĂ€gelser.
đ§ Tester av allmĂ€n kunskap - Dessa tester bedömer en AI:s bredd av kunskap över olika Ă€mnen, och utvĂ€rderar dess förmĂ„ga att förstĂ„ och svara pĂ„ ett brett spektrum av Ă€mnen liknande mĂ€nskliga allmĂ€nkunskapstester.
âMatematiska problem-lösningar - Detta hĂ€nvisar till en AI:s förmĂ„ga att tĂ€cka matematiska utmaningar, vilket krĂ€ver att den utför berĂ€kningar, förstĂ„r matematiska koncept och löser problem steg-för-steg, liknande lösningen av matematiska textuppgifter.
đ„ïžKodgenerering - Detta involverar AI-modellers förmĂ„ga att skriva datorprogram baserat pĂ„ givna specifikationer eller beskrivningar i naturligt sprĂ„k, och utvĂ€rderar deras förstĂ„else för programmeringslogik och förmĂ„ga att skapa fungerande mjukvara.
đ§©Komplext resonemang - Detta testar en AI:s förmĂ„ga att hantera sofistikerade problemlösningsuppgifter som krĂ€ver flersteg logiskt tĂ€nkande, förstĂ„else av relationer mellan koncept och tillĂ€mpning av avancerade resonemangsfĂ€rdigheter för att nĂ„ lösningar.
