Գեներատիվ արհեստական բանականության (AI) նկատմամբ սկզբնական «ոսկու տենդը» փոխակերպվել է։ Մինչ ընկերությունները փորձնական նախատիպերից անցում են կատարում դեպի կորպորատիվ մասշտաբի ինտեգրում, քննարկումների առանցքում «ի՞նչ կարող է անել այս մոդելը» հարցից դարձել է «որքա՞ն արժե մեկ հարցումը» հարցը։ Մենք մտնում ենք Tokenomics-ի (թոքենների տնտեսագիտության) դարաշրջան, որտեղ LLM-ների (լեզվական մեծ մոդելների) թոքենները՝ որպես անտեսանելի արժույթ, դառնում են թվային փոխակերպման բյուջեի հիմնական ծախսային հոդվածը։
Թոքենների օգտագործման թաքնված բարդությունը
Այս մարտահրավերի հիմքում ժամանակակից AI-ի ճարտարապետական իրողությունն է։ Մոդելի հետ յուրաքանչյուր փոխգործակցություն՝ լինի դա հաճախորդների սպասարկման chatbot, թե ծրագրավորման ներքին օգնական, չափվում է թոքեններով՝ տեքստի այն հատիկավոր միավորներով, որոնք մշակում են մոդելները։ Բիզնեսի համար սա ստեղծում է ծախսային անկայուն կառուցվածք։ Ի տարբերություն ավանդական ծրագրային բաժանորդագրությունների, որոնք հաճախ ֆիքսված գին ունեն, AI-ի սպառումը փոփոխական է և չափազանց դժվար է կանխատեսելի։
Բարձր արագությամբ գործող միջավայրերը, ինչպիսիք են էլեկտրոնային առևտրի հարթակները, որոնք մշակում են հազարավոր հարցումներ, կամ ծրագրային ապահովման ընկերությունները, որոնք օգտագործում են AI-ն միլիոնավոր տող կոդի կարգաբերման համար, բախվում են այն խնդրին, որ չօպտիմիզացված հարցումները (prompts) հանգեցնում են «թոքենների արտահոսքի»։ Մեկ ոչ արդյունավետ հարցման կառուցվածքը կարող է հանգեցնել չափազանց երկար, ավելորդ կամ անհարկի բարդ պատասխանի, ինչը պարզ գործառնական գործողության արժեքը բազմապատիկ մեծացնում է։
Ծախսերի այս աճի հիմնական գործոններն են.
- Prompt Bloat (հարցման ուռճացում). API կանչի մեջ ավելորդ համատեքստի կամ ոչ պիտանի պատմական տվյալների ներառումը։
- Կրկնվող խոսակցական ցիկլեր. AI գործակալներում հիշողության կառավարման անարդյունավետությունը, որը ստիպում է մոդելին ամեն անգամ վերամշակել խոսակցության ամբողջ պատմությունը։
- Մոդելի սխալ ընտրություն. Բարձր պարամետրերով «առաջնային» (frontier) մոդելի օգտագործումը ցածր բարդության առաջադրանքների համար, որոնք կարող էին լուծվել ավելի մատչելի և մասնագիտացված մոդելով։
Կայուն AI ROI-ի օպտիմիզացում
Բիզնեսի ղեկավարների համար նպատակը AI-ից հրաժարվելը չէ, այլ «թոքենների նկատմամբ գիտակից» ճարտարագիտության ներդրումը։ Ներդրումների դրական եկամտաբերության (ROI) հասնելու համար անհրաժեշտ է փոխել մոտեցումը, թե ինչպես են ծրագրավորողներն ու գործառնական թիմերը կառավարում այդ մոդելները։ Այլևս բավարար չէ պարզապես միացնել API բանալին. ընկերությունները պետք է LLM-ների աշխատանքը վերահսկեն նույն խստությամբ, ինչպես ամպային պահեստավորման կամ սերվերային ենթակառուցվածքների ծախսերը։
Վերահսկողությունը վերականգնելու համար կազմակերպությունները գնալով ավելի շատ են կենտրոնանում հետևյալի վրա.
- Քեշավորման ռազմավարություններ. Մոդելի հաճախակի պատասխանները պահպանելը՝ նույն բովանդակությունը կրկին չգեներացնելու համար։
- Chain-of-Thought օպտիմիզացում. Ներքին գործընթացների կատարելագործում, որպեսզի գործակալները քաղեն միայն անհրաժեշտ տվյալները՝ փոխանակ ամբողջ տվյալների բազան մոդելին «կերակրելու»։
- Հիբրիդային օրկեստրացիա. Հարցումների ուղղորդում դեպի ավելի էժան և փոքր մոդելներ՝ առօրյա ավտոմատացման համար, միաժամանակ պահպանելով հզոր LLM-ները բարդ և բարձր արժեք ունեցող որոշումների կայացման համար։
Հաջորդ ֆինանսական տարվա կտրվածքով հաղթող կլինեն այն կազմակերպությունները, որոնք կտիրապետեն AI-ի հնարավորությունների և ծախսերի արդյունավետության հավասարակշռությանը։ Շեշտադրումը «ավելի շատ AI»-ից պետք է տեղափոխվի «ավելի խելացի AI», որտեղ ճարտարապետությունը նախագծված է թոքենների սպառումը նվազագույնի հասցնելու համար՝ առանց որակը կամ օգտակարությունը զոհաբերելու։ Այս փոփոխականները կանխատեսելու և վերահսկելու ունակությունը կտարբերի նրանց, ովքեր հաջողությամբ ինտեգրում են AI-ն իրենց բիզնես մոդելում, նրանցից, ում համար տեխնոլոգիան կդառնա մասշտաբով պահպանելու համար անհամեմատ թանկ։
AI-ի արդյունավետ ինտեգրումը պահանջում է ոչ միայն մոդելների հասանելիություն, այլև սպառման կառուցվածքային մոտեցում։ AOODAX-ում մենք մասնագիտացած ենք հատուկ AI գործակալների ստեղծման մեջ, որոնք նախագծված են բարդ աշխատանքային հոսքերը կառավարելու համար՝ պահպանելով ռեսուրսների օգտագործումը (ներառյալ թոքենների ծախսերը) օպտիմալ և ձեր բիզնես նպատակներին համահունչ։
