Katta til modellari (LLM) — milliardlab parametrli neyron tarmoqlar bo'lib, katta matn to'plamlari asosida o'qitilgan. Transformer arxitekturasi (Vaswani et al., 2017) inqilob qildi: self-attention mexanizmi gapning har qanday qismini boshqa qismlar bilan bog'lash imkonini beradi.
ChatGPT ning ishlash printsipi: RLHF (Reinforcement Learning from Human Feedback) — model o'qituvchilari yaxshi javoblarni tanlagan, keyin bu ma'lumot bilan model yanada yaxshilangan. Tokenizatsiya — matn kichik bo'laklarga bo'linadi. "Hallucination" muammosi — model noto'g'ri ma'lumotni ishonchli ko'rsatishi. Shu sababli muhim qarorlar uchun har doim tekshirish zarur.
Bu mavzu bo'yicha kurslarimiz