AI Agents - Введение в терминологии LLM и AI

LLM - это модель, которая означает уравнение. Пример: Модель фактически состоит из весов. В любой модели, например, модели ChatGPT или модели Gemini, они использовали бы большое количество входных данных для обучения модели. Ввод означает большое количество текстовых / графических данных, доступных в Интернете. Ввод был бы подан в архитектуру Трансформера, чтобы получить выход, который является моделью. Весы - это числа с плавающей точкой, которые представляют изученные параметры модели. Модель параметров 10В или 100В означает, сколько параметров (весов) присутствует внутри модели. Мы не можем хранить модель большого параметра на нашем компьютере из-за недостаточного хранения и вычислительной мощности. Хранение и мощность процессора / графического процессора решают, какой размер модели может быть запущен на компьютере. Для локального запуска модели можно использовать один из следующих инструментов: Llama.cpp Ollama LM Studio Open Weight Model vs Open Source Model Модель с открытым весом делится своими весами. Таким образом, мы можем запустить их, настроить и разместить их в локальной системе. Здесь не распространяется учебный код, данные и полная методология. Принимая во внимание, что в модели с открытым исходным кодом веса, код обучения, данные и иногда набор данных являются общими. Почему мы должны использовать LLM? LLM является предиктором следующего слова. Предположим, мы спросим: «Привет, как...» Ответ может быть: Как вы? Как поживаете? Как твоя жизнь? и т.д. Это возможности. Здесь, в большинстве случаев, ответ будет «Как дела?», потому что если слово имеет большее присутствие, оно имеет более высокую вероятность возникновения. Каждая возможность будет иметь счет от 0 до 1. У нас есть 3 управляющих параметра для управления выходом, генерируемым LLM. 1 Температура обычно устанавливается от 0 до 1. Он контролирует случайность модели. Если значение 0-0,3, что является низким, это означает генерацию наиболее вероятных слов, т.е. фактов или обычно встречающихся слов. Если значение высокое, модель выберет менее вероятные слова. Мы используем эту высокую ценность в повествовании и творческом письме. 2.Топ К контролирует количество возможностей. Например, K = 3 означает выбор только 3 наиболее вероятных возможностей. Топ К будет использоваться вместе с температурой. Например, если мы установим Top K = 5 и Temperature = 0,5, LLM будет использовать возможности выбранных значений Top K в зависимости от температуры. Топ К используется для ограничения числа возможностей. 3.Топ Пи. Это также называется методом выборки. Оценки вероятности складываются до тех пор, пока они не достигнут определенного значения в Top P. Также используется Top P вместе с температурой. Токены Токены — это процесс разделения слов на небольшие кусочки. Небольшая часть может быть не полной. Например, токен можно разделить на «to» и «kens». Они называются токенами, а процесс называется токенизацией. Токенизатор, например, используемый OpenAI и GPT, может быть использован. Мы можем указать размер токена, который мы хотим разделить. Каждый токен будет представлен числом, которое в свою очередь преобразуется в вставку. Контекстное окно Это кратковременная память. Окно контекста — это максимальное количество токенов, которые модель может видеть в данный момент времени. Короткое окно контекста и длинное окно контекста являются типами.