Инженерия, безопасность и этика ИИ
Превратить работающую модель в пригодный, надёжный и подотчётный продукт
OVERVIEW
- Все статьи
- 6
- Начальный
- 2
- Средний
- 3
- Экспертный
- 1
Getting a model to work in a notebook is roughly a third of the job. The rest is engineering and governance: compressing it to a deployable cost, evaluating it rather than trusting a feeling, defending against injection and misuse, and being able to explain and attribute failure when it happens. This domain is the gate every model must pass to become a product.
Вопросы, на которые отвечает эта область
- Q1
How are large models compressed onto consumer hardware?
- Q2
How do you evaluate when there is no answer key?
- Q3
Why is prompt injection so hard to eliminate?
Статьи этой области
- 01Инфраструктура обучения и выводаЭкспертныйПамять определяет размер модели, а коммуникации — время обучения; чистая вычислительная мощность редко бывает узким местом
- 02Сжатие моделейСреднийСделать модель меньше, быстрее и дешевле почти без потери точности — но три сразу удаётся редко
- 03Оптимизация инференса и обслуживаниеСреднийОбучение случается один раз, вывод — миллиарды раз в день; быстрый первый токен и высокая пропускная способность обычно тянут в разные стороны
- 04Генерация с дополнением из поискаНачальныйВместо того чтобы втискивать знания в параметры, держать их снаружи и обращаться по мере надобности — как экзамен с открытой книгой
- 05Агенты и использование инструментовСреднийПусть модель не только отвечает, но и ищет, вызывает API, запускает код — и выбирает следующий шаг по полученному результату
- 06Безопасность, выравнивание и инъекция промптовНачальныйМодель оптимизирует прокси в функции потерь, а не то, что мы действительно хотим; зазор между ними и есть вся проблема выравнивания