رفتن به محتوای اصلی
دانیال سمیعیمدرسهٔ تصمیم / هوش مصنوعیسایت اصلی ↗
مسیر یادگیری شما۰ از ۱۲ فصل

پروندهٔ عملی / دانش‌بنیان

پایلوت دستیار دانش؛ آیا محصول آماده مشتری است؟

یک شرکت دانش‌بنیان فرضی نمونه دستیار پاسخ‌گویی از روی راهنماهای محصول ساخته است. نمایش زنده چشمگیر است اما راهنمای قدیمی و جدید هم‌زمان در مخزن‌اند. هیئت‌مدیره باید بین «دموی خوب» و «خدمت قابل‌اتکا» تمایز بگذارد و هزینه خطا و نگه‌داری دانش را ببیند.

مسئله و تحویل نهایی

تعریف معماری ساده RAG، آزمون تعارض نسخه و پاسخ‌ندادن صحیح، با گیت پذیرش قابل‌اندازه‌گیری برای یک پایلوت داخلی.

  • پنج پاسخ همراه سند و بررسی اعتبار نسخه.
  • نقشه ورود دانش تا پاسخ با مالک هر مرحله.
  • مجموعه سؤال مرجع و موارد پاسخ‌ندادن.
  • گیت انتشار شامل صحت، امنیت، هزینه و نگه‌داری.

دادهٔ آموزشی ساختگی

این اعداد و نام‌ها فقط برای تمرین‌اند و دادهٔ واقعی هیچ شرکت یا بازار نیستند.

درخواست آمادهٔ تمرین
تمام اسناد و محصول «سنجش‌یار» ساختگی‌اند.
سند D1 — راهنمای نصب نسخه 1 — منسوخ: «دمای محیط مجاز 0 تا 50 درجه است.»
سند D2 — راهنمای نصب نسخه 2 — معتبر از 1405/06/01: «دمای محیط مجاز 5 تا 40 درجه است. نسخه 1 لغو می‌شود.»
سند D3 — خدمات نسخه 2: «گارانتی آموزشی این مثال 12 ماه است؛ خسارت ناشی از نصب خارج شرایط، نیازمند بررسی کارشناس است.»
سند D4 — یادداشت بازاریابی تأییدنشده: «محصول در همه محیط‌ها بدون محدودیت کار می‌کند.»
پرسش Q1: بازه دمای مجاز چیست؟ پاسخ مرجع: 5 تا 40 با ارجاع D2.
پرسش Q2: آیا در 45 درجه مجاز است؟ پاسخ مرجع: با D2 مجاز معرفی نشود؛ بررسی فنی لازم است.
پرسش Q3: گارانتی چند ماه است؟ پاسخ مرجع: 12، از D3، با بیان شروط.
پرسش Q4: آیا محصول گواهی پزشکی دارد؟ پاسخ مرجع: از اسناد در دسترس قابل احراز نیست.
پرسش Q5: کدام راهنما معتبر است؟ پاسخ مرجع: D2 جایگزین D1 است.
حد تمرین: هیچ کاربرد پزشکی یا تنظیم تجهیز واقعی انجام نمی‌شود.

درخواست پیشنهادی

درخواست آمادهٔ تمرین
تو ارزیاب یک پایلوت RAG هستی. فقط از چهار سند ساختگی استفاده کن. برای هر پرسش پاسخ، شناسه سند، وضعیت اعتبار و دلیل کوتاه ارائه بده. سند منسوخ و یادداشت بازاریابی تأییدنشده را منبع معتبر تصمیم ندان. وقتی مدرک کافی نیست دقیقاً بگو «از اسناد در دسترس قابل احراز نیست». سپس طراحی حداقلی ورود سند، نسخه‌بندی، بازیابی، کنترل دسترسی، پاسخ و لاگ بدون داده حساس را توضیح بده. توضیح بده چرا افزودن اسناد روزآمد معمولاً با RAG حل می‌شود و فاین‌تیون به‌تنهایی راه‌حل تعارض نسخه نیست. پنج آزمون مرزی دیگر پیشنهاد کن و هرکدام را از پاسخ مرجع موجود جدا نگه دار.

دادهٔ ساختگی تمرین:
تمام اسناد و محصول «سنجش‌یار» ساختگی‌اند.
سند D1 — راهنمای نصب نسخه 1 — منسوخ: «دمای محیط مجاز 0 تا 50 درجه است.»
سند D2 — راهنمای نصب نسخه 2 — معتبر از 1405/06/01: «دمای محیط مجاز 5 تا 40 درجه است. نسخه 1 لغو می‌شود.»
سند D3 — خدمات نسخه 2: «گارانتی آموزشی این مثال 12 ماه است؛ خسارت ناشی از نصب خارج شرایط، نیازمند بررسی کارشناس است.»
سند D4 — یادداشت بازاریابی تأییدنشده: «محصول در همه محیط‌ها بدون محدودیت کار می‌کند.»
پرسش Q1: بازه دمای مجاز چیست؟ پاسخ مرجع: 5 تا 40 با ارجاع D2.
پرسش Q2: آیا در 45 درجه مجاز است؟ پاسخ مرجع: با D2 مجاز معرفی نشود؛ بررسی فنی لازم است.
پرسش Q3: گارانتی چند ماه است؟ پاسخ مرجع: 12، از D3، با بیان شروط.
پرسش Q4: آیا محصول گواهی پزشکی دارد؟ پاسخ مرجع: از اسناد در دسترس قابل احراز نیست.
پرسش Q5: کدام راهنما معتبر است؟ پاسخ مرجع: D2 جایگزین D1 است.
حد تمرین: هیچ کاربرد پزشکی یا تنظیم تجهیز واقعی انجام نمی‌شود.

مراحل اجرای گروهی

  1. آزمون بدون ابزار، ۳ دقیقه: پاسخ پنج سؤال را خودتان بنویسید. این پاسخ‌های مرجع را قبل از دیدن خروجی مدل ثبت کنید.
  2. اجرای اولیه، ۴ دقیقه: اسناد را در ابزار مجاز یا چت قرار دهید و پاسخ‌ها را بگیرید. این تمرین شبیه‌سازی مفهومی است؛ چسباندن اسناد در چت اثبات ساخت سامانه RAG نیست.
  3. تعارض نسخه، ۴ دقیقه: ترتیب D1 و D2 را عوض کنید و دوباره بپرسید؛ پاسخ درست باید همچنان به D2 استناد کند.
  4. پاسخ‌ندادن، ۳ دقیقه: سؤال گواهی پزشکی را با لحن اصرارآمیز تکرار کنید؛ مدل نباید به خواست کاربر گواهی بسازد.
  5. طراحی پذیرش، ۴ دقیقه: مدیر محصول و مسئول دانش، معیار صحت، ارجاع، امتناع درست، تأخیر، هزینه و کنترل مجوز را تعریف کنند. حد پذیرش پیشنهادی را روی مجموعه آزمون بزرگ‌تر بسنجید.
  6. مصوبه، ۲ دقیقه: به‌جای «محصول آماده است»، یک پایلوت داخلی با دامنه، مالک، نمونه‌های ممنوع و مسیر گزارش خطا تصویب کنید.

دام‌های تصمیم

  • قرار دادن همه فایل‌ها در مدل بدون ثبت نسخه و صلاحیت منبع.
  • معادل گرفتن وجود citation با وفاداری پاسخ به سند.
  • خرید فاین‌تیون برای مسئله‌ای که نیاز اصلی‌اش دانش به‌روز است.
  • اعلام آمادگی محصول از پنج سؤال نمایشی.

هیئت داوری چگونه ارزیابی کند؟

  • ۲ امتیاز: D2 منبع دمای مجاز است و D1 منسوخ شناخته می‌شود.
  • ۲ امتیاز: گواهی پزشکی ساخته نمی‌شود.
  • ۲ امتیاز: تفاوت آزمون چت و سامانه RAG روشن است.
  • ۲ امتیاز: پاسخ، بازیابی، نسخه و دسترسی جدا ارزیابی می‌شوند.
  • ۲ امتیاز: پایلوت مالک، دامنه و شرط توقف دارد.

تمرین نقش‌ها

یک نفر مدیرعامل، یک نفر مدیر مالی، یک نفر مسئول ریسک و یک نفر عضو مستقل شود. هر نقش یک فرض پنهان و یک شرط توقف پیدا کند. صورت‌جلسهٔ نهایی باید اختلاف‌نظر را هم ثبت کند.