مرگ «زمان حضور در اپ»: KPIهای سازمان در دوره‌ی AI

· ۴ دقیقه مطالعه · نوشته‌ی

بله، KPIهای سازمان در دوره‌ی AI عوض می‌شوند، و بعضی از محبوب‌ترین شاخص‌ها حتی گمراه‌کننده می‌شوند. اگر هنوز موفقیت محصول AI را با همان داشبورد چند سال پیش می‌سنجید، احتمالاً دارید بهبود را افت می‌بینید و افت را بهبود.

چرا «زمان حضور» دیگر خبر خوبی نیست

سال‌ها شاخص‌های درگیری کاربر (engagement) پادشاه داشبوردها بودند: کاربر فعال روزانه، زمان حضور در اپ، تعداد صفحه‌های دیده‌شده. منطقش این بود که هرچه کاربر بیشتر بماند، ارزش بیشتری گرفته.

AI این منطق را برعکس می‌کند. اگر دستیار هوشمند شما کار کاربر را در دو دقیقه به جای بیست دقیقه انجام دهد، زمان حضور نود درصد پایین می‌آید. داشبورد قرمز می‌شود، در حالی که مشتری احتمالاً راضی‌تر است.

مثال معروفش Klarna است. این شرکت فین‌تک سوئدی در سال ۲۰۲۴ اعلام کرد دستیار AI‌اش میانگین زمان حل مشکل مشتری را از ۱۱ دقیقه به ۲ دقیقه رسانده است. یعنی دقیقاً همان چیزی که مشتری می‌خواهد: کمتر ماندن، زودتر رفتن.

شاخص‌هایی که باید اضافه شوند

شاخص قدیمیچرا در دوره‌ی AI کافی نیستشاخص جایگزین یا مکمل
زمان حضور در اپکار سریع‌تر یعنی حضور کمترنرخ موفقیت در انجام کار (کاربر به هدفش رسید؟)
تعداد کلیک و تعاملAI به جای کاربر کلیک می‌کندزمان رسیدن به نتیجه
تعداد پیام در چتگفت‌وگوی طولانی ممکن است نشانه‌ی سردرگمی باشدنرخ اصلاح خروجی توسط کاربر
رضایت لحظه‌ای (ستاره‌ی بعد از چت)جواب مؤدبانه‌ی غلط هم ستاره می‌گیردنرخ بازگشت با همان مشکل در ۷ روز
هزینه‌ی توسعههزینه‌ی اصلی دیگر فقط ساختن نیستهزینه‌ی هر کار انجام‌شده (شامل هزینه‌ی مدل)

دو شاخص آخر جدول از همه مهم‌ترند، چون بیشتر از همه نادیده گرفته می‌شوند.

داشبوردی که تصمیم را عوض می‌کند

در یک جلسه‌ی مشاوره، شاخص‌های فروش و پشتیبانی‌تان را مرور می‌کنیم و می‌گوییم کدام عدد واقعاً باید روی داشبورد مدیریتی بیاید.

رزرو جلسه

کیفیت را جدا اندازه بگیرید

داستان Klarna یک ادامه هم دارد. در سال ۲۰۲۵ همین شرکت دوباره شروع به استخدام نیروی انسانی پشتیبانی کرد؛ مدیرعاملش پذیرفت که هزینه وزن زیادی در ارزیابی داشته و کیفیت خدمات آسیب دیده. یعنی شاخص سرعت عالی بود، ولی شاخصی که کیفیت را نشان بدهد کم بود.

درس این است: برای هر قابلیت AI دو دسته شاخص بگذارید. یکی برای کارایی (سرعت، هزینه، حجم) و یکی برای کیفیت (درستی جواب، نرخ بازگشت، نمونه‌برداری انسانی از گفت‌وگوها). اگر فقط دسته‌ی اول را داشته باشید، AI شما بهینه می‌شود برای اینکه زود تمام کند، نه اینکه درست تمام کند.

اقتصاد محصول هم عوض می‌شود

در نرم‌افزار کلاسیک، کاربر صدم تقریباً هزینه‌ای نداشت. در محصول AI، هر درخواست به مدل هزینه دارد. کاربری که زیاد از محصول استفاده می‌کند ممکن است از نظر مالی ضررده باشد. پس حاشیه‌ی سود بر اساس هر کاربر و هر کار باید وارد داشبورد مدیریتی شود.

همین منطق مدل قیمت‌گذاری را هم عوض کرده. به جای پول گرفتن بر اساس تعداد کاربر، بعضی شرکت‌ها بر اساس نتیجه پول می‌گیرند. مثلاً Intercom برای دستیار AI پشتیبانی‌اش به ازای هر گفت‌وگوی حل‌شده ۰٫۹۹ دلار می‌گیرد. این یعنی تعریف «حل شده» خودش یک KPI قراردادی شده و باید دقیق تعریف شود.

پیشنهاد ما برای شروع

  1. برای هر قابلیت AI بنویسید «کار موفق» دقیقاً یعنی چه.
  2. کنار هر شاخص سرعت، یک شاخص کیفیت بگذارید.
  3. هر هفته چند ده گفت‌وگوی AI را یک آدم بخواند و نمره بدهد.
  4. هزینه‌ی مدل را به ازای هر کار موفق حساب کنید، نه فقط قبض ماهانه.

ما در طراحی داشبوردهای فروش و CRM دیده‌ایم که مدیران معمولاً اول عددهای بزرگ را می‌خواهند: تعداد سرنخ، تعداد تماس. ولی عددی که تصمیم را عوض می‌کند معمولاً کوچک‌تر و دقیق‌تر است: چند درصدش به خرید رسید و چقدر برایمان هزینه داشت.

سری مدیریت محصول در دوره‌ی AI

این مطلب بخشی از سری نُه‌قسمتی «مدیریت محصول در دوره‌ی AI» نوشته‌ی منصوره رحمانی، مدیر ارشد محصول وستا، است.

  1. از Brand Man تا AI Agent: مدیریت محصول از کجا آمد؟
  2. وقتی ساختن ارزان شد: نقطه‌ی تحول AI برای تیم‌های محصول
  3. مدیر محصول در عصر AI: از هماهنگ‌کننده به قضاوت‌کننده
  4. مرگ «زمان حضور در اپ»: KPIهای سازمان در دوره‌ی AI (همین مطلب)
  5. وقتی هر قابلیتی کپی‌شدنی است، ارزش کجاست؟
  6. ماتریس تصمیم: چه چیزی را به AI بسپاریم؟
  7. جاهایی که AI با اطمینان اشتباه می‌کند · به‌زودی
  8. چک‌لیست اعتماد به تأمین‌کننده‌های AI · به‌زودی
  9. AI-first شدن نجاتتان نمی‌دهد · به‌زودی

پرسش‌های رایج درباره‌ی KPI محصول هوش مصنوعی

چرا «زمان حضور در اپ» برای محصول هوش مصنوعی شاخص خوبی نیست؟

«زمان حضور در اپ» برای محصول هوش مصنوعی شاخص خوبی نیست، چون AI کار را سریع‌تر انجام می‌دهد و حضور کمتر می‌شود. اگر دستیار کار بیست‌دقیقه‌ای را در دو دقیقه انجام دهد، زمان حضور نود درصد پایین می‌آید و داشبورد قرمز می‌شود، در حالی که مشتری احتمالاً راضی‌تر است.

برای محصول AI چه KPIهایی بگذاریم؟

برای محصول AI این KPIها را بگذارید: نرخ موفقیت در انجام کار، زمان رسیدن به نتیجه، نرخ اصلاح خروجی توسط کاربر، نرخ بازگشت با همان مشکل در ۷ روز و هزینه‌ی هر کار انجام‌شده با احتساب هزینه‌ی مدل؛ و کنار هر شاخص سرعت، یک شاخص کیفیت.

از تجربه‌ی Klarna با دستیار AI چه درسی می‌گیریم؟

Klarna در ۲۰۲۴ اعلام کرد دستیار AI‌اش زمان حل مشکل مشتری را از ۱۱ به ۲ دقیقه رسانده است، اما در ۲۰۲۵ دوباره نیروی انسانی پشتیبانی استخدام کرد چون کیفیت خدمات آسیب دیده بود. شاخص سرعت عالی بود، ولی شاخص کیفیت کم بود.

هزینه‌ی هر کار موفق در محصول AI یعنی چه؟

در محصول AI هر درخواست به مدل هزینه دارد، پس به جای قبض ماهانه باید هزینه‌ی مدل را به ازای هر کار موفق حساب کرد. بعضی شرکت‌ها هم بر اساس نتیجه پول می‌گیرند؛ مثلاً Intercom برای دستیار AI پشتیبانی‌اش به ازای هر گفت‌وگوی حل‌شده ۰٫۹۹ دلار می‌گیرد.

این مطلب برایتان مفید بود؟

درباره‌ی نویسنده

  • منصوره رحمانی
    مدیر ارشد محصول (CPO) وستا

    مدیر محصول با پیشینه‌ی طراحی رابط و تجربه‌ی کاربری (UI/UX) و طراحی گرافیک؛ کارشناسی فناوری اطلاعات از دانشگاه یزد. بیش از ۵ سال طراحی گرافیک و UI/UX، نزدیک دو سال طراح ارشد گرافیک در فدو (شرکتی در حوزه‌ی راهکارهای ERP) و از ۲۰۲۴ مدیر محصول و تجارت الکترونیک در ام وی ام ایزدی. دوره‌ی Product Management Bootcamp رهنما کالج را گذرانده است.

منابع

  1. Klarna AI assistant handles two-thirds of customer service chats — Klarna
  2. Klarna و بازگشت به نیروی انسانی — eMarketer
  3. Klarna، ۱۱ دقیقه به ۲ دقیقه — TechInformed
  4. قیمت‌گذاری Fin — Intercom
داشبوردی که تصمیم را عوض می‌کند

در یک جلسه‌ی مشاوره، شاخص‌های فروش و پشتیبانی‌تان را مرور می‌کنیم و می‌گوییم کدام عدد واقعاً باید روی داشبورد مدیریتی بیاید.

رزرو جلسه