Reference questions
For each bot you define a set of questions with the expected answers. Runs use the bot's real answer path, not a separate test path.
ArtinBotQuality control
How do you know your bot still answers correctly? Measure it with golden questions
You set the bot up once, but knowledge, prices and terms change every week. Golden questions re-run your reference questions after each change and score the result.
Silent breakage is the most dangerous kind
When a document changes or a setting is edited, the bot can start answering a few questions worse for no visible reason and no error appears. The customer notices first, not your team.
The answer is to measure before the customer does: a set of reference questions whose correct answers you know, run through the bot's real answer path and scored every time. If something drops, you know straight away.
Capabilities
Measure quality instead of guessing
Judging and pass mark
The bot's answer is compared with the expected one and scored. The pass mark is configurable per bot.
Automatic runs after changes
When knowledge or settings change, a run starts automatically: after a 30-minute settling period and at most 3 times a day. Automatic runs do not start without a baseline run.
Quality-drop alert
If the score falls, an immediate alert and a quality-drop badge appear on the workbench.
Use cases
Where it helps most
Before publishing a change
After editing a document or instruction, check the result before customers see it.
Businesses whose prices and terms keep changing
After every update, know that the sensitive answers are still right.
Teams where several people edit knowledge
One person's change does not silently break another's answers.
Tenders and enterprise delivery
An accuracy figure measured on the customer's own questions can be presented, not just claimed.
Why ArtinBot
Compared with manual testing
Manual testing
You ask a few questions each time.
- Only a handful of questions get tried
- Must be repeated after every change
- The result is a feeling, not a number
- The customer finds the problem
Golden questions
A fixed set and a comparable score.
- All reference questions run every time
- Automatic runs after knowledge changes
- A score and trend you can compare
- Alerts before customers see anything
FAQ
Common questions about quality checks
What does a run cost?
Each run is deducted from the wallet because an AI model is called, but it is not deducted from the plan's monthly message allowance.
How often do automatic runs happen?
After a knowledge or settings change it waits 30 minutes and runs at most 3 times a day. You can also run it manually at any time.
Do I have to write the questions myself?
Yes — you define the reference questions and the expected answers, because only you know what the right answer is.
Which plans include it?
Golden questions are enabled from the Professional plan upward. Details are on the plans page.
Are unanswered questions tracked too?
Yes. Every question the bot could not answer is recorded and you can add the missing knowledge straight from there.
Measure your bot's quality
Start with the free trial and build your first set of reference questions.
آرتین‌مگ
مطالب مرتبط در آرتین‌مگ
این مطالب در آرتین‌مگ، رسانه‌ی تخصصی گروه آرتین، منتشر شده‌اند.
چت بات
شخصیت و خط قرمز چت‌بات: دستورالعمل، لحن، پیام خوش‌آمد و سؤال‌های پیشنهادی
چت‌بات شما با لحن چه کسی حرف می‌زند و چه چیزی را هرگز نباید بگوید؟ راهنمای تنظیم دستورالعمل، لحن، خط قرمز، پیام خوش‌آمد و سؤال‌های پیشنهادی در آرتین‌بات، با تست پیش از انتشار و محدودیت‌ها.
چت بات
از فایل اکسل فروش تا فهرست اقدام: هوش فروش آرتین‌بات چه کسی را، چرا و با چه پیامی پیگیری کنیم؟
فایل فروش‌تان پر از مشتری است ولی نمی‌دانید به کدام‌شان چه بگویید. راهنمای هوش فروش آرتین‌بات: بارگذاری اکسل، تحلیل RFM، کارت فرصت، پیام کمپین و کد تخفیف اختصاصی، با محدودیت‌ها و هزینه‌ها.
چت بات
چت‌بات بدون سایت: لینک چت عمومی برای بیو اینستاگرام، QR و پیامک
پیج دارید ولی سایت ندارید؟ لینک چت عمومی آرتین‌بات یک صفحه‌ی چت مستقل می‌سازد که می‌توانید در بیو، QR یا پیامک منتشر کنید. چه چیزی کار می‌کند، کجا بگذاریم و محدودیت‌ها چیست.
چت بات
چت‌بات را از روی سایت‌تان یاد بدهید، و نگذارید کهنه شود
قیمت سایت عوض شد ولی چت‌بات هنوز عدد قدیمی را می‌گوید. راهنمای آموزش چت‌بات از روی سایت در آرتین‌بات: خزنده با پیش‌نمایش و تأیید، به‌روزرسانی زمان‌بندی‌شده، فایل‌های اسکن‌شده، صوت و ویدیو، سناریوها و محدودیت‌ها.
چت بات
چت‌بات که نمی‌داند، نمی‌گوید: جلوگیری از جواب اشتباه با «نمی‌دانم» به‌جا
بدترین جواب چت‌بات «نمی‌دانم» نیست؛ جواب ساختگی است. راهنمای «نمی‌دانم» به‌جا در آرتین‌بات: حالت سخت‌گیر، حد اطمینان، پیام جایگزین، تحویل به انسان، سؤال‌های بی‌پاسخ و محدودیت‌ها.
چت بات
چت‌بات که نمی‌داند، نمی‌گوید: جلوگیری از جواب اشتباه با «نمی‌دانم» به‌جا
بدترین جواب چت‌بات «نمی‌دانم» نیست؛ جواب ساختگی است. راهنمای «نمی‌دانم» به‌جا در آرتین‌بات: حالت سخت‌گیر، حد اطمینان، پیام جایگزین، تحویل به انسان، سؤال‌های بی‌پاسخ و محدودیت‌ها.
خانواده‌ی آرتین
شرکت هوش گستر فردا آرتین چند محصول هوش مصنوعی فارسی می‌سازد. هر کدام کار خودش را می‌کند — این‌ها را ببینید تا بدانید کدام به کار شما می‌آید.
شرکت هوش گستر فردا آرتینشرکتسازندهی محصولات هوش مصنوعی فارسیشرکت هوش گستر فردا آرتین، مستقر در پارک علم و فناوری خراسان رضوی، سازندهی شش محصول هوش مصنوعی فارسی و یک رسانه‌ی تخصصی است. اینجا میبینید کدام راهکار به کار سازمان شما می‌آید و مرز هرکدام کجاست.artinbi.ir
داناباتمحصولدستیار سازمانی آفلاین، داخل شبکهی خودتاندانشنامه و دستیار هوشمند سازمانی که در استقرار On-Premise داخل شبکهی داخلی شما مستقر میشود. به فارسی از اتوماسیون اداری، دیتابیس زنده و اسناد سازمان سؤال بپرسید — بدون اینکه دادهای از سازمان خارج شود.در استقرار On-Premise داخل شبکهی خودتان نصب میشود و داده از سازمان خارج نمیشودdana-bot.ir
AgentsHubمحصولبستر یکپارچهسازی و حاکمیت ایجنت سازمانیایجنتهای سازمان از هر پیمانکار و با هر فناوری، زیر یک هویت واقعی کاربر، یک سیاست داده و یک لاگ ممیزی مشترک. کارکنان بهجای چند سامانه، یک در میبینند.هر واحد ایجنت خودش را ساخته و هیچکس نمی‌داند چه کسی چه کردagentshub.ir
جعبه ابزار هوش مصنوعی آرتینمحصولبیش از ۲۰ ابزار AI اداری و سندیبیش از ۲۰ ابزار هوش مصنوعی سازمانی در یک پنل: نامهساز، مترجم اداری، خلاصهساز، تولید تصویر، تبدیل صوت به متن، OCR، چارتساز و پاورپوینتساز.نامه، ترجمه، خلاصه، OCR و پاورپوینت — همه در یک پنل سازمانیtoolsai.ir
تلنتایآیمحصولاپ هوش مصنوعی فارسی برای کاربر عمومیاپلیکیشن فارسی هوش مصنوعی برای استفادهی روزمره: گفتگو، تولید و ویرایش تصویر، لوگوساز و اتاق جادویی. روی اندروید و وب، با یک اشتراک واحد.همه‌ی ابزارهای AI روزمره در یک اپ فارسی، بدون فیلترشکنtalentai.ir
چاریکمحصولهوش تجاری فروش و بازگرداندن مشتریچاریک فایل فروش شما را تحلیل می‌کند، مشتریهای ازدسترفته و در خطر ریزش را پیدا می‌کند و برای هرکدام یک پیشنهاد و پیام هدفدار بههمراه کد تخفیف می‌سازد تا برگردند.مشتریهایی که دیگر خرید نمیکنند را پیدا و برمیگرداندcharik.ir
آرتینمگرسانهمجلهی تخصصی هوش مصنوعی به زبان فارسیاخبار، مقالات تحلیلی و آموزش هوش مصنوعی به زبان فارسی. آرتین‌مگ رسانه‌ی مستقل گروه آرتین است و محصول نمیفروشد — اینجا یاد میگیرید، بعد تصمیم میگیرید.artinmag.ir
