الاختبار المعياري

اختبار معياري للكاتب الطبي بالذكاء الاصطناعي: Hanah وسبع أدوات كتابة طبية ذكية أخرى

شغّلنا الاستشارات المسجّلة الثلاث عشرة نفسها في Hanah و Heidi و Lyrebird و Freed و PatientNotes و CliniScripts و Preve و Arlo، ثم قيّمنا كل ملاحظة مقارنةً بما قيل فعلًا. وكل تفريغ نصي وملاحظة وتقييم منشور في هذه الصفحة، مع سبب كل منها.

92% من ملاحظات Hanah خالية من إشارات الهلوسة الكبرى بلغ المتوسط لدى الأدوات السبع الأخرى ٤٢%.
أقل بنسبة ٦١% في أخطاء التفريغ النصي ذات الدلالة السريرية بمعدل ٠.٨٥ لكل استشارة مقابل متوسط ٢.١٧.
أكثر بنسبة ١٣% في التفاصيل السريرية المطلوبة الملتقطة بنسبة ٩٣.١% مقابل متوسط ٨٢.٣%.

النتائج

الأدوات مرتّبة حسب نسبة التفاصيل السريرية المطلوبة التي التقطتها ملاحظاتها. وتُقيَّم ملاحظة كل أداة للطلب الأول في كل تسجيل.

الكاتب الطبي الذكي التفاصيل السريرية الملتقطة ملاحظات تتضمن كل التفاصيل السريرية إشارات الهلوسة الكبرى لكل ملاحظة علامات الهلوسة الكبرى، جميع الملاحظات علامات الهلوسة الكبرى لكل مستند، بما فيها الملخصات والرسائل علامات الهلوسة الكبرى، بما فيها الملخصات والرسائل ملاحظات بلا علامة هلوسة كبرى أخطاء التفريغ النصي ذات الدلالة لكل استشارة معدل خطأ الكلمات (WER)، الاستشارات باللغة الإنجليزية
Hanah١٣ ملاحظة 93.1% 62% 0.23 3 0.17 4 92% 0.85 1.6%
Heidi١٣ ملاحظة 91.4% 38% 0.31 4 0.22 5 69% 1.08 3.3%
CliniScripts١٣ ملاحظة 90.8% 62% 0.54 7 0.35 8 62% 1.08 2.1%
Lyrebird١٣ ملاحظة 89.7% 54% 0.85 11 0.74 17 38% 2.08 3.4%
Freed†١٢ ملاحظة 84.5% 50% 0.50 6 0.43 9 58% 1.67 19.4%
PatientNotes١٣ ملاحظة 75.3% 15% 2.46 32 2.43 56 15% 2.38 3.9%
Arlo١٣ ملاحظة 72.4% 31% 1.00 13 1.04 24 23% 3.62 5.2%
Preve*١٠ ملاحظات 72.2% 30% 2.40 24 2.40 24 30% 3.31 6.7%
متوسط الأدوات السبع الأخرى 82.3% 40% 1.15 13.9 1.09 20.4 42% 2.17 6.3%

* قُيِّمت Preve على ملاحظتها السريرية القياسية، لأنها لا تتبع التعليمات المخصصة إلا بعد رفع ملف PDF نموذجي لبناء قالب. ولا تُنشئ Preve ملاحظة من تفريغ نصي أقل من ٦٠٠ حرف، فلا توجد ملاحظات لأقصر ثلاثة تسجيلات لديها.

† واصلت Freed التسجيل بعد الضغط على «Stop» في أقصر تسجيل، ولم تُنتج تفريغًا نصيًا ولا ملاحظة، في محاولتين. وقُيِّمت Freed على التسجيلات الاثني عشر الأخرى.

خطأ التفريغ النصي الجسيم هو ما رأى مُقيِّم معمّى أنه قد يضلّل الممارس: دواء أو جرعة أو رقم أو جانب أو عَرَض خاطئ، أو نفي أو علامة تحذيرية مفقودة، أو محتوى سريري محذوف. أما معدل خطأ الكلمات فيعدّ كل كلمة بالتساوي، بما فيها كلمات الحشو.

دارت مراجعة جراحة الفك في معظمها بالماندرين. وشُغّلت في كل أداة مع ضبط لغة الإدخال على الماندرين حيث يتوفر هذا الإعداد. وارتكبت Heidi أقل عدد من أخطاء التفريغ الجسيمة فيها (٢)، تلتها Hanah (٥) ثم CliniScripts (٦). وارتكبت Freed عشرة أخطاء، و PatientNotes اثني عشر، و Lyrebird أربعة عشر، و Arlo و Preve ثمانية عشر خطأً لكل منهما. ولا يوجد في Arlo و Preve إعداد للغة الإدخال، أما Freed فتكتشف اللغة بنفسها.

حسب الاستشارة

التفاصيل السريرية الملتقطة، وتحتها عدد علامات الهلوسة الكبرى. اختاروا استشارة لقراءة كل ملاحظة وتقييم.

الاستشارةHanahHeidiCliniScriptsLyrebirdFreedPatientNotesArloPreve
إملاء تسليم في وحدة العناية المركزة ١٠٠%لا علامات كبرى ١٠٠%لا علامات كبرى ١٠٠%لا علامات كبرى ١٠٠%لا علامات كبرى ١٠٠%لا علامات كبرى ٨٣%٣ علامات كبرى ٨٣%علامة كبرى واحدة لا ملاحظة
إملاء تسليم في وحدة العناية المركزة، مع ضجيج الجناح ١٠٠%لا علامات كبرى ١٠٠%لا علامات كبرى ١٠٠%لا علامات كبرى ٩٢%علامة كبرى واحدة ٧٥%علامة كبرى واحدة ٨٣%علامتان كبريان ٨٣%علامة كبرى واحدة لا ملاحظة
زيارة منزلية لممرض المجتمع ١٠٠%لا علامات كبرى ١٠٠%لا علامات كبرى ٨٦%علامة كبرى واحدة ١٠٠%لا علامات كبرى ١٠٠%لا علامات كبرى ٦٤%لا علامات كبرى ٩٣%علامة كبرى واحدة ٩٣%علامتان كبريان
أخصائي تغذية، مراجعة القولون العصبي ١٠٠%لا علامات كبرى ١٠٠%لا علامات كبرى ١٠٠%علامة كبرى واحدة ٩٢%علامة كبرى واحدة ١٠٠%لا علامات كبرى ٨٣%علامتان كبريان ١٠٠%لا علامات كبرى ٩٢%٤ علامات كبرى
ألم الركبة، استشارة قصيرة ٨٣%لا علامات كبرى ٨٣%لا علامات كبرى ٨٣%لا علامات كبرى ٨٣%لا علامات كبرى لا ملاحظة ١٠٠%لا علامات كبرى ١٠٠%لا علامات كبرى لا ملاحظة
التأهيل المسبق لاستبدال الركبة ١٠٠%لا علامات كبرى ٨٨%لا علامات كبرى ١٠٠%لا علامات كبرى ١٠٠%علامة كبرى واحدة ١٠٠%علامة كبرى واحدة ١٠٠%علامة كبرى واحدة ١٠٠%لا علامات كبرى ٨٨%علامة كبرى واحدة
العلاج العضلي، ٥٠ دقيقة في غرفة صاخبة ١٠٠%لا علامات كبرى ٨٨%لا علامات كبرى ٥٦%لا علامات كبرى ١٠٠%لا علامات كبرى ٨١%علامة كبرى واحدة ٨٨%علامة كبرى واحدة ٨١%علامة كبرى واحدة ١٠٠%لا علامات كبرى
تقييم السلامة المنزلية في العلاج الوظيفي ١٠٠%لا علامات كبرى ١٠٠%علامة كبرى واحدة ١٠٠%لا علامات كبرى ١٠٠%علامة كبرى واحدة ١٠٠%لا علامات كبرى ٨٦%٣ علامات كبرى ٩٣%علامة كبرى واحدة ١٠٠%٧ علامات كبرى
طفل مصاب بالربو، ووالد محدود الإنجليزية ١٠٠%لا علامات كبرى ٨٦%علامة كبرى واحدة ١٠٠%لا علامات كبرى ١٠٠%علامة كبرى واحدة ١٠٠%لا علامات كبرى ٩٣%٣ علامات كبرى ٩٣%علامتان كبريان ٧١%٤ علامات كبرى
مراجعة جراحة الفك بالماندرين والإنجليزية ٨١%٣ علامات كبرى ٨٤%لا علامات كبرى ٨٤%علامتان كبريان ٦٦%٤ علامات كبرى ٦٢%علامتان كبريان ٤٧%١١ علامة كبرى ٦%علامتان كبريان ٢٢%٣ علامات كبرى
سقوط عن دراجة رباعية، في الهواء الطلق ٨٦%لا علامات كبرى ٨٦%علامة كبرى واحدة ١٠٠%علامتان كبريان ٨٦%علامة كبرى واحدة ٧٩%علامة كبرى واحدة ٦٤%٣ علامات كبرى ٧١%علامة كبرى واحدة ٦٤%٣ علامات كبرى
التأهيل الوقائي للركبة في الرغبي ٦٧%لا علامات كبرى ٨٣%لا علامات كبرى ١٠٠%لا علامات كبرى ١٠٠%علامة كبرى واحدة ٥٠%لا علامات كبرى ٣٣%علامتان كبريان ١٠٠%علامة كبرى واحدة ١٠٠%لا علامات كبرى
إصابة أوتار الركبة الخلفية في الرجبي، على خط الملعب ٩٣%لا علامات كبرى ٩٣%علامة كبرى واحدة ٩٣%علامة كبرى واحدة ٨٦%لا علامات كبرى ٨٦%لا علامات كبرى ٩٣%علامة كبرى واحدة ٧١%علامتان كبريان ٧٩%لا علامات كبرى

كل ملاحظة وتفريغ نصي وتقييم

اختاروا استشارة وأداة كتابة. يمكنكم تشغيل التسجيل، وقراءة التفريغ النصي المرجعي، ورؤية كل حكم في قائمة التحقق وكل علامة هلوسة مع سبب إعطائها.

جارٍ التحميل…

كيف أُجري الاختبار

التسجيلات

التسجيلات الثلاثة عشر هي مجموعة التسجيلات المرجعية لقياس الدقة لدى Hanah، وهي المجموعة نفسها التي تقف وراء نتائج الإصدارات في صفحة الشفافية لدينا. وتشمل إملاء تسليم في وحدة العناية المركزة مع ضجيج الجناح ومن دونه، واستشارات في العلاج الطبيعي والتغذية والعلاج الوظيفي والعلاج العضلي وتمريض المجتمع، وطفلًا مصابًا بالربو يتحدث والده إنجليزية محدودة، وسقوطًا عن دراجة رباعية سُجّل في الهواء الطلق، وجلسة علاج عضلي مدتها ٥٠ دقيقة فيها نحو سبع دقائق من الكلام في غرفة علاج صاخبة، ومراجعة لجراحة الفك دارت في معظمها بالماندرين. ولكل منها تفريغ نصي مرجعي حرفي وقائمة تحقق بالتفاصيل التي يجب أن تلتقطها الملاحظة.

الالتقاط

شُغّلت كل أداة في تطبيق الويب الخاص بها في Chrome، مع تسجيل الدخول بحساب قياسي. وشُغّل التسجيل عبر مدخل الميكروفون في المتصفح، بالملف نفسه لكل أداة. وبعد التسجيل، كُتبت طلبات كل تسجيل حرفيًا في ميزة المستندات أو المحادثة الخاصة بالأداة، مثل «Generate SOAP notes please» و«Summarise this consult in two sentences for a referral letter». وشُغّلت كل أداة مرة واحدة لكل تسجيل في ٦ أكتوبر ٢٠٢٦، و Arlo في ٢٠ أكتوبر ٢٠٢٦، مع ضبط لغة الإدخال على الإنجليزية حيث تطلب الأداة ذلك. وفي مراجعة الماندرين، ضُبطت الأدوات التي تتيح إعداد لغة الإدخال على الماندرين: Heidi على «English and Chinese (Mandarin)»، و Lyrebird و PatientNotes على «Chinese (Mandarin, Simplified)». ولم تُنتج CliniScripts أي تفريغ نصي عند اختيار الصينية والإنجليزية في محاولتين، فاستُخدم إعدادها القياسي. ولا يوجد في Arlo إعداد للغة الإدخال. وتبني Arlo المستندات من قوالب محفوظة لا من مربع نص حر، لذلك كُتب كل طلب حرفيًا في مولّد القوالب الخاص بها، واستُخدم القالب الناتج دون تعديل.

التقييم بلجنة تحكيم من Claude

قيّم الملاحظاتِ Claude، النموذج الذي طوّرته Anthropic. ففي كل تسجيل، خُلطت مخرجات كل أداة خلف حرف مع حذف أسماء المنتجات، وقُيّمت مقارنةً بالتفريغ النصي المرجعي وفق معايير تقييم ثابتة. ويُعلَّم كل بند في قائمة التحقق بنعم أو جزئيًا أو لا. وتُدرج كل عبارة لا يدعمها التفريغ النصي علامةَ هلوسة: كبرى إذا كان من شأنها تغيير الرعاية أو تحريف الصورة السريرية (عَرَض أو نتيجة أو دواء أو تشخيص أو خطة مختلَقة، أو جانب خاطئ أو اسم دواء خاطئ)، وصغرى في غير ذلك. وفي ٢٠ أكتوبر ٢٠٢٦، عند إضافة Arlo، أُعيد تقييم ملاحظات جميع الأدوات وتفريغاتها النصية معًا في الحزم المعمّاة نفسها، فقيّم المُقيِّم نفسه الأدوات الثماني كلها. ولم تُكشف هوية الأدوات إلا بعد تقييم كل التسجيلات. وتجدون معايير التقييم كاملة في المنهجية لدينا.

أخطاء التفريغ النصي

طوبق كل تفريغ نصي كلمةً بكلمة مع المرجع الحرفي. واستُبعدت الفروق في كلمات الحشو، وحكم Claude على كل فرق متبقٍّ دون معرفة الأداة، وفق القاعدة أعلاه لما يجعل خطأ التفريغ جسيمًا. ويُحسب معدل خطأ الكلمات برمجيًا بالتطبيع الصارم نفسه المستخدم في تقارير الإصدارات لدينا، مع اعتبار الصيغ المكتوبة المتكافئة كلمات واحدة: ٢٢ mm و٢٢ millimetres، والتهجئة الأمريكية والبريطانية، والأرقام الصينية والعربية، والحروف الصينية المبسّطة والتقليدية. وتُقيَّم الصينية حرفًا حرفًا.