مقارنة بين Hanah والبقية: اختبار معياري موضوعي وشفاف

أبرز النقاط

• شغّلت مقارنة أكتوبر ٢٠٢٦ الاستشارات الثلاث عشرة نفسها على سبع أدوات للكتابة الطبية الذكية، وقيّمت المخرجات مقابل التسجيلات.
• تتضمن Hanah برامج التمارين المنزلية وتطبيقًا للمرضى يحمل هوية عيادتكم إلى جانب كاتبها الطبي الذكي. ويمكن للمرضى الوصول إلى برنامجهم المنزلي المتفق عليه بين المواعيد.
• التقطت Hanah نسبة ٩٣.٧% من التفاصيل السريرية المطلوبة في الاختبار المعروض، دون أي علامات هلوسة كبرى في ملاحظاتها المُقيَّمة.
• أجرت Hanah، بصفتها مزوّدًا، هذا الاختبار مع إخفاء هويات المنتجات أثناء التقييم. ولعيّنته وقيود الالتقاط فيه أهمية عند تفسير النتائج.
• افحصوا التسجيلات والمخرجات وأسباب التقييم؛ فالنتيجة الجيدة في الاختبار المعياري لا تُغني عن مراجعة المسودة السريرية.

شغّلنا الاستشارات المسجّلة الثلاث عشرة نفسها على Hanah و Heidi و Lyrebird و Freed و PatientNotes و CliniScripts و Preve، ثم قيّمنا كل ملاحظة مقابل ما قيل فعلًا. والنتائج الكاملة، مع كل تفريغ نصي وملاحظة وتقييم، موجودة في صفحة الاختبار المعياري.

النتائج

التقطت ملاحظات Hanah تفاصيل سريرية مطلوبة أكثر بنسبة ١١% من متوسط أدوات الكتابة الطبية الذكية. ولم تحمل أي من ملاحظات Hanah الثلاث عشرة علامة هلوسة كبرى، في حين خلا أقل من نصف ملاحظات أدوات الكتابة الأخرى منها. وتضمنت التفريغات النصية لدى Hanah أخطاء ذات دلالة سريرية أقل بنسبة ٦٦% من المتوسط، وأقل بنسبة ٧٦% في الاستشارات بالإنجليزية. والخطأ ذو الدلالة السريرية في التفريغ النصي هو الخطأ الذي قد يضلل الممارس: دواء أو جرعة أو رقم أو جهة أو عرض خاطئ، أو نفي أو علامة تحذيرية ضائعة، أو محتوى سريري محذوف.

كيف تبدو علامة الهلوسة الكبرى

علامة الهلوسة الكبرى هي أمر في الملاحظة لم يُقل وقد يغيّر الرعاية. والأمثلة التالية من ملاحظات هذا الاختبار المعياري، وكل منها منشور مع التفريغ النصي الذي جاء منه.

• في تسليم بين المناوبات في وحدة العناية المركزة، ذكرت PatientNotes أن dapagliflozin هو سبب الحماض الكيتوني لدى المريض، بينما قال الممارس empagliflozin. وفي الإملاء نفسه المسجّل مع ضجيج الجناح، سجّلت PatientNotes معدل نبض ٩١. وكان الرقم ٩١ هو تشبّع الأكسجين لدى المريض، الذي حُذف من الملاحظة.
• لطفل مصاب بالربو، كتبت PatientNotes الدواء betamethasone حيث قال الممارس dexamethasone، وسجّلت بلغمًا أصفر حين وصف الوالد قيئًا أصفر.
• مريض سقط عن دراجة رباعية تحوّل إلى سقوط عن دراجة هوائية في ملخص Heidi، وإلى سقوط عن دراجة نارية في ملاحظة Lyrebird. ووضعت Lyrebird أيضًا الإصابات في الجهة اليمنى، وهو ما لم يُقل قط.

قد تخطئ التفريغات النصية أيضًا. ففي جلسة علاج عضلي (myotherapy) مدتها ٥٠ دقيقة، فيها نحو سبع دقائق من الكلام في غرفة علاج صاخبة، ملأ التفريغ النصي لدى Freed فترات الصمت بكلام لم يقله أحد، منه «Thank you for watching!» (شكرًا على المشاهدة) ومقطع عن تاريخ إحدى البلدات. وتضمّن التفريغ النصي لدى Lyrebird للجلسة نفسها الدواء Zolmitriptan، وهو دواء للصداع النصفي لم يذكره أحد. أما التفريغ النصي لدى Hanah لذلك التسجيل فلم يتضمن أي أخطاء ذات دلالة سريرية.

الماندرين والإنجليزية

كانت إحدى الاستشارات مراجعة بعد جراحة في الفك جرت معظمها بالماندرين، مع المصطلحات السريرية بالإنجليزية. وضُبطت كل أداة كتابة تتيح إعداد لغة الإدخال على الماندرين لهذه الاستشارة، وشُغّلت لدى Heidi و Hanah ثلاث مرات لكل منهما.

كان تفريغ Heidi الأفضل، بثلاثة أخطاء ذات دلالة سريرية في كل تشغيل من تشغيلاتها الثلاثة. وارتكبت CliniScripts أربعة أخطاء، و Hanah أربعة أو خمسة. وكانت أخطاء Hanah في كلمات سريرية إنجليزية نُطقت داخل الماندرين، مثل «pus» التي كُتبت «pass»، و chlorhexidine التي كُتبت «hexadene». وارتكبت PatientNotes تسعة أخطاء، و Freed سبعة، و Lyrebird أربعة عشر. وليس لدى Preve إعداد للغة الإدخال، فارتكبت ٢٤ خطأ. ومع ذلك لم تحمل ملاحظة Hanah لهذه المراجعة أي علامة هلوسة كبرى.

كيف أجرينا الاختبار

التسجيلات هي مجموعة التسجيلات المرجعية للدقة لدى Hanah، وهي التسجيلات الثلاثة عشر نفسها التي تستند إليها نتائج الإصدارات في صفحة الشفافية لدينا. وتشمل إملاءات، واستشارات في العلاج الطبيعي، والتغذية العلاجية، والعلاج الوظيفي، والعلاج العضلي، والتمريض المجتمعي، وطفلًا يتحدث والده إنجليزية محدودة، وتسجيلًا في الهواء الطلق، ومراجعة الماندرين. ولكل منها تفريغ نصي مرجعي حرفي وقائمة تحقق بما يجب أن تلتقطه الملاحظة.

عملت كل أداة كتابة في تطبيق الويب الخاص بها بحساب قياسي وإعدادات افتراضية. ودخل الملف الصوتي نفسه إلى كل أداة، وكُتبت التعليمات نفسها حرفيًا. وشُغّلت كل أداة مرة واحدة لكل تسجيل، في ٦ أكتوبر ٢٠٢٦، باستثناء تكرارات الماندرين المذكورة أعلاه.

قيّم الملاحظات Claude، النموذج التابع لـ Anthropic. ولكل تسجيل، رُتّبت ملاحظات كل أدوات الكتابة عشوائيًا خلف أحرف مع إزالة أسماء المنتجات، ثم قُيّمت مقابل التفريغ النصي المرجعي وفق معايير ثابتة. ولم تُطابَق الأحرف مع المنتجات إلا بعد تقييم التسجيلات الثلاثة عشر كلها. وقورن كل تفريغ نصي بالمرجع كلمةً بكلمة، وحكم Claude على كل فرق دون معرفة مصدره ليقرر ما إذا كان ذا دلالة سريرية. والمعايير والقواعد وراء كل تقييم موجودة في منهجيتنا.

تحقّقوا بأنفسكم

يأتي كل تقييم في صفحة الاختبار المعياري مع سببه. ويمكنكم تشغيل كل تسجيل، وقراءة التفريغ النصي المرجعي، ومقارنته بما كتبته كل أداة.

الأسئلة الشائعة

هل كانت هذه دراسة سريرية مستقلة؟

لا. كانت مقارنة أجرتها Hanah مع إخفاء هويات المنتجات أثناء التقييم. والمنهجية والأدلة الأساسية مرتبطة ليتمكن القراء من فحص النتائج.

هل يعني غياب علامات الهلوسة الكبرى أن كل ملاحظة كانت مثالية؟

لا. بل يعني أنه لم يُعثر على علامات كبرى في ملاحظات Hanah المُقيَّمة في هذا التشغيل. ولا تزال الإغفالات والأخطاء الأخرى تحتاج إلى انتباه، وكل مسودة تتطلب المراجعة.

أين يمكنني التحقق من تقييم بعينه؟

تربط أدلة الاختبار المعياري بين التسجيلات والتفريغات النصية المرجعية ومخرجات المنتجات والأسباب وراء التقييمات.