---
title: "كيف تقيس Hanah دقة الكاتب الطبي بالذكاء الاصطناعي (المملكة المتحدة)"
description: "كيف تقيس Hanah دقة الكاتب الطبي بالذكاء الاصطناعي في المملكة المتحدة: معدل خطأ الكلمات مقارنة بتفريغات نصية حرفية، ولجنة تحكيم من النماذج اللغوية الكبيرة تقيّم حقائق سريرية مسجَّلة مسبقًا."
source: https://hanah.health/ar/uk/trust/wer-methodology/
---

منهجية التحقق · v1.١

# كيف نقيس الدقة.

تُختبر دقة تحويل الكلام إلى نص والهلوسة في التوثيق **كشيء واحد**: منظومة اختبار واحدة، ومجموعة تسجيلات مرجعية واحدة ذات إصدارات، وتشغيل واحد شامل لكل تسجيل، ثم يُقيَّم ذلك عبر طبقتين متكاملتين. **الطبقة A (معدل خطأ الكلمات)** تقيس أداء مسار تحويل الكلام إلى نص مقارنة بالمرجع الصحيح الحرفي. و**الطبقة B (لجنة تحكيم من النماذج اللغوية)** تقيس ما إذا كان المستند السريري المُنشأ قد التقط الحقائق التي أُعلن مسبقًا أنها مهمة، وما إذا كان قد أضاف أي شيء لم يُقَل. استدلال موزّع على طبقتين، لا مختزل في درجة واحدة تخفي المفاضلات.

الطبقة A: WER · مباشر الطبقة B: لجنة تحكيم من النماذج اللغوية · لجنة v1 الطبقة C: الانحراف الدلالي · مُجدوَلة

[← عرض النتائج الحالية](https://hanah.health/ar/uk/trust/transparency/) [← المقارنة مع ٦ أدوات كتابة طبية ذكية أخرى](https://hanah.health/ar/benchmark/) [← فتح البيانات المجمّعة الخام](https://hanah.health/uk/trust/transparency/data.js)

## لماذا هي منهجية واحدة لا منهجيتان

من المغري نشر رقم لمعدل خطأ الكلمات (WER) و«معدل هلوسة» منفصل على صفحتين مختلفتين. لكننا لا نفعل ذلك، لأنهما يشتركان في كل ما يهم: الصوت نفسه، والتشغيل الشامل نفسه، ومجموعة التسجيلات المرجعية نفسها ذات الإصدارات، ووتيرة الإصدار نفسها، ومجموعة المراجعين نفسها التي تعتمد المرجع الصحيح الأساسي. وفصلهما في صفحتين يوحي ببرنامجين مستقلين، بينما ينتج تشغيل واحد في الواقع الرقمين معًا، وغالبًا ما يظهر التراجع في أحدهما في الآخر أيضًا. يمر كل تسجيل عبر مسار الإنتاج مرة واحدة، وتغذّي مخرجات هذا التشغيل الواحد كل طبقات التقييم أدناه.

1.  1
    
    **التسجيل**: الصوت + المرجع الصحيح الحرفي + قائمة الحقائق المسجّلة مسبقًا، بإصدار مثبّت في المستودع.
    
2.  2
    
    **التشغيل الشامل**: تسجيل الممارس الصحي، وإنشاء المريض، والتسجيل الصوتي، وإنشاء المستند. وهي المسارات نفسها التي يسلكها مستخدم في بيئة الإنتاج.
    
3.  3
    
    **الطبقة A: معدل خطأ الكلمات (WER)** تقارن التفريغ النصي الملتقط بالمرجع الصحيح.
    
4.  4
    
    **الطبقة B: لجنة تحكيم من النماذج اللغوية** تقيّم المستند المُنشأ مقابل قائمة الحقائق، بشكل مجزّأ، حقيقةً واحدة في كل استدعاء.
    
5.  5
    
    **التجميع والنشر**: ملف `aggregate.json` واحد تُعرض منه صفحة الشفافية العامة.
    

## مجموعة التسجيلات المرجعية

مجموعة ثابتة من التسجيلات بإصدار مثبّت تُطبَّق عليها المنهجية. ويقترن كل تسجيل بتفريغ نصي حرفي وقائمة حقائق مكتوبة يدويًا بالنقاط السريرية التي يجب أن تظهر في الملاحظة المُنشأة (والنقاط التي يجب _ألا_ تظهر).

الإصدار v1: اصطناعي، بأصوات TTS من عدة مورّدين

يبدو الصوت الاصطناعي مصطنعًا، ونستخدمه عمدًا. فالنص المكتوب _هو_ التفريغ النصي المرجعي، لذا يكون المرجع الصحيح دقيقًا تمامًا لا تقريبيًا كما يكتبه مُفرِّغ بشري. ويمكن نشر مجموعة التسجيلات المرجعية كاملة بايتًا بايتًا إلى جانب تقرير التحقق، فيستطيع المدققون إعادة تشغيل منظومة الاختبار على المدخلات نفسها وإعادة إنتاج الأرقام المنشورة. ولا يعني الاصطناعي أنه سهل: فالأصوات المُركَّبة تحمل لكنات وأنماط كلام لمتحدثين بالإنجليزية لغةً ثانية، ويُمزج الصوت بالظروف التي يسجّل فيها الممارسون الصحيون فعلًا: تلفاز يعمل في الغرفة المجاورة، وأصوات الغرفة المحيطة في زيارة منزلية، وحركة المرور والرياح في الخارج.

-   ✅
    
    **مسح اللكنات عبر عدة مورّدين**
    
    تؤخذ عيّنات كل خلية لكنة أو مجموعة من مورّدَين اثنين على الأقل لتحويل النص إلى كلام (TTS): ElevenLabs و OpenAI TTS و Google Cloud TTS و Azure Neural، بحيث تظهر الشوائب الخاصة بمكتبة أصوات مورّد واحد كاختلاف بين المورّدين بدلًا من أن تذوب بصمت في الرقم الرئيسي. وتشمل التغطية الإنجليزية النيوزيلندية والأسترالية والبريطانية والأمريكية والهندية والمتأثرة بلغات المحيط الهادئ، إضافة إلى ملامح متحدثين بالإنجليزية لغةً ثانية، عبر أنواع مواعيد المهن الصحية المساندة والرعاية الأولية والعيادات الخارجية.
    
-   ✅
    
    **لكنات وضوضاء خلفية، مضافة عن قصد**
    
    لا يسجّل الممارسون الصحيون في استوديو، ولذلك لا تُسجَّل مجموعة التسجيلات المرجعية في استوديو أيضًا. تُسجَّل الأصوات بمتحدثين ذوي لكنات ومتحدثين بالإنجليزية لغةً ثانية، وتُمزج بالظروف التي تجري فيها الاستشارات فعلًا: تلفاز يعمل في الغرفة المجاورة، وأجواء الغرفة أثناء زيارة منزلية، وحركة المرور والرياح في الهواء الطلق. وفي التشغيل المنشور v1، يحمل ٤ من التسجيلات العشرة المقيَّمة وسمًا للّكنة أو لظروف الصوت: ٣ مع ضجيج في الخلفية (`Background TV Noise` و`Room ambience` و`Outdoors`)، و٣ مع تنوّع في اللكنة أو اللغة (`L2 English` و`Heavy accent` و`Code Switching`). وتُسجَّل هذه الوسوم لكل تسجيل في المجموعة المرجعية، لكن التشغيل المنشور لهذه المنطقة سبق التفصيل حسب الفئة، لذا لم يُفصَّل أثرها هنا بعد.
    
-   ✅
    
    **قائمة حقائق مسجّلة مسبقًا لكل تسجيل**
    
    يصوغها كاتب النص، ويعتمدها المسؤول السريري (Clinical Lead) قبل أن يسمع أي نموذج الصوت. ثلاث فئات: **الحقائق الإيجابية** (يجب أن تظهر في الملاحظة)، و**الحقائق السلبية** (يجب ألا تُثبَت خطأً)، و**العبارات المعيارية المسموح بها** (عبارات السلامة السريرية المسموح بها حتى لو لم ترد في التفريغ النصي). وقوائم الحقائق مثبّتة الإصدار؛ وأي تغيير يرفع رقم الإصدار ويطلق إعادة التشغيل.
    
-   🟡
    
    **ما يدّعيه الإصدار v1 وما لا يدّعيه**
    
    يقيس الإصدار v1 التراجع، وصحة المسار الشامل، وقابلية التكرار، وتباين STT لكل مجموعة عبر خلايا اللكنات الإنجليزية وظروف الضوضاء الممزوجة بالصوت. أما ما _لا_ يدّعيه الإصدار v1 فهو الأصالة: فالتلفاز وأصوات الغرفة وضوضاء الخارج الممزوجة تقارب غرفة الاستشارة ولا تمثّل تسجيلًا لها، واللكنات المُركَّبة ليست بديلًا عن متحدثين حقيقيين. ولذلك لا يقدّم الإصدار v1 أي ادعاء بشأن لغة te reo Māori، أو التنقّل الحقيقي بين اللغات، أو اضطرابات الطلاقة، أو عسر التلفظ، أو كلام الأطفال. ويُؤجَّل قياس تحيّز طبقة النماذج اللغوية على محتوى مجموعات حقيقية إلى الإصدارين v2 و v3.
    

### خطة تطوير الإصدارات

| الإصدار | مصدر الصوت | ادعاء التحيّز | الموعد المستهدف |
| --- | --- | --- | --- |
| v1 | اصطناعي متعدد مورّدي TTS ومتعدد اللكنات وممزوج بالضوضاء: ١١ تسجيلًا تغطي مجموعات اللكنات والظروف الصوتية وأنواع المواعيد | إشارة تحيّز جوهرية في الطبقة A عبر تنوّع اللكنات الإنجليزية؛ ويبقى تحيّز طبقة النماذج اللغوية مشروطًا بالإصدارين v2 و v3 | مُنجَز |
| v2 | تمثيل أدوار: ممارسون صحيون نيوزيلنديون + ممثلون سريريون في بيئات سريرية واقعية | أول إشارة تحيّز خاصة بمجموعات محددة، محدودة بالمحتوى المكتوب مسبقًا | العقد + ٦٠ يومًا |
| v3 | تسجيلات حقيقية بموافقة المشاركين، بدءًا بمجموعة الإنتاج الأسترالية، ثم عيادات شريكة في نيوزيلندا | قياس التحيّز في الواقع على المجموعات الأسترالية ومجموعات العيادات الشريكة في نيوزيلندا | العقد + ١٢٠ يومًا |
| v4 | مجموعة تحقق سريري مشتركة مع Health New Zealand | ادعاءات تحيّز تمثّل نشر HNZ | وفق مراحل نشر HNZ |

## الطبقة A: معدل خطأ الكلمات

الطبقة الآلية. **معدل خطأ الكلمات** مقياس راسخ منذ زمن طويل للتعرّف على الكلام: عدد الاستبدالات والإدراجات والحذوفات بين ما فُرِّغ وما قيل فعلًا، مقسومًا على عدد كلمات المرجع. القيمة الأقل أفضل؛ و٠% تعني أن التفريغ النصي طابق المرجع الصحيح كلمة بكلمة.

`WER = (الاستبدالات + الإدراجات + الحذوفات) / عدد كلمات المرجع`

-   **المكتبة.** `jiwer`، بإصدار مثبّت في ملف القفل لمنظومة الاختبار، لذا يمكن إعادة إنتاج الأرقام نفسها تمامًا من أي إيداع.
-   **التوحيد.** تحويل الأحرف إلى صغيرة، وحذف علامات الترقيم، وتوسيع الاختصارات الشائعة (mg → milligram، وغيرها)، وتوحيد Unicode بصيغة NFKC. وقواعد التوحيد مثبّتة الإصدار؛ فلا تُحتسب الفروق الشكلية أخطاءً، بينما تُحتسب الأخطاء الحقيقية.
-   **فترات الثقة.** إعادة المعاينة بطريقة Bootstrap للتسجيلات المقيَّمة، وتُنشر بجانب معدل خطأ الكلمات الرئيسي. وقد سبق التشغيل المنشور لهذه المنطقة ذلك، لذا ما زال رقمه تقديرًا نقطيًا مجردًا.
-   **التفصيل لكل مجموعة.** يُحسب إجمالًا ولكل وسم في مجموعة التسجيلات المرجعية، أي الظروف التي اختير كل تسجيل لاختبارها، مثل اللكنة والتنوّع اللغوي والظرف الصوتي. و_التباين_ بين المجموعات هو إشارة التحيّز، حتى عندما تكون الأرقام المطلقة حدودًا عليا.
-   **معدل خطأ الكلمات لكل تسجيل.** يُنشر كي يمكن تتبع أي تراجع إلى تسجيل محدد، بدلًا من أن يُدفن تحت المتوسط.

**المقارنة مع منتجات أخرى.** لا يوجد ما يمكن القياس عليه. فمعظم مورّدي أدوات الكتابة الطبية الذكية المحيطية لا ينشرون أي معدل لخطأ الكلمات على الإطلاق؛ والاثنان اللذان وجدناهما ينشران ذلك، [Nabla بنسبة ١١.٨%](https://www-assets.nabla.com/docs/Nabla%20whitepaper_Raising%20the%20bar%20for%20AI-powered%20clinical%20documentation.pdf) و[Abridge بنسبة ١٢.٧%](https://www.abridge.com/ai/science-ai-evaluation)، يقيسان على اختبارات معيارية داخلية لا يكشفانها، لذا لا يمكن إعادة إنتاج أي من الرقمين أو التحقق منه. ولا تصح مقارنة WER إلا على الصوت نفسه وبقواعد التوحيد نفسها، لذا نعرض رقمنا وفق شروطه هو، مع مجموعة التسجيلات المرجعية والتسجيلات وطريقة التقييم الموصوفة أعلاه. ونرحب بأن ينشر المورّدون الآخرون أرقامهم بالطريقة نفسها. وإلى أن يفعلوا، لن تعني المقارنة بين رقمنا ورقم أي جهة أخرى الكثير.

**قيد صريح.** يُحتسب الاستبدال عالي الأثر (`10mg` → `100mg`) والاستبدال منخفض الأثر (`okay` → `OK`) بالقدر نفسه في معدل خطأ الكلمات الخام. ولهذا وُجدت الطبقة B، إذ لا يمكن استنتاج صحة المحتوى السريري من معدل خطأ الكلمات على مستوى الرموز وحده.

## الطبقة B: لجنة تحكيم من النماذج اللغوية للتغطية والهلوسة

الطبقة النوعية. يُقيَّم المستند السريري المُنشأ مقابل قائمة الحقائق المسجّلة مسبقًا للتسجيل من قِبل **لجنة من مُقيِّمين مستقلين من النماذج اللغوية الكبيرة** مأخوذين من عدة مورّدين. وتُقاس خاصيتان كلٌّ على حدة كي يمكن الإبلاغ عنهما بشكل منفصل:

التغطية (الاستدعاء، recall)

هل التقطت الملاحظة كل حقيقة سريرية طلبها التسجيل؟ استدعاء تحكيم واحد لكل توقّع مسجّل مسبقًا في `detailsThatMustBeCaptured`، لكل مُخرَج، ولكل مُحكِّم، ويتكرر للحصول على تصويت أغلبية داخلي. `Yes / partial / no`.

الهلوسة (الدقة، precision)

هل تحتوي الملاحظة على ادعاءات ذات دلالة سريرية _لا يدعمها_ التفريغ النصي؟ استدعاء تحكيم واحد لكل مُخرَج مُنشأ، لكل مُحكِّم، يُرجع قائمة بالادعاءات المختلقة، أي المحتوى الذي اختلقه النموذج. ويُحفظ الاتفاق بين المُحكِّمين في اتحاد نتائج اللجنة.

### التعليمات نفسها التي يراها كل مُحكِّم

تعليمات النظام وقالب رسالة المستخدم مثبّتا الإصدار في مستودع منظومة الاختبار (`app/next/tests/accuracy/lib/juror.ts`)، ويُزامَنان مع هذه الصفحة في كل تحديث للنتائج. ويُعرض كلاهما حرفيًا أدناه، فيرى المدققون بالضبط ما طُلب من النموذج، لا إعادة صياغة له. وتختلف عمليات إعادة التشغيل وتشكيل اللجنة؛ أما إطار التعليمات نفسه فلا يتغيّر.

لم تُزامَن الطلبات بعد. شغّلوا `REGION=uk website/publish-trust.sh`.

### استدعاءات مجزّأة بسؤال واحد

كل حكم تطلبه منظومة الاختبار من اللجنة هو **حقيقة واحدة، وسؤال واحد، واستدعاء واحد**. فمن المعروف أن مطالبة نموذج بتقييم ملاحظة كاملة في استدعاء واحد تنتج متوسطًا من نوع «تبدو جيدة» تُطمس فيه الأخطاء الفردية. والاستدعاءات المجزّأة قابلة للتدقيق أيضًا: إذ يمكن لأي شخص إعادة تشغيل حكم واحد ورؤية ردود المُحكِّمين الثلاثة إضافة إلى حكم اللجنة.

### ما الذي يُعدّ هلوسة

لكل مُخرَج، تُعطى اللجنة التفريغ النصي والمستند المُنشأ. ويعدّد كل مُحكِّم كل ادعاء ذي دلالة سريرية في المُخرَج _لا_ يدعمه التفريغ النصي، أي أن النموذج اختلقه. ونتيجة اللجنة هي اتحاد نتائج المُحكِّمين، بعد إزالة التكرار حسب نص الادعاء. **لا يحتسب المقياس الرئيسي إلا الإشارات المؤكدة، أي الادعاءات التي أشار إليها مُحكِّمان أو أكثر**؛ أما إشارات المُحكِّم الواحد فتظهر بوصفها «مبدئية» في التفاصيل الخاصة بكل مُخرَج لكنها تُستبعد من الرقم الرئيسي. وشرط اتفاق مُحكِّمَين هو ما يجعل المقياس متينًا في مواجهة الإيجابيات الكاذبة الناتجة عن التفسير الصارم لدى مُحكِّم واحد.

| يُعدّ هلوسة | لا يُعدّ هلوسة |
| --- | --- |
| عَرَض، أو نتيجة فحص، أو عنصر من التاريخ المرضي، أو جرعة، أو دواء، أو جهة (يسار أو يمين)، أو قياس، أو تفصيل زمني، يُثبته المُخرَج دون أن يستند إلى أي شيء قيل فعلًا في التفريغ النصي. | العبارات المعيارية، أو عناوين المستند، أو التنسيق، أو تسميات الأقسام. |
| ادعاء بجرعة خاطئة أو جهة خاطئة أو دواء خاطئ، حتى لو بدا مشابهًا ظاهريًا لشيء قيل. | تنويعات الصياغة وإعادة الصياغة التي تحافظ على المعنى السريري لشيء ورد فعلًا في التفريغ النصي. |
| نتيجة مختلقة تُقدَّم كحقيقة («ينفي المريض الحمّى» بينما لم يذكر التفريغ النصي الحمّى أصلًا). | التنظيم المعقول للمحتوى المستند إلى التفريغ في أقسام الملاحظة (مثل نقل عَرَض إلى قسم «History of presenting complaint»). |
| عبارة سريرية تتجاوز إعادة الصياغة المعقولة للتفريغ النصي. | عبارات السلامة المعيارية التي لا تُثبت حقيقة سريرية جديدة («يُنصح بالمراجعة إذا ساءت الأعراض»). |

نتعمّد _عدم_ الإشارة إلى المحتوى المستند إلى التفريغ النصي إذا كان خارج قائمة التوقعات. فقائمة `detailsThatMustBeCaptured` قائمة بما يجب توفّره، وليست عقدًا يقول «هذا كل ما يجب أن يحتويه المستند»؛ وقد أنتجت معاقبة كل ادعاء مستند إلى التفريغ لم يرد فيها عددًا كبيرًا جدًا من الإيجابيات الكاذبة، خاصة في ملاحظات SOAP التي يتجاوز فيها قسما الموضوعي والتقييم بشكل مشروع العناصر الإلزامية المذكورة.

### تشكيل لجنة التحكيم

نماذج مستقلة من عدة مورّدين، كي لا تترابط أنماط الإخفاق. ومنظومة الاختبار لا ترتبط بمزوّد معيّن: إذ يمكن لأي نموذج متاح عبر مُحوِّل مدعوم أن ينضم إلى اللجنة، ويكبر حجم اللجنة مع الوقت كلما أُضيفت مُحوِّلات جديدة. والنمط منشور بعنوان _Replacing Judges with Juries_ (Verga et al.، ٢٠٢٤، Cohere)، ونستخدمه لأن المقارنة بين نماذج مستقلة تعطي نتائج أوضح في سياقات السلامة السريرية من الثقة بنموذج واحد.

| الموقع | المورّدون | ملاحظات |
| --- | --- | --- |
| المُحكِّم A | Anthropic (Claude، من فئة Sonnet أو Opus) | التزام قوي بالتعليمات؛ ومتحفّظ في أحكام الهلوسة. |
| المُحكِّم B | OpenAI (عائلة GPT-4) | مجموعة بيانات تدريب ونهج مواءمة مختلفان عن A. |
| المُحكِّم C | نموذج مفتوح الأوزان (Llama أو Mistral) | أداة للشفافية: يمكن لـ HNZ أو أي مراجع إعادة تشغيل هذا الموقع بنفسه. |
| المُحكِّم D (اختياري) | Google (Gemini) | المورّد نفسه المستخدم في مسار الإنشاء في بيئة الإنتاج. يُبلَّغ عنه بشكل منفصل، انظروا التحفّظ أدناه. |

**تحفّظ المورّد نفسه.** قد يشارك Gemini في لجنة التحكيم، لكن مسار إنشاء المستندات في بيئة الإنتاج يستخدم Gemini أيضًا، والتحكيم من المورّد نفسه قد ينتج نقاط عمى مترابطة: فالمحتوى المختلق الذي ينتجه Gemini بصفته مُنشئًا قد يكون أكثر قابلية لأن يراه Gemini بصفته مُحكِّمًا معقولًا. والتخفيف تشغيلي: إذ يُبلَّغ عن أحكام Gemini بمعزل عن حكم اللجنة متعددة المورّدين، فيرى القارئ ما كان Gemini وحده سيقوله مقابل ما قالته اللجنة متعددة المورّدين. وعندما تكون اللجنة N=١ ويكون ذلك المُحكِّم الوحيد Gemini (كما في جولات التطوير المبكرة)، يذكر تقرير التحقق ذلك صراحة كي لا يبالغ القرّاء في تفسير تلك الأرقام.

### قاعدة القرار (تتغيّر بحسب حجم اللجنة)

| حجم اللجنة | قاعدة القرار |
| --- | --- |
| N = ١ | يُعتمد حكم المُحكِّم الوحيد؛ والتكرار والتصويت داخل المُحكِّم نفسه هو أداة تقليل التباين. |
| N = ٢ | يجب أن يتفق الاثنان؛ وعند الاختلاف يُسجَّل الاستدعاء على أنه منقسم ويُسجَّل الحكم المتحفّظ (partial). |
| N ≥ ٣ | تصويت الأغلبية وفق Verga et al.؛ وتُسجَّل الأحكام بالإجماع على أنها عالية الثقة؛ وتُسجَّل الأغلبية دون إجماع على أنها منقسمة. |
| أي حجم | يُحال الخلاف حول شدة الهلوسة إلى مراجعة يدوية من المسؤول السريري (Clinical Lead) على المجموعة الفرعية المنشورة. |

تتضمن التقارير **معدل اتفاق لجنة التحكيم** لكل تسجيل: نسبة الاستدعاءات التي أجمعت فيها اللجنة (عندما تكون N ≥ ٢). يشير الإجماع المرتفع إلى غلبة الحالات الواضحة؛ ويشير ارتفاع معدل الانقسام إلى أن المنهجية تعمل في المنطقة الصعبة. وكلاهما معلومة مفيدة للمُقيِّمين، لا عيب يجب إخفاؤه.

### التكرار والتصويت لكل مُحكِّم

يُستدعى كل مُحكِّم _R_ مرة عند درجة حرارة ٠ (القيمة الافتراضية _R_ = ٣، وقابلة للتهيئة لكل تشغيل)؛ وصوت المُحكِّم هو أغلبية ردوده الـ _R_. وهذا يقضي على ٥–١٠% من الاستدعاءات التي يعطي فيها مُحكِّم واحد ردًا متقلبًا. والكلفة N × R استدعاء لكل حكم؛ وفئات النماذج المستخدمة رخيصة مقارنة بمسار الإنشاء، وتقليل التباين هو المقصود. تُخفَّض R لتسريع دورات التطوير، وتُرفع R للحصول على أرقام منشورة أعلى ثقة.

### المعايرة والاتفاق بين المُقيِّمين

-   **فحص سلامة المعايرة (لكل إصدار من منظومة الاختبار).** تُمرَّر عبر اللجنة ملاحظة مصمَّمة يدويًا جيدة بوضوح وأخرى سيئة بوضوح. ويجب أن تقيّمهما اللجنة تقييمًا صحيحًا؛ وإن لم تفعل، تكون المنهجية معطّلة قبل أي تقييم حقيقي، وتُوقف منظومة الاختبار للتحقيق.
-   **الاتفاق بين المُقيِّمين مقارنة بالبشر (لكل تقرير).** يقيّم المسؤول السريري (Clinical Lead) بشكل مستقل مجموعة فرعية تمثّل ٢٠% من التسجيلات. ويُحسب **معامل كابا لكوهين (Cohen's κ)** بين أحكام اللجنة وأحكام الخبير السريري على تلك المجموعة الفرعية، ويُنشر في تقرير التحقق.

| Cohen's κ | المعالجة |
| --- | --- |
| ≥ 0.7 | يمكن الدفاع عن أحكام اللجنة بوصفها بديلًا لحكم الخبير السريري. |
| ٠.٥ ≤ κ < ٠.٧ | تُنشر مع تحفّظ صريح؛ وتُطلق مراجعة للمنهجية. |
| < 0.5 | تُخفق المنهجية في هذا التقرير؛ ولا تُنشر النتائج كادعاءات بالدقة؛ ويُحقَّق في منظومة الاختبار. |

ليس معامل كابا لكوهين (Cohen's κ) مقياسًا انطباعيًا، فهو يضبط أثر الاتفاق بالصدفة. وإدراجه ينقل اللجنة من «ثقوا بالنماذج اللغوية» إلى «قيست النماذج اللغوية مقابل ممارس صحي في كل تقرير».

## الطبقة C: الانحراف الدلالي مُجدوَلة

مقياس وسيط بين معدل خطأ الكلمات الخام (على مستوى الرموز) ولجنة التحكيم من النماذج اللغوية (على مستوى المحتوى السريري). يُحوَّل كل من التفريغ النصي المرجعي والتوثيق المُنشأ إلى متجهات بنموذج تضمين مشترك؛ ويعطي تشابه جيب التمام درجة انحراف لكل تسجيل. ويقيس أمانة إعادة الهيكلة: فالتوثيق _يُفترض_ أن يجرّد من المصدر، لكن عليه الحفاظ على المعنى السريري. وهو مفيد بوصفه مقياسًا مستمرًا رخيصًا دون حاجة إلى تعليق توضيحي لكل تسجيل، ويسهل تتبّع اتجاهه مع الوقت. وتُحال القيم الشاذة (انحراف > N σ عن المتوسط) إلى مراجعة بشرية. وهو ضمن خطة التطوير، وليس من أرقام الإصدار v1 المنشورة.

## قابلية التكرار

قد يكون المسار دقيقًا في المتوسط لكنه غير متسق، وإنتاج الصوت نفسه توثيقًا مختلفًا في كل مرة مسألة تتعلق بالسلامة السريرية، لا مجرد أمر لافت. تُعالَج مجموعة فرعية من تسجيلات المجموعة المرجعية N مرة في كل تشغيل للتكامل المستمر (CI) (القيمة الافتراضية ٣). وتعمل كل طبقات التقييم في كل إعادة تشغيل؛ والتباين بين عمليات إعادة التشغيل هو درجة قابلية التكرار، ويُبلَّغ عنه إلى جانب أرقام الدقة الرئيسية.

## وتيرة الإبلاغ

| المُخرَج | الجمهور | الوتيرة |
| --- | --- | --- |
| ملخص التكامل المستمر (CI) | المهندسون | لكل طلب دمج: نجاح أو إخفاق مع الفروق مقارنة بالفرع الرئيسي، ومدة تشغيل ~١٠ دقائق، ويُخفق عند تراجع يتجاوز الحد (WER الإجمالي > ٢ نقطة مئوية، أو أي مجموعة > ٥ نقاط مئوية). |
| الاتجاه الليلي | فريق الهندسة + القيادة | مستمر: مجموعة التسجيلات المرجعية كاملة، وتفصيل كامل لكل مجموعة، وتقييم قابلية التكرار. |
| تقرير الشفافية العام | العملاء، والمُقيِّمون، والمدققون، والجهات التنظيمية، والجمهور | فصليًا: كل تسجيل، وتفريغ نصي، ومستند مُنشأ، وحكم كل مُحكِّم واستدلاله. وتُعرض الصفحة المباشرة مباشرة من ملف aggregate.json الخاص بمنظومة الاختبار. |

## قابلية إعادة الإنتاج

-   **كل شيء بإصدارات.** الصوت + التفريغات النصية + قوائم الحقائق + تعليمات التحكيم + إصدارات نماذج التحكيم كلها مودعة في المستودع. ويمكن إعادة تشغيل منظومة الاختبار من حالة المستودع عند أي إيداع.
-   **نشر بنص برمجي واحد.** يُنشر أي تشغيل جديد لمنظومة الاختبار من البداية إلى النهاية بنص برمجي واحد (`./publish.sh` من مجلد الشفافية). وهو ينسخ ملف `aggregate.json` الخاص بمنظومة الاختبار إلى ملف بيانات الصفحة، ويزامن الملفات الصوتية عبر rsync للتشغيل داخل المتصفح. دون خطوة بناء، ودون إطار عمل، ودون طبقة تحريرية.
-   **مفتوح بموجب اتفاقية عدم إفصاح، ثم مفتوح المصدر.** شيفرة منظومة الاختبار متاحة لـ HNZ بموجب اتفاقية عدم إفصاح (NDA) خلال العناية الواجبة التقنية، مع هدف أبعد مدى بفتح مصدرها (الموعد المستهدف: ١٢ شهرًا بعد النشر) كي يتمكن المدققون الخارجيون من إعادة تشغيل المنهجية من البداية إلى النهاية.
-   **مجموعة تسجيلات عامة حيثما أمكن.** يمكن فتح مصدر مجموعتي الإصدار v1 (اصطناعية) والإصدار v2 (تمثيل أدوار، بإذن من المؤدّين). أما تسجيلات الإصدار v3 (حقيقية بموافقة المشاركين) فتبقى مقيّدة بسبب حساسية المعلومات الصحية المحمية (PHI) حتى بعد تقليلها؛ وتُنشر الأرقام المجمّعة لكل مجموعة، لا الصوت الخام ولا التفريغات النصية.

## المنهجية الإحصائية

مملّة لكن يمكن الدفاع عنها. وتحديد هذه العناصر صراحة ينقل كل تقرير من «شغّلنا منظومة الاختبار» إلى «شغّلنا منظومة الاختبار بهذه الطريقة، ويمكن للآخرين إعادة إنتاجها».

| العنصر | الاختيار |
| --- | --- |
| حساب معدل خطأ الكلمات | مكتبة Python jiwer، بإصدار مثبّت في ملف القفل. |
| توحيد النص | تحويل الأحرف إلى صغيرة، وحذف علامات الترقيم، وتوسيع الاختصارات الشائعة، وتوحيد Unicode بصيغة NFKC. والقواعد مثبّتة الإصدار. |
| فترات الثقة لمعدل خطأ الكلمات | إعادة المعاينة بطريقة Bootstrap (١٠,٠٠٠ إعادة معاينة) بمستوى ثقة ٩٥%؛ ويُبلَّغ عنها بالصيغة WER% [lower, upper]. |
| المقارنة بين المجموعات | Bootstrap مقترن على مجموعة التسجيلات نفسها عبر الإصدارات؛ واختبار التبديل للفروق بين المجموعات. |
| الاتفاق بين المُقيِّمين | معامل Cohen's κ بين اللجنة والمسؤول السريري على المجموعة الفرعية البالغة ٢٠% التي يقيّمها البشر، ويُبلَّغ عنه لكل مقياس (التغطية، والهلوسة)، لا إجمالًا فقط. |
| مقام معدل الهلوسة | الجمل في الملاحظة المُنشأة (كي يكون المعدل قابلًا للمقارنة بين ملاحظات مختلفة الطول). |
| مقام معدل التغطية | الحقائق الإيجابية المسجّلة مسبقًا (لذا تعني ١٠٠% أن كل حقيقة مطلوبة قد التُقطت). |
| الاختلاف بين المُحكِّمين | معامل Fleiss' κ بين أعضاء اللجنة لكل استدعاء، مجمّعًا لكل تسجيل، وهو فحص لاتساق المُحكِّمين (قابل للحساب عندما تكون N ≥ ٢). |
| معالجة المقارنات المتعددة | تصحيح Benjamini-Hochberg FDR عند اختبار الفروق بين مجموعات كثيرة في آن واحد. |
| تقليل التباين | التكرار والتصويت (٣× لكل مُحكِّم عند درجة حرارة ٠)؛ وأغلبية لجنة ثلاثية وفق Verga et al. |

## الاختبار المعياري المقارن: لجنة Claude

في أكتوبر ٢٠٢٦، مرّرنا تسجيلات المجموعة المرجعية الـ ١٣ نفسها عبر Hanah و٦ أدوات كتابة طبية ذكية أخرى (Heidi و Lyrebird و Freed و PatientNotes و CliniScripts و Preve)، ونشرنا كل تفريغ نصي وملاحظة وتقييم على [صفحة الاختبار المعياري](https://hanah.health/ar/benchmark/). وتُقيَّم الملاحظات في تلك المقارنة بلجنة من Claude. أما تقارير الإصدارات على صفحة الشفافية فتُقيَّم باللجنة الموصوفة في الطبقة B.

### الالتقاط

عملت كل أداة في تطبيق الويب الخاص بها في Chrome، بعد تسجيل الدخول إلى حساب قياسي بالإعدادات الافتراضية. وشُغِّل التسجيل عبر مدخل الميكروفون في المتصفح، الملف نفسه لكل أداة، وكُتبت تعليمات كل تسجيل حرفيًا في ميزة المستندات أو الدردشة الخاصة بكل أداة. وعملت كل أداة مرة واحدة لكل تسجيل، وكلها في ٦ أكتوبر ٢٠٢٦. ويُحسب معدل خطأ الكلمات من التفريغ النصي النهائي لكل أداة تمامًا كما في الطبقة A.

### التقييم المُعمّى

لكل تسجيل، وُضعت مخرجات كل أداة لكل تعليمة في حزمة واحدة مع التفريغ النصي المرجعي وقائمة التحقق. وخُلطت المخرجات خلف حروف (من A إلى G) وأُزيلت أسماء المنتجات من النص. وقيّم Claude، نموذج Anthropic، كل حزمة مقابل التفريغ النصي المرجعي فقط. ولم يُفتح مفتاح الربط بين الحروف والمنتجات إلا بعد تقييم التسجيلات الـ ١٣ كلها.

### معايير التقييم

| التقييم | المعنى |
| --- | --- |
| قائمة التحقق: نعم | تذكر الملاحظة البند بشكل صحيح. قد تختلف الصياغة، لكن المعنى يجب أن يتطابق. |
| قائمة التحقق: جزئيًا | موجود لكنه ناقص أو غير دقيق بطريقة يلاحظها الممارس الصحي، مثل غياب الجهة أو الجرعة أو الرقم أو الإطار الزمني. |
| قائمة التحقق: لا | غائب، أو مذكور بشكل خاطئ. |
| إشارة هلوسة كبرى | عبارة لا يدعمها التفريغ النصي وقد تغيّر الرعاية أو تحرّف الصورة السريرية: عَرَض أو نتيجة أو نتيجة فحص أو تشخيص أو دواء أو خطة مختلقة؛ أو جهة خاطئة أو اسم دواء خاطئ؛ أو حالة حساسية لم يسأل عنها أحد؛ أو ذكر أحد التشخيصات التفريقية بوصفه السبب بينما تركه الممارس الصحي مفتوحًا. |
| إشارة هلوسة صغرى | أي عبارة أخرى غير مدعومة: سبب أو خطر لم يذكره أحد، أو كلمة تشديد مثل «شديد»، أو نفي لم يُسأل عنه، أو سطر مراجعة عام، أو تاريخ مختلق. |

### قواعد الاتساق

-   التهجئات الصوتية للأسماء أخطاء في تحويل الكلام إلى نص، تُحتسب في معدل خطأ الكلمات. أما اسم الدواء الخاطئ فهو إشارة هلوسة كبرى.
-   لا يُشار إلى إعادة صياغة ما قيل بمصطلحات سريرية معيارية، مثل كتابة pH ٧.٢٦ مع lactate ٤.٣ على أنها حُماض استقلابي.
-   عندما تطلب التعليمة تقييمًا، لا يُشار إلى ربط النتائج المذكورة بالتشخيصات التفريقية التي ذكرها الممارس الصحي.
-   لا يُشار إلى محتوى الترويسة الذي يوفّره النظام: تاريخ الجلسة، وتسمية سجل المريض، واسم الممارس الصحي وتخصصه وعيادته.
-   التدخل أو النصيحة أو القيد أو الإحالة أو الفحص أو أمر المراقبة أو قرار الإدارة العلاجية المختلق يُعدّ إشارة كبرى. أما السطر العام مثل «المراجعة في الزيارة القادمة» فيُعدّ صغرى.

### التفريغات النصية

يُحاذى كل تفريغ نصي كلمة بكلمة مع المرجع الحرفي، وتُستبعد الفروق في كلمات الحشو. ويحكم Claude على كل فرق متبقٍّ دون معرفة المصدر: الخطأ ذو الدلالة السريرية في التفريغ النصي هو الخطأ الذي قد يضلّل الممارس الصحي بشأن التشخيص أو العلاج أو المتابعة أو السلامة أو السجل، مثل دواء أو جرعة أو رقم أو جهة أو عَرَض خاطئ، أو نفي أو علامة تحذيرية مفقودة، أو محتوى سريري محذوف. ويُحسب معدل خطأ الكلمات كما في الطبقة A، مع معاملة الصيغ المكتوبة المتكافئة على أنها الكلمات نفسها (٢٢ mm و ٢٢ millimetres، والتهجئات الأمريكية والبريطانية، والأرقام الصينية والعربية، والأحرف المبسّطة والتقليدية). وتُقيَّم الصينية حرفًا حرفًا.

### إعدادات اللغة

في المراجعة التي جرت معظمها بالماندرين، ضُبطت كل أداة توفّر إعدادًا للغة الإدخال على الماندرين: Heidi على English and Chinese (Mandarin)، و Lyrebird و PatientNotes على Chinese (Mandarin, Simplified). ولم تُنتج CliniScripts أي تفريغ نصي عند اختيار الصينية والإنجليزية في محاولتين، فاستُخدم إعدادها القياسي. ولا توفّر Preve إعدادًا للغة الإدخال، بينما تكتشف Freed و Hanah اللغة تلقائيًا. وعملت Heidi و Hanah على هذه المراجعة ثلاث مرات لكل منهما، وأُخذ متوسط نتائج تفريغاتهما النصية.

### الدرجات

تُحتسب التفاصيل السريرية الملتقطة بإعطاء «نعم» ١، و«جزئيًا» ٠.٥، و«لا» ٠، على بنود قائمة التحقق السريرية للتعليمة الأولى في كل تسجيل. وتُعدّ إشارات الهلوسة على الملاحظات نفسها. وتُقيَّم الملاحظة السريرية القياسية لـ Preve على البنود السريرية نفسها، لأن Preve لا تتبع تعليمة مخصصة إلا بعد رفع ملف PDF نموذجي لبناء قالب. وتُعدّ أخطاء التفريغ النصي ذات الدلالة لكل استشارة. ورقم القطاع هو متوسط الأدوات الست الأخرى. ويُنشر كل حكم وكل إشارة هلوسة مع سببها على [صفحة الاختبار المعياري](https://hanah.health/ar/benchmark/#evidence).

## القيود مُعلنة مسبقًا

تظهر هذه في الصفحة ١ من كل تقرير تحقق كي يفهم القرّاء نطاق ما يُقاس.

بشأن مجموعة التسجيلات المرجعية (الإصدار v1 تحديدًا)

-   يبقى معدل خطأ الكلمات الإجمالي على الصوت الاصطناعي متفائلًا مقارنة بمعدله في الواقع، حتى مع مزج الضوضاء. فالتلفاز في الخلفية وأصوات الغرفة وضوضاء الخارج مضافة عمدًا، لكن الكلام المتداخل واضطرابات الطلاقة وصوتيات غرفة عيادة حقيقية بعينها ما زالت غائبة.
-   يُعدّ تباين معدل خطأ الكلمات في STT لكل مجموعة عبر خلايا اللكنات الإنجليزية التي أنتجها عدة مورّدين لـ TTS إشارة تحيّز جوهرية في الطبقة A، فاستخدام أكثر من مورّد لكل خلية يُظهر الشوائب الخاصة بمكتبة أصوات مورّد واحد كاختلاف بين المورّدين بدلًا من أن تذوب بصمت في الرقم الرئيسي.
-   **لا** يُثبت الإصدار v1 تحيّز طبقة النماذج اللغوية (الإغفال، والقولبة، والملاءمة الثقافية) ولا الأداء على لغة te reo Māori، أو التنقّل الحقيقي بين اللغات، أو اضطرابات الطلاقة، أو عسر التلفظ / التواصل المعزِّز والبديل (AAC)، أو كلام الأطفال؛ فهذه تبقى مشروطة بمجموعات حقيقية، وتُنقل إلى الإصدار v2 (تمثيل أدوار مع ممارسين صحيين نيوزيلنديين + ممثلين) والإصدار v3 (صوت حقيقي بموافقة المشاركين).
-   الأصوات الاصطناعية بلكنة نيوزيلندية ولكنة ماورية مدرّبة على مجموعات بيانات صغيرة قد لا تكون ممثّلة؛ والمعاينة عبر عدة مورّدين تقلّل هذا الخطر لكنها لا تلغيه. وهي ليست بديلًا عن متحدثين ماوريين حقيقيين، ولا تقدّمها منظومة الاختبار على هذا النحو.
-   معدل الهلوسة في الإصدار v1 **حد أدنى**. فالمدخلات النظيفة تعطي النموذج اللغوي ضوضاء أقل يختلق منها؛ وستكون المعدلات في الواقع أعلى.

بشأن لجنة التحكيم

-   لجنة التحكيم من النماذج اللغوية نفسها ليست مثالية. ومعامل Cohen's κ مقارنة بتقييم المسؤول السريري هو الحد المنشور لمدى الثقة بأحكام اللجنة. وتعني κ < ٠.٥ أن التقرير لا يُنشر كادعاء بالدقة.
-   العبارات المعيارية المسموح بها مسألة تقدير. فالقائمة المتساهلة تقلّل إشارات الهلوسة الكاذبة لكنها قد تخفي انحرافًا حقيقيًا. وتتطلب تغييرات قائمة المسموحات موافقة المسؤول السريري وتُسجَّل.
-   تُجسّد قوائم الحقائق المسجّلة مسبقًا رؤية ممارس صحي لما هو مهم. والاختلاف المعقول حول ما «ينبغي» أن تلتقطه الملاحظة وارد.

بشأن النطاق

-   لا يمكن تأكيد الدقة الخاصة بنشر HNZ إلا بتحقق خاص بذلك النشر. ويغطي الإصدار v3 مجموعة الإنتاج الأسترالية؛ والإصدار v4 (بالاشتراك مع HNZ) هو الطريق إلى أرقام تمثّل النشر في نيوزيلندا.
-   تلتقط اختبارات قابلية التكرار التباين داخل التشغيل الواحد؛ ويُبلَّغ عن الانحراف بين الإصدارات بشكل منفصل كمقارنة مقترنة من فصل إلى فصل.
-   **الصراحة بشأن حجم العيّنة.** مع n = ١٠ تسجيلات موزّعة على ٤–٥ مجموعات، تكون فترات الثقة لكل مجموعة واسعة. ويُبلَّغ عن الفترات الواسعة بشفافية مع خطط التوسّع، بدلًا من عرض فترات ضيقة لكنها غير واقعية.

## أين توجد الأدلة

[

النتائج الحالية

التفريغات النصية لكل تسجيل، والمستندات المُنشأة، وأحكام لجنة التحكيم لكل نموذج لغوي مقابل مجموعة التسجيلات المرجعية v1. يمكنكم التعمق في أي تسجيل.

فتح تقرير الشفافية ←](https://hanah.health/ar/uk/trust/transparency/)[

البيانات المجمّعة الخام

الملف الكامل القابل للقراءة آليًا الذي تُعرض منه صفحة الشفافية. ويمكن حساب كل رقم منشور مباشرة من هذا الملف.

فتح البيانات الخام ←](https://hanah.health/uk/trust/transparency/data.js)[

مركز الثقة

ضوابط الأمان والخصوصية، والمعالجون الفرعيون للبيانات، والتوافق مع قانون الخصوصية النيوزيلندي لعام ٢٠٢٠ (Privacy Act ٢٠٢٠) ومدونة HIPC 2020، للبرنامج الأوسع الذي تندرج ضمنه هذه المنهجية.

الصفحة الرئيسية لمركز الثقة ←](https://hanah.health/ar/uk/trust/)

## المراجع

-   Verga, P. _et al._ (٢٠٢٤). _Replacing Judges with Juries: Evaluating LLM Generations with a Panel of Diverse Models._ Cohere. الأساس المنشور لنمط لجنة التحكيم من النماذج اللغوية (PoLL) المستخدم في الطبقة B.
-   Zheng, L. _et al._ (٢٠٢٣). _Judging LLM-as-a-Judge with MT-Bench and Chatbot Arena._ يوثّق قيود المُحكِّم الواحد التي يعالجها نمط اللجنة.
-   Cohen, J. (١٩٦٠). _A Coefficient of Agreement for Nominal Scales._ Educational and Psychological Measurement. إحصائية κ المستخدمة لقياس الاتفاق بين اللجنة والممارس الصحي.
-   Fleiss, J. L. (١٩٧١). _Measuring Nominal Scale Agreement Among Many Raters._ Psychological Bulletin. يُستخدم لقياس اتساق المُحكِّمين.
-   مكتبة `jiwer`: مكتبة Python مفتوحة المصدر لحساب WER والمقاييس المرتبطة به؛ بإصدار مثبّت في ملف القفل لمنظومة الاختبار.

الاستشهاد بهذه المنهجية

Hanah (٢٠٢٦). منهجية التحقق v1.١: معدل خطأ الكلمات والتقييم بلجنة تحكيم من النماذج اللغوية الكبيرة لدقة الكاتب الطبي بالذكاء الاصطناعي (المملكة المتحدة). Hanah، آخر تحديث ١٢ سبتمبر ٢٠٢٦. https://hanah.health/uk/trust/wer-methodology/

تستشهدون بنتيجة لا بالمنهجية؟ لتشغيل المملكة المتحدة سطر استشهاد خاص به في [الاختبار المعياري للدقة](https://hanah.health/ar/uk/trust/transparency/)، مع تاريخَي تقييمه ونشره.

المنهجية v1.١ · آخر تحديث في ١٢ سبتمبر ٢٠٢٦ · يتولى صيانتها الرئيس التنفيذي + المسؤول السريري + فريق الهندسة. ويستشهد تقرير التحقق المنشور بإصدار المنهجية الذي أُنتج بموجبه، كي تبقى الادعاءات قابلة للتتبع دائمًا إلى القواعد نفسها التي قُيِّمت بها.