POWER BI
لوحتان صمّمتهما في Power BI.
تحليل نتائج البطولات: عدد الفائزين حسب الشهر، وتكرار الفوز بالبطولات.
مقارنة معدلات الإصابة حسب النوع والفترة الزمنية والجنس.
PROJECT 01 · PYTHON · NLP
تحليل استكشافي لنبرة عناوين الأخبار المالية الإنجليزية عن Apple وNVIDIA وTesla باستخدام الكشط الآلي ونموذج VADER. وهو يقيس صياغة العناوين فقط، لا مشاعر المستثمرين ولا عوائد الأسهم.
الأدوات والأساليب: Python: جمع البيانات (requests وBeautifulSoup)، وتنظيفها وتحليلها (Pandas وNumPy)، وEDA، وتحليل المشاعر (NLTK VADER)، والإحصاء (SciPy وscikit-learn)، والرسوم (Matplotlib وSeaborn).
المشروع على GitHubالمصدر: بحث Google News RSS لكل سهم. الفترة: من 1 سبتمبر إلى 27 أكتوبر 2026. جُمع 302 عنوانًا، وبقي 296 بعد حذف 6 عناوين مكررة (AAPL: 99، NVDA: 98، TSLA: 99). كل عملية جمع تعطي عناوين مختلفة، فكل الأرقام هنا من ملف البيانات المحفوظ في المستودع. الحقول الرئيسية: الرمز، والتاريخ، والعنوان، والعنوان المنظَّف، والدرجة، والتصنيف (إيجابي ≥ 0.05، سلبي ≤ −0.05، وغير ذلك محايد)، وعدد الكلمات.
1) الجمع بـ requests وBeautifulSoup. 2) التنظيف: تحويل التواريخ، وحذف المكرر، وعدّ الكلمات، وحذف اسم الناشر من آخر العنوان. 3) التسجيل بـ VADER ومقارنة القاموس الافتراضي بالموسّع. 4) الاستكشاف: التوزيعات، ومخططات الصندوق، والعدد اليومي، وتكرار الكلمات، والإحصاءات لكل شركة. 5) المقارنة الحذرة: Bootstrap وكروسكال-واليس وسيناريوهات الحساسية. 6) المقارنة بتصنيف يدوي على عينة عشوائية.
| AAPL | NVDA | TSLA | |
|---|---|---|---|
| المتوسط | 0.046 | 0.114 | 0.126 |
| الوسيط | 0 | 0 | 0 |
| الانحراف المعياري | 0.329 | 0.298 | 0.288 |
| % الدرجة صفر | 38.4 | 41.8 | 47.5 |
الوسيط صفر للشركات الثلاث، فالمتوسطات تأتي من العناوين غير الصفرية. والصفر لا يعني دائمًا الحياد، فقد يعني أن النموذج لم يلتقط النبرة. والتغطية الزمنية غير متوازنة: 60% من العناوين في يومي 26 و27 أكتوبر.
في النافذة المشتركة (من 6 أكتوبر، 276 عنوانًا) كانت فترات الثقة 95% للمتوسط: AAPL [−0.036، 0.103]، NVDA [0.056، 0.174]، TSLA [0.067، 0.187]، واختبار كروسكال-واليس p = 0.173. وهذا لا يثبت تساوي الشركات، لكنه يعني أن العينة لا تعطي دليلًا قويًا على فرق. وفي التقييم اليدوي (101 عنوانًا) بلغت دقة VADER مع القاموس المالي 0.436 وMacro-F1 0.431، وأخطأ غالبًا بتسجيل عناوين إيجابية على أنها محايدة (26 من 55). وأضاف القاموس المالي عنوانين صحيحين فقط، وهذا ضمن الضجيج.
نافذة زمنية قصيرة وغير متوازنة. العناوين غير مستقلة (نصوص وأحداث مشتركة)، فقد تكون فترات الثقة وقيم p متفائلة. التصنيف اليدوي من شخص واحد على 101 عنوانًا فقط، فمقاييس كل فئة غير مستقرة. القاموس المالي صغير ولم يُتحقق منه على بيانات مستقلة. مصدر واحد ونموذج عام الغرض. والنتائج استكشافية وليست نصيحة مالية.
PROJECTS
مشروعا Excel مفتوحان للعرض عبر الروابط، ومشاريع البرمجة على GitHub.
785 موظفًا في 6 أقسام و7 مواقع. 561 على رأس العمل و224 تركوا العمل.
الاستنتاج التحليلي: يختلف معدل الدوران بين الأقسام (مربع كاي p = 0.0001): المبيعات 40.3% والتسويق 31.4% والعمليات 29.3% مقابل المالية 18.4% والموارد البشرية 13.5%. أي أن دوران المبيعات نحو ثلاثة أضعاف الموارد البشرية. وهي علاقة ملاحظة لا تثبت السببية.
الأدوات والأساليب: Excel: جداول محورية (Pivot Tables)، ومقسّمات (Slicers)، وجدول Excel، وصيغ لحساب مدة الخدمة (YEAR وTODAY). التحقق الإحصائي: مربع كاي ومان-ويتني (Python وSciPy).
افتح المشروع5,780 عملية بيع بين 2017 و2019 في 7 ولايات و5 علامات تجارية.
الاستنتاج التحليلي: نسبة الإرجاع نحو 10% في كل مستويات الرضا (من 9.4% إلى 11.1%، مربع كاي p = 0.82)، وهي 11.1% مع التوصيل المتأخر مقابل 10.0% مع التوصيل في الموعد (p = 0.21). فرضا العملاء وأداء التوصيل لا يفسّران الإرجاع في هذه البيانات.
الأدوات والأساليب: Excel: Power Query (استعلامان للتحليل الإحصائي)، وجداول محورية (Pivot Tables)، ومقسّمات ومخططات للوحة، وورقة تحليل إحصائي (ANOVA، الالتواء، معامل التباين). التحقق من علاقات التوصيل والرضا والإرجاع: مربع كاي (Python وSciPy).
افتح المشروعالتوتر والدعم والإنهاك والأداء، ببيانات محاكاة للتعلّم.
الأدوات والأساليب: R: حزمة lavaan، ونمذجة المعادلات البنائية.
المشروع على GitHubCALCULATOR
أدخل أرقامك مفصولة بمسافة أو فاصلة. أضف قائمة ثانية بنفس الطول لحساب معامل الارتباط.
R. A. FISHER · 1890–1962
الاستعانة بالإحصائي بعد انتهاء التجربة غالباً ما تكون مجرد طلب لتشريح الجثة، وأقصى ما يستطيعه أن يخبرنا بما ماتت منه التجربة.رونالد فيشر
إحصائي ووراثي إنجليزي، عمل في محطة روثامستد الزراعية بين 1919 و1933، وواجه بيانات تجارب ميدانية صغيرة العدد كثيرة الضجيج، فطوّر أدوات للتصميم والاستدلال قبل أدوات الحساب. جوهر فكرته أن الاستدلال يبدأ من التصميم لا من الحساب: إذا لم تُوزَّع الوحدات عشوائياً، فأي حساب لاحق يبقى مشوباً بتحيّز لا تصلحه المعادلات.
العشوائية، والتكرار، والحجب. وهي أساس كل تجربة يمكن الوثوق بنتائجها.
تقدير الإمكان الأقصى وخواصه المقاربة، والمعلومة الإحصائية وحدود الكفاءة، وتحليل التباين وتوزيع F، واختبار فيشر الدقيق لجداول 2×2، وأسس الوراثة الكمية والانتخاب الطبيعي.
1922: الأسس الرياضية للإحصاء النظري
1925: طرق إحصائية لباحثي العمل
1930: النظرية الوراثية للانتخاب الطبيعي
1935: تصميم التجارب
1956: الطرق الإحصائية والاستدلال العلمي
الفكرة أن يُفكّك تباين الملاحظات إلى مكوّن بين المجموعات ومكوّن داخلها. إذا كان أثر المعالجة صفراً فلا يُتوقّع أن يزيد التباين بين متوسطات المجموعات على ضجيج التباين داخل المجموعات.
| المصدر | SS | df | MS | F |
|---|---|---|---|---|
| بين المجموعات | 84.60 | 2 | 42.30 | 7.05 |
| داخل المجموعات | 72.00 | 12 | 6.00 | – |
| الكلي | 156.60 | 14 | – | – |
مثال: ثلاث معالجات على 15 وحدة تجريبية، ودرجات الحرية 2 و12. القيمة المحسوبة 7.05 تتجاوز القيمة الحرجة 3.89 عند مستوى 0.05، فتُرفض الفرضية الصفرية (p ≈ 0.009): ثمة فرق بين المعالجات أعلى من الضجيج الداخلي.
CORE IDEAS
كلما زاد حجم العينة اقترب متوسط العينة من متوسط المجتمع، بشرط أن تكون المشاهدات مستقلة وللمجتمع متوسط محدود. رمي العملة 10 مرات قد يعطي 7 صور، أما 10,000 مرة فتقترب نسبة الصور من النصف.
توزيع المعاينة لمتوسط العينة يقترب من التوزيع الطبيعي كلما كبر حجم العينة، بشرط أن تكون المشاهدات مستقلة ومتماثلة التوزيع وذات تباين محدود. وكلما كان توزيع الأصل أشد التواءً احتجنا عينة أكبر. الخطأ المعياري للمتوسط σ/√n.
في التوزيع الطبيعي تقع نحو 68% من القيم ضمن انحراف معياري واحد، ونحو 95% ضمن انحرافين، ونحو 99.7% ضمن ثلاثة.
ترتفع مبيعات المثلجات ومعها حوادث الغرق، والسبب الحقيقي حرارة الصيف. وقد يكون العامل الثالث الخفي هو التفسير الحقيقي، والتجارب العشوائية تعزل أثره.
ARTICLES
قيمة p الصغيرة تعني أن هذه النتيجة نادرة الحدوث لو لم يكن هناك فرق حقيقي، لكنها لا تقول إن الفرق كبير أو مفيد للمريض، ولا تعطي احتمال صحة الفرضية. لذلك نقرأ حجم الأثر وفترة الثقة مع الدلالة الإحصائية، ونسأل عن الأهمية السريرية، وعن الحساسية والنوعية في الفحوص التشخيصية.
خطأ أي مقدّر يتكوّن من جزأين: الانحياز، وهو ابتعاد المتوسط عن الحقيقة، والتباين، وهو تذبذب التقدير من عينة لأخرى. العلاقة MSE = Bias² + Variance. تقليل أحدهما غالباً يرفع الآخر، وهذا جوهر المفاضلة بين بساطة النموذج وتعقيده.
أشهر الفخاخ: انحياز الاختيار حين لا تمثّل العينة المجتمع، وانحياز البقاء حين ننظر إلى الناجين فقط، وعينة الملاءمة التي نأخذها لأنها الأسهل، وعدم الاستجابة حين يختلف من لم يردّ عمّن ردّ، والعينة الصغيرة التي تُنتج نتائج لافتة وغير مستقرة. الحل يبدأ من التصميم قبل جمع البيانات.
PIONEERS
تحليل التباين، وتصميم التجارب، والإمكان الأقصى.
اختبار t للعينات الصغيرة، ونشره باسم «Student».
معامل الارتباط واختبار كاي تربيع.
ساهم في التوزيع الطبيعي وطريقة المربعات الصغرى.
صاحب مبرهنة بايز في تحديث الاحتمالات بالأدلة.
الانحدار نحو المتوسط، ومن أوائل من درسوا الارتباط.
REFERENCES