هل يستطيع الذكاء الاصطناعي مونتاج Reel حقيقي؟ تجربة Codex وGemini على فيديو دكتور عون… بالكود والأخطاء

ما هي المادة التي بدأنا بها؟

لم نبدأ بصورة مولدة، بل بملف فيديو خام حقيقي لمتحدثة داخل مركز دكتور عون. النسخة المصدر المسجلة في أرشيف الوظيفة حجمها نحو 36.2 ميغابايت. الكلام يدور حول تقديم المركز والترحيب بالجمهور وحفظ الصحة.

هدف التحرير لم يكن اختراع مشهد جديد أو تغيير كلمات المتحدثة؛ بل الحفاظ على نية الحديث، حذف الهوامش والوقفات غير الضرورية، إبراز الجملة المهمة، وإخراج Reel مناسب للهاتف.

صور حقيقية: المادة الخام مقابل معاينة بعد المونتاج

الصور التالية مقتطفات حقيقية من ملف التصوير ومن إحدى نسخ المونتاج. تُظهر الفروق في الكادر والنصوص والطبقات البصرية، وقد التُقطت عند أوقات متقاربة للمقارنة لا لمطابقة الإطارات حرفياً.

المعمارية: كيف اشتغل الوكيل وما وظيفة كل Module؟

من الخام إلى النتيجة: الخطوات السبع كما بُنيت في المشروع

لقطة من الحقيقة: Gemini أعطى التوقيت الحقيقي لهذه الكلمات

هذا مقتطف من تفريغ المشروع المسجل في ملفات الإنتاج، وليس مثالاً مخترعاً بغرض الشرح:

الفائدة ليست شكل جدول التوقيتات وحده؛ بل أن نفس ملف الكلمات يُستعمل عند تقسيم الجمل، ثم يُعاد حساب وقت ظهور الكابشن بعد حذف أي جزء من الفيديو. لهذا يمكن للوكيل كشف كلمات مقطوعة أو كابشن يظهر قبل المتحدثة أو بعدها.

هذا هو EDL الحقيقي: ثلاثة مقاطع بدل قص عشوائي

نسخة من ملفات التحرير المسجلة تعرض هذه الحدود في الفيديو الأصلي. لاحظ أن الوكيل احتفظ بترتيب الحديث، ولم يقترح تلفيق جمل خارج المصدر:

مجموع فترات EDL المختارة 17.475 ثانية. مدة ملف المعاينة أو الرندر قد تختلف قليلاً بسبب هوامش الصوت والفيديو وإعادة الترميز؛ لا يجب مساواة «مجموع القص» آلياً بمدة كل MP4 تم تصديره.

{
  "schema_version": 1,
  "segments": [
    {"start": 0.766, "end": 9.288, "purpose": "opening"},
    {"start": 9.447, "end": 14.849, "purpose": "main message"},
    {"start": 15.049, "end": 18.600, "purpose": "ending"}
  ]
}

كيف يمنع الكود Décalage بين الصوت والشفاه؟

من الأخطاء التي ظهرت في مراحل تطوير هذه المنظومة أن الكابشن قد يبدو صحيحاً بصرياً بينما الصوت تحرك إلى موضع آخر. لهذا بنيت حماية تربط كل كلمة بتوقيت مصدرها، وترفض تقطيعها خارج حدود مقطع EDL المعتمد، وتعيد ضبط الأوقات على Timeline الجديدة.

الفكرة الحسابية الأساسية لكل كلمة محتفظ بها هي: new_time = cumulative_output_offset + (original_word_time − segment_start). إذا كانت الكلمة خارج مقطع المصدر تُستبعد، وإذا كانت داخله يُنقل توقيتها إلى مكانها الجديد في الفيديو الناتج. ثم يفحص الفريق الصوت والشفاه بالنظر والاستماع، لأن فحص JSON وحده لا يكفي.

# Pseudocode reflecting the actual timing-guard design
for clip in approved_edl:
    for word in gemini_words:
        if word.source == clip.source and clip.start <= word.start < clip.end:
            new_start = out_offset + (word.start - clip.start)
            place_caption(word.text, new_start)
    out_offset += clip.end - clip.start

# Keep the source dialog audio cut together with its video.
# QA: inspect lip sync, mid-word cuts, caption visibility.

HyperFrames وRevideo وRemotion: لماذا جرّبنا أكثر من محرك؟

أن تكون الفكرة صحيحة لا يعني أن الشكل النهائي جميل. لذلك جرّبنا طرقاً مختلفة للكابشن العربي المتحرك، Zoom مركز على الوجه، موشن بسيط للهوية، وتركيب عناصر على Timeline. وثائق المختبر تسجل خمسة أساليب معاينة، منها Motion Canvas، Revideo، Remotion، Theatre.js + Remotion، وFusion بتركيبة Remotion + Theatre.js.

استُخدم HyperFrames خلال مرحلة البحث والتجارب لتوليد موشن بالـHTML، بينما ظهرت Revideo وRemotion وMotion Canvas ضمن مقارنات فعلية للحركة والتركيب. وتُظهر ملفات إنتاج المعاينة وظيفة FFmpeg في تجهيز مسار الفيديو والصوت والرندر؛ فلكل مكوّن دور مختلف.

ماذا عن الرندر ونتيجة اختبارات الجودة؟

الرندر خطوة تقنية منفصلة عن «الذكاء» الذي يختار اللقطات. في الأرشيف استُعملت أدوات مثل FFmpeg لتركيب الفيديو والصوت والتأكد من أن الملف قابل للتشغيل، مع تجارب رندر تعتمد على مكتبات الموشن. تقرير QC لأحد الإصدارات سجّل مدة نحو 17.58 ثانية ودقة 1080×1920، واجتياز عشر بوابات فنية منها الصوت والكابشن وإطارات الصورة.

لم تُنجز التجربة من أول محاولة: أدّت المراجعات إلى تحسين تمركز الزوم والكابشن العربي، وتصحيح Fade صوتي بدأ قبل نهاية الكلمة الأخيرة، ومعالجة تعثّر بعض المؤثرات عند الرندر في بيئة Chrome. هذه التعديلات جزء أساسي من تطوير سير مونتاج قابل للتكرار.

أكبر ثلاثة أخطاء تعلمنا منها

1. الصوت سبق الصورة: لا يكفي أن يكون الكابشن صحيحاً إذا فقد الفيديو مزامنته. اعتمدنا ربط الصوت بنفس حدود EDL ومراجعة الشفاه.
2. العربية تحولت إلى طبقات غير مقروءة: كابشن عربي RTL يحتاج Shaping وخطاً ملائماً وتزامناً لا يقص الحروف والكلمات، وأن يبقى بعيداً عن وجه المتحدث.
3. المحرّك لا يرنْدر بسبب البيئة: تعطلت نسخة إبداعية لأن Chromium/Headless Chrome ومكتبات التشغيل لم تكن مكتملة. الحل ليس اختراع «نجاح»؛ بل توثيق العطل، تنفيذ Fallback محدود، والإبقاء على الميزات غير المنفذة في سجل الملاحظات.

كيف تكرر التجربة بموارد Open Source؟

إذا أردت تطبيق المبدأ في مشروعك، تحتاج فيديو تملكه، ومصدر Transcript بتوقيت الكلمات، ووكيل برمجي متصل ببيئة آمنة، وFFmpeg/FFprobe، ومحركاً للحركة عند الحاجة، وقائمة QC واضحة. يُفضّل اختبار عشر ثوانٍ أولاً قبل محاولة فيلم طويل، وتجنب رفع فيديوهات تحتوي بيانات خاصة دون تصريح.

1. سجل أهداف الفيديو وطوله واللغة والهوية البصرية.
2. احفظ ملف الخام وبصمته SHA-256 قبل التعديل.
3. استخرج Transcript مع مصدر زمني موثوق، وصحح الأسماء واللهجة.
4. اكتب EDL لا تتجاوز حدود الكلام، واعتمده قبل الرندر.
5. نفذ القص للصوت والصورة في نفس مسار التحرير.
6. أضف Captions وMotion، واعرض معاينة على الهاتف.
7. اختبر Lipsync والتوقيت والوجه والصوت والحقوق قبل النشر.

Prompt عملي لتوجيه الوكيل

You are the post-production editor for a real short-form video.
Inputs: original video, confirmed brand assets, verified Gemini
word-level transcript and explicit editorial goal.
1. Verify the original video and generate a file manifest with SHA-256.
2. Return a source-accurate EDL: in, out, exact spoken text, reason.
3. Keep the original speech audio linked to the same video cuts.
4. Render a rough cut with FFmpeg or an authorized video engine.
5. Generate Arabic kinetic captions ONLY from confirmed word timings.
6. Motion graphics must not cover the face or fabricate a brand logo.
7. Run technical QC and send a playable preview for human review.
Do NOT invent missing timestamps, video output or completion claims.
Stop and report when an input, logo or renderer is unavailable.