הבעיה
ההנדסה שחררה פיצ׳ר מבוסס LLM, התמיכה הדביקה מידע לקוחות לצ׳אטבוט, ולקוח פוטנציאלי בדיוק שלח שאלון AI ששואל באילו מודלים אתם משתמשים, על איזה מידע, עם איזו פיקוח אנושי. אין לכם את התשובות האלה רשומות בשום מקום.
השיטה.
מיפוי כל מערכת AI, כולל אלו שאף אחד לא רשם
מודלים ושירותים במוצר, ממשקי AI של צד שלישי הנקראים מהקוד שלכם, פיצ׳רים מבוססי AI המוטמעים ב-SaaS שאתם כבר קונים, ושימוש עובדים בעוזרים ציבוריים. לכל אחד: מטרה, מודל וספק, מידע אימון או כיוונון, מחלקות מידע קלט, שימוש בפלט, והאם אדם סוקר את הפלט לפני שהוא משפיע על אדם.
סיווג לפי סיכון ולפי תפקידכם
לפי חוק ה-AI של האיחוד האירופי החובות שלכם תלויות במחלקת הסיכון של המערכת ובשאלה האם אתם הספק או המפעיל. רוב פיצ׳רי ה-SaaS של השוק הבינוני הם בסיכון מוגבל ומושכים חובות שקיפות; כל דבר שנוגע בתעסוקה, אשראי, חינוך או ביומטריה הוא בסיכון גבוה ומושך משטר כבד בהרבה. קביעת המחלקה שבה אתם נמצאים היא ההחלטה הראשונה, ולעיתים קרובות האחרונה שנדרשת.
קביעת מערך הבקרות שהמחלקה דורשת
ממשל מידע עבור מערכי אימון והערכה, תיעוד טכני, תיעוד קלט ופלט עם שמירה התואמת למחויבויות הפרטיות שלכם, תכנון פיקוח אנושי, בדיקת דיוק ועמידות, וגילוי למשתמשים היכן שהם מתקשרים עם מערכת AI. לפי ISO 42001, אלה הופכים למערכת ניהול AI עם אותו מבנה סעיפים כמו ISO 27001.
טיפול ישר במשטח האבטחה
הזרקת פרומפט ותוכן לא-מהימן בחלון ההקשר, הרשאות רחבות מדי לכלים ולקריאת פונקציות, דליפת מידע דרך פרומפטים ולוגים, ותנאי ספק המודל של צד שלישי, בפרט האם הקלט שלכם משמש לאימון. אלה נבחנים, לא מונחים, ותנאי השימוש במידע של ספק המודל נקראים ולא ניתן בהם אמון.
כתיבת כללי שימוש מקובל שאנשים יפעלו לפיהם
מדיניות שימוש ב-AI שנוקבת בכלים המאושרים, במחלקות המידע האסורות בהדבקה אליהם, ובמסלול הסקירה לפיצ׳רי AI חדשים. בשילוב עם שער אישור שינויים כך שפיצ׳ר ה-AI הבא נכנס למצאי כשהוא משתחרר, לא כשלקוח שואל עליו.
מהו ממשל בינה מלאכותית?
ממשל בינה מלאכותית הוא מערך התהליכים שמתעדים אילו מערכות AI ארגון בונה או משתמש בהן, מסווגים אותן לפי סיכון, מגדירים את המידע שהן רשאיות לעבד, מבססים פיקוח אנושי, ומתעדים את הכל מספיק טוב כדי לענות לרגולטור או ללקוח. לפי ISO 42001 הוא לובש צורה של מערכת ניהול; לפי חוק ה-AI של האיחוד האירופי הוא לובש צורה של חובות הקשורות למחלקת הסיכון של כל מערכת.
האם חוק ה-AI של האיחוד האירופי חל על חברה שרק משתמשת בפיצ׳רי AI ולא בונה אותם?
כן, בתפקיד המפעיל. למפעילים חובות קלות יותר מאשר לספקים (בעיקר שקיפות כלפי אנשים מושפעים, פיקוח אנושי, ושימוש במערכת בהתאם להוראותיה), אך אלה חובות, והן חלות על חברות שרק קונות כלים מבוססי-AI. היכן שאתם מכווננים או מציבים מערכת בשוק תחת שמכם, אתם עשויים להפוך לספק, שהוא משטר כבד בהרבה.
מה צריך להיות במצאי מערכות AI?
לכל מערכת: מטרתה, המודל והספק, האם היא אומנה או כווננה ועל איזה מידע, מחלקות המידע שהיא מקבלת כקלט, כיצד הפלט שלה משמש, האם אדם סוקר את הפלט לפני שהוא משפיע על אדם, וסיווג הסיכון עם תפקידכם כספק או כמפעיל. המצאי הזה הוא מה ששאלוני AI של לקוחות ורגולטורים כאחד מבקשים.