צור "ציורים עצביים" משלך עם DeepStyle ואובונטו

פרסומת

רשתות עצביות יכולות לעשות הרבה דברים. הם יכולים לפרש תמונות, להבין את הקולות שלנו 6 תכונות של Google Now שישנו את חיפושך יתכן שאתה כבר משתמש ב- Google Now במכשיר ה- Android שלך, אך האם אתה מוציא ממנו את כל מה שאתה יכול? הידיעה על התכונות הקטנות הללו יכולה לעשות את ההבדל הגדול. קרא עוד , ו תרגם שיחות איך עובד מתרגם המסע בין כוכבים של סקייפתכונת התרגום החדשה של סקייפ מציעה משהו שחלמה עליו מאז מסע בין כוכבים - דרך ללא מאמץ לתקשר בין שפות. קרא עוד . אבל האם ידעת שהם יכולים לצייר גם?

מאמר מחקר שפורסם לאחרונה (שכותרתו "אלגוריתם עצבי של סגנון אמנותי") הצליח להפיץ דיון מקוון עם כמה דוגמאות חזותיות בולטות. בעיקרו של דבר, העיתון דן בטכניקה להדרכת א רשת עצבית עמוקה מיקרוסופט מול גוגל - מי מוביל את מירוץ הבינה המלאכותית?חוקרי בינה מלאכותית עושים התקדמות מוחשית, ואנשים מתחילים לדבר שוב ברצינות על AI. שני הטיטאנים המובילים את מירוץ הבינה המלאכותית הם גוגל ומיקרוסופט. קרא עוד להפריד בין סגנון אמנותי למבנה תמונה ולשלב בין סגנון תמונה אחת למבנה של תמונה אחרת. נקודת המוצא של כל אלה היא שתוכלו להכשיר רשת עצבית ענקית להפוך תמונות ל"עצבים " ציורים "שנראים כאילו הם צוירו על ידי אמנים מפורסמים -" זיופים דיגיטליים " לדבר.

להלן כמה דוגמאות מהמאמר. התמונה הראשונה היא המקורית. התמונות המאוחרות יותר הן התוצאות שנוצרו, כאשר הציור ממנו הודגם הסגנון מוצג בזעיר אנפין.

החוקרים המקוריים לא פרסמו את הקוד שלהם, למרבה הצער. עם זאת, חלק מהמתכנתים הפזיזים שכפלו את תוצאותיהם במהלך הימים האחרונים, והקוד שלהם זמין, קוד פתוח באינטרנט. כל מה שצריך כדי להריץ אותה הוא מכונת לינוקס וקצת סבלנות.

היום אני הולך להעביר אותך כיצד לעשות זאת ולהראות לך כמה מהתוצאות שלי. אתה יכול לחשוב על זה כעל המשך רופף לשלנו הדרכת DeepDream צור חלומות חום מלאכותיים משלך באמצעות "DeepDream" של גוגל.האם ראית את התמונות המטריפות שיצאו מ- DeepDream? רוצה להכין משלך? אל תסתכל רחוק יותר! קרא עוד . זה קצת מסובך, אבל כל מי שיש לו מחשב לינוקס יכול לעקוב אחריו - אין צורך בחוויית קידוד.

הפכתי ציור אור של פיקאסו לציור בסגנון פיקאסו #DeepStyle! pic.twitter.com/cjkEoIhVcF

- ג'יימס בלהה (@jamesblaha) 5 בספטמבר 2015

הגדרת התוכנה

ראשית, אם אין לך ממהר גדול או שאין לך מחשב לינוקס, אתה עדיין יכול לשחק עם DeepStyle באמצעות DeepForger טוויטר בוט (שלחו לו תמונה וסגנון, ובסופו של דבר תשיב בתוצאות הרצויות). אם ברצונך לעבד תמונות נוספות במהירות (ובקרה רבה יותר על התוצאות), המשך לקרוא להדרכה.

ראשית, וודא שיש לך עותק מעודכן של אובונטו (14.04 זה מה שהשתמשתי). צריך להיות לך לפחות כמה הופעות נוספות של שטח בכונן הקשיח. למידע נוסף, עיין במדריך שלנו בנושא אתחול כפול של אובונטו לצד Windows נמאס לכם מחלונות 8? כיצד לאתחל כפול של Windows ואובונטואם אתה מגלה שחלונות 8 אינה בדיוק כוס התה שלך, ואין לך דרך אפשרית לשדרג לאחור, ייתכן שיהיה רעיון טוב לבצע אתחול כפול עם לינוקס כדי שיהיה אלטרנטיבה ... קרא עוד . אתה זקוק גם להרשאות שורש, אז וודא שאתה עושה לפני שתמשיך.

כלים בסיסיים

ממש לעטלף, זהו פרויקט קוד פתוח, אז אנחנו נרצה שיהיה גיט מותקן. גיט הוא ה תקן זהב לתוכנת בקרת גרסאות מה כן ומדוע עליך להשתמש בבקרת גרסאות אם אתה מפתחכמפתחי אתרים, הרבה זמן אנו נוטים לעבוד על אתרי פיתוח מקומיים ואז פשוט מעלים את הכל כשסיימנו. זה בסדר כשזה רק אתה והשינויים קטנים, ... קרא עוד . כמעט כל פרויקט קוד פתוח שכדאי לדעת עליו מתארח ב- Github.

כדי להוריד ולהתקין את Git, פשוט פתח מסוף והקלד "sudo apt - קבל להתקין גיט"והסכים לדרישות המתקין.

הבא: אנחנו הולכים הגדר כלים בסיסיים כדי לגרום לתוכנה לעבוד.

ראשית, התקן לואה. זו השפה בה הכלי כתוב. זה די פשוט. פשוט תקליד "sudo apt-get להתקין lua5.2"ובצע את תהליך ההתקנה.

שנית, אנחנו הולכים לקבל Luarocks. זה הכלי שמקל על התקנת כלים אחרים (אינך אוהב את לינוקס?). עבור זה, הקלד "sudo apt - לקבל התקנת luarocks"ובצע את שלבי ההתקנות.

שלישית, אנו הולכים להתקין לואג'יט. זה מהדר בדיוק בזמן עבור לואה שיהפוך את חיינו לקצת יותר פשוטים. פשוט תקליד "sudo apt - קבל להתקין luajit.”

בינתיים הכל טוב.

אני בוט שיוצר זיופים מהתמונות שלך בסגנון של ציירים מפורסמים. לחץ להוראות שלהלן! pic.twitter.com/3MpThDNwRE

- המזויף העמוק (@DeepForger) 5 בספטמבר 2015

מסגרות

בשלב הבא, אנו הולכים להתקין לפיד, מסגרת מחשוב מדעית ולמידת מכונות המהווה את עמוד השדרה של היישום. לרוע המזל, לא ניתן להתקין את זה באמצעות apt-get (מנהל החבילות הרגיל של אובונטו).

למרבה המזל, יש להם מתקין בשורה אחת המשתמשת בקסם בשורת הפקודה. חזור למסוף שלך והזן "סלסול - https://raw.githubusercontent.com/torch/ezinstall/master/install-all | bash“.

כשתסיים, הקלד "luajit -ltorch“. זה יעלה את ממשק הלפיד ויאמת שהכל הותקן כהלכה.

צא מזה.

כעת אנו הולכים להתקין loadcaffe - חבילה ספציפית לרשת עצבית. התקן את התלות היחידה שלו על ידי הקלדת "sudo apt - לקבל התקנת libprotobuf-dev protobuf-compiler“. אז אתה יכול להתקין את החבילה עצמה באמצעות "sudo luarocks להתקין loadcaffe ".

@Johnicholas התמוטטות הזיוף שלך, סגנון avec מאת בית הספר לרמברנדט ואן ריין. #אמנות דיגיטלית#StyleNetpic.twitter.com/pf0sZxWkaT

- המזויף העמוק (@DeepForger) 7 בספטמבר 2015

בדיקת תלות כפולה

לבסוף, אנו הולכים לעדכן לפני כמה ריקים דברים מסוימים רק כדי לוודא שהכל מתנהל בצורה חלקה.

הקלד "Sudo Luarocks להתקין תמונה - -"כדי לוודא שחבילת התמונות שלך מעודכנת. הבא, הזן "luarocks להתקין nn"שיעשה את אותו הדבר עבור חבילת ה- nn שלך.

התקנת סגנון עמוק

בסדר! בשלב זה אנו מוכנים להתקין את התוכנה עצמה בפועל. למען הנקיון, צור תיקיה חדשה בספריה הביתית שלך ('mkdir DeepStyle'). ואז הזן אותו באמצעות "תקליטור Deepstyle“. הקלד עכשיו "שיבוט סודו גיט https://github.com/jcjohnson/neural-style.git".

בשלב הבא עלינו להוריד את הדגם. הכינו כוס קפה או משהו, זה ייקח זמן. חזור לטרמינל והקלד "דגמי sudo sh / download_models.sh“. זה יתחיל בתהליך הורדה ארוך ומוארך. אם זה נכשל בגלל שגיאות הרשאה, נסה לתת לעצמך הרשאות קריאה לקריאה בתיקיות הרלוונטיות, באמצעות chmod.

@ 44thats44oars הזמין זאת #ProceduralArt# נוראליות. pic.twitter.com/tbMH7gsvc8

- המזויף העמוק (@DeepForger) 6 בספטמבר 2015

שימוש בסגנון עמוק

אוקיי, טוב לנו ללכת. השימוש בתוכנה די פשוט.

ודא שאתה נמצא ב ספריית DeepStyle / בסגנון עצבי בטרמינל. עכשיו, תצטרך כמה תמונות שתעבוד עליהן. הורד אותם מהאינטרנט (או כל דבר אחר), ואז העתק אותם ל- תיקיית DeepStyle / בסגנון עצבי באמצעות דפדפן הקבצים.

עכשיו אתה יכול להשתמש בשורת הפקודה כדי לעבד תמונות בודדות. הפורמט די פשוט:

th neural_style.lua -style_image YOURPAINTINGHERE.jpg - content_image YOURPHOTOHERE.jpg -gpu -1

(ברור שתצטרך להחליף את הנתחים ב- ALL CAPS בשמות הקבצים שלך).

זה יביא לרשת העצבית. זה יפעל כשעה, ויורה תמונות חדשות שהתכנסו באופן חלקי כל כמה דקות עד שיסתיים. ה -gpu -1 דגל מונע ממנו לנסות לגשת ל- GPU שלך.

לאחר מספר שעות של ניסיון (ולבנות את מערכת ההפעלה מספר פעמים) לא הצלחתי לגרום לאובונטו ול- CUDA לשחק נחמד עם ה- GPU שלי (NVIDIA GTX 970). אם יש לך יותר מזל עם זה, תרצה להתקין את CUDA ו- cudann.torch (ראה ריפו github למידע נוסף). אם לא, זה בסדר - זה עדיין יעבוד באמצעות מעבד ה- CPU שלך; זה פשוט יהיה קצת יותר איטי.

אם יש לך בעיות בהפעלת כל זה, פשוט שאל אותי בתגובות, ואני אעשה כמיטב יכולתי לעזור לך.

תוצאות

הנה כמה תמונות שיצרתי במהלך היומיים האחרונים. התוצאות מעורבות, אך רבות מהן די מרשימות.

לחץ כאן לרזולוציה המלאה.

זה הוא של ידידי זאק בטיול טיולים בג'ולסטון. הסגנון מגיע מציור מופשט, שנוצר על ידי תרזה פדן. סקרנתי לראות איך המערכת תפעל באמצעות תמונה ללא כל מבנה. התוצאות די מסודרות, ובהחלט ניתן לראות את הדמיון לתמונת הסגנון.

לחץ כאן לרזולוציה המלאה.

זה בא באדיבות אחד האמנים האהובים עלי, צ'רלס דמוט (ראו: קטורת של כנסייה חדשה, ו איור 5 בזהב). מעניין לציין כי Demuth הוא אחד ההשראות הוויזואליות העיקריות לאמנות טים פורטרס 2 מבצר צוות 2: משחק הקיטור החופשי להפעלה שעליך לשחקהאם Team Fortress 2 הוא רק משחק מהיר לבדיקת גרפיקה וביצועים, או שזה משחק ששווה לשחק שוב ושוב? קרא עוד , כפי שאתה יכול לראות מתמונת הסגנון.

האכלתי בזה תמונה של ג'רזי סיטי שמצאתי בויקימדיה. התוצאות הן... די טוב. זה לא קלט את הזוויתיות של הסגנון של דמוט, אבל זה בהחלט הרים את המראה הרך והמרקם ואת לוח הצבעים.

לחץ כאן לרזולוציה המלאה.

זה הוא ניסיון לייצר O'Keeffe סינטטי, תוך שימוש בתמונה ארצית למדי של כמה פרחים שמצאתי. התוצאות, למען האמת, מרהיבות. מבחינה אסתטית, זו אחת התוצאות האהובות עלי. העושר של הצבעים והצורות של O'Keeffe עובר בבירור. שולי שכבות עלי הכותרת של הפרחים הופכים לשולי העלים ברקע. הפרחים עצמם מתמוססים לצבעים והופכים כמעט מופשטים.

זה יהיה ציור טוב אם אדם יעשה זאת. אני מאוד מתפתה לבזבז כמה ימים בביצוע גרסת רזולוציה גבוהה יותר של הגרסה הזו, והגדרת אותה.

לחץ כאן לרזולוציה המלאה.

הנה חברתי שאנון בתלבושת ליל כל הקדושים שלה, דרך הדפס של פיקאסו. מעניין, המכשיר בחר לצבוע את החלק התחתון של פניה לבן (בדומה למתווה הצבעוני של חתיכת פיקאסו). אני לא בטוח אם זה צירוף מקרים או לא, אבל התוצאות מדהימות. נראה שהוא זיהה נכון את שערו של שאנון בצד שמאל, וצייר אותו מחדש בצבע ועבודות הקו מהשיער בתמונת הסגנון. דיטו לכובע שלה.

זהו אחד היצירות בהן מגבלות הטכניקה מתחילות להתבהר. אם פיקאסו באמת היה מצייר את שאנון, הוא היה זורק את מבנה פניה וגורר את התכונות כדי להשיג את האפקט שהוא רצה. מערכת זו אינה מבינה סוגים אלה של מושגים ברמה גבוהה והיא מסוגלת לחקות רק היבטים שטחיים של הסגנון, כמו הקווים הכהים, הזוויתיים ולוח הצבעים.

לחץ כאן לרזולוציה המלאה.

די פשוט: תמונה של מגדל אייפל ושל ואן גוך אחר לילה זרוע כוכבים. זה עושה עבודה טובה ועושה את הענן בסגנון ואן גוך- ey, למרות היעדר העננים בתמונה המקורית. זה גם עושה עבודה טובה בתרגום של הסצנה מיום ללילה.

לא הייתי בטוח מדוע זה החליט להעמיד את קצה מגדל הפייפל כעמוד אש. זה נראה מגניב, אבל זה לא ממש מוצדק מנתוני הקלט. ואז הבנתי שלתמונת הסגנון יש שלוש עשרה רצועות צהובות אנכיות ארוכות, בצורה של השתקפויות במים. זהו אשכול די מסיבי, בהינתן נתוני אימונים כה מעטים. הדבר המסכן למד כנראה שכל קצה אנכי בעל ניגודיות גבוהה חייב להיות אחד מאותם השתקפויות. אתה יכול לראות פסים אנכיים זרים יותר קלושות בעננים.

לחץ כאן לרזולוציה המלאה.

אותו ציור של ואן גוך, אבל הפעם נתתי לו כמה כוכבים בפועל לצייר. במקרה זה חלק העמודים של ערפילית הנשר. אני אוהב את התוצאות - אם כי, שוב תוכלו לראות את האובססיה שלה לפסים צהובים. כל חלק אנכי של העמוד הופך לקו צהוב בהיר ונדיר. ברור שהוא מוטרד גם מהירוק שלא התרחש בנתוני האימונים ועושה כמיטב יכולתו להיפטר ממנו לטובת כחול ושחור.

טכנולוגיה

כמה תוצאות מכך הן משכנעות ביותר, אם כי לטכניקה מגבלות ברורות. יש תמונות שיש להן קומפוזיציה גרועה, והמערכת מתקשה עם אמנים מופשטים יותר כמו פיקאסו - שבאופן ידוע אהב לעוות את הנושא שלו, תוך פיזור תכונותיו. האלגוריתם קולט את קווי הזווית שלו, וצבעים מתנגשים, אך הוא עדיין עבד לערכי הפיקסלים של התמונה. אין לזה את ההבנה שאתה צריך לסטות יותר מדי מחומר המקור.

מה שמרגש אותי בכל זה הוא שאני לא חושב שהמגבלות האלה הן מהותיות.

הגישה הנהוגה כאן - הרכבת רשת על תמונה אחת והשתמש בה כדי לבנות אחרת - היא סוג של פריצה מיסודה. זה נותן לרשת מעט מאוד נתונים לעבוד איתם. גרסה מתקדמת יותר של יישום זה תשתמש ברשת שיש בה מידע על רבים ציורים, ואולי אפילו תמונות אמיתיות, כדי לתת לה המון הקשר לגבי הדימוי שהוא מנסה "צבע."

תפיסה עמוקה של סגנון יכולה להתקיים רק בהקשר רחב יותר. אינך יכול להפיק זאת מתמונה אחת. תכנון ארכיטקטורה המעניקה למערכת גישה לנתונים רחבים יותר עשויה לאפשר לה לגזור יותר הבנה "דמוית אנוש" של הדימוי וכיצד אמנים מייצגים אלמנטים שונים של האמיתי עולם. רשת כזו אולי תוכל לייצר תמונות מופשטות יותר ובעלות קומפוזיציה טובה יותר. אלגוריתמים כאלה יפסיקו להיות צעצוע מגניב (כמו זה) ויהפכו לדרך לייצר אמנות אמיתית, מקורית.

וזו מחשבה מוזרה מאוד, במובנים מסוימים.

הכנת תמונות משלך

אם תקבלו תוצאה מאכזבת, תוכלו לשחק קצת עם האפשרויות כדי לנסות להשיג תוצאות משכנעות יותר. הרשימה המלאה נמצאת בגיתוב. החשובים הם

• ערך משקל כמה משקל לטווח שחזור התוכן. ברירת המחדל היא 5e0.
• -סגנון_משקל-ערך: כמה משקל לתת לתמונת הסגנון. ברירת המחדל היא 1e2.
• -style_scale - ערך: כמה גדול של טלאי תמונות צריכה המערכת לנתח (גדול יותר הופך להיות מופשט יותר). ברירת המחדל היא 1.0.

לאחר שתקבל את כל מה שעובד לשביעות רצונך, אנא פרסם את התמונות המעניינות ביותר שלך בתגובות. אני באמת מעוניין לראות מה אתם מגלים.

זיכויים לתמונה: צייר מוח אנושי דרך Shutterstock