קישורים ודוגמאות מהמפגש על גרפים אינטראקטיביים ב- R (בעזרת D3 וחברים)

Untitled

היום, בגוגל (קמפוס) תל אביב, התקיימה הרצאת R על Interactive Charts with R's HTMLWidgets & JavaScript. ההרצאה הועברה על ידי אפרת וילנסקי שעשתה (אם יורשה לי לומר) עבודה מצויינת באיסוף, אירגון והעברת החומר לקהל (ותודה ליונתן רוזנבלט, המנחה של אפרת, על הסיוע מאחורי הקלעים). בכנס השתתפו למעלה מ- 60 משתמשי ומשתמשות R, כל הכבוד לכל מי שהגיע למרות הקור והגשם.

את הקישורים והדוגמאות שהוצגו במפגש תוכלו לראות בדף שיצרה אפרת (הנה קישור). לנוחיותכם, הנה רשימת הקישורים הישירים מתוך העמוד עצמו. להתראות במפגש הבא…

להמשיך לקרוא

פורסם בקטגוריה מפגשי R | 3 תגובות

סדנת R ב- 2016-01-03 (הכניסה חינם, בהרשמה מראש): Interactive Charts with R's HTMLWidgets & JavaScript

אנחנו שמחים להזמין אתכם לסדנת R בנושא של גרפיקה אינטראקטיבית ב-R בעזרת java script. הסדנה תתאים למשתמשי R צעירים ומנוסים אשר מתעניינים בייצור של גרפים אינטראקטיביים (בתוך עמודי HTML) דרך קוד R.
הסדנה תתקיים בחסות האיגוד הישראלי לסטטיסטיקה, וגם גוגל-קמפוס.
הסדנה תועבר על ידי אפרת ויל (ראו בהמשך), ומאורגנת על ידי טל גלילי (בתמיכתו המוערכת של ד"ר יונתן רוזנבלט).
 _
ההשתתפות היא בחינם, אך דורשת הרשמה מוקדמת בשני קישורים (סורי על הריבוי, אך אין ברירה):
1) עליכם ליצור שם משתמש באתר של גוגל-קמפוס (ההרשמה היא בחינם, ובצד הימני העליון של המסך)
2) עליכם להירשם בגוגל-טופס שמופיע בקישור הישיר כאן. (עידכון: עברנו את ה-120 נרשמים, אבל לרוב יש כמה עשרות שלא מגיעים. אז אתם מוזמנים להירשם – ונודיע לכם לקראת האירוע האם התפנה מקום או לא)
 _
יש הגבלת מקום של 120 איש, אז אנא מהרו להירשם. לאחר שירשמו 120 הראשונים, ישלח אליהם מייל שמודיע שהם "בפנים". לאחר מכן ההרשמה תישאר פתוחה ל"רשימת המתנה", ובשבוע שלפני הסדנא נברר כמה אנשים לא יוכלו להגיע – ונזמין את האנשים מרשימת ההמתנה להגיע. בד"כ כשליש (לפחות) מהאנשים מבטלים ברגע האחרון, אז הרבה מהאנשים של רשימת ההמתנה צפויים לקבל הזמנה להגיע (אז תירשמו :) ).

להמשיך לקרוא

פורסם בקטגוריה מפגשי R | 2 תגובות

האקתון DataHack 2015 (בתאריכים: 25.11-27.11)

האקתון DataHack 2015 הוא ההאקתון הראשון מסוגו בישראל והוקם במטרה לכנס יחד את קהילת הדאטה הישראלית. ההאקתון יארח כ-100 מתכנתים, מעצבים וחוקרים שישלבו את הידע והנסיון שלהם כדי לעבוד על פרויקטים מגניבים שקשורים בניתוח, עיבוד וויזואליזציה של נתונים.

ההקאתון יתקיים בבית הנסן בירושלים בתאריכים 25.11-27.11, מיום רביעי אחר הצהריים עד שישי בצהריים. 

המשתתפים יהנו מגישה ייחודית למידע פתוח בזכות שיתוף פעולה עם הסדנא לידע ציבורי, וכן למידע שיספקו חברות הנותנות חסות לאירוע – ביניהן Google, EMC, Outbrain, SimilarWeb ו-Final. הקבוצות שמשתתפות באירוע יתחרו על פרסים כספיים, ויזכו להנחיה ממנטורים מובילים מהאקדמיה ומהתעשיה.

ההרשמה נפתחה ואתם מוזמנים לתפוס את מקומכם ולהרשם דרך האתר:

עקבו אחרינו בפייסבוק לקבלת עדכונים:

 

פורסם בקטגוריה חדשות | להגיב

סטטיסטיפדיה – תחרות לכתיבת ערכים בנושא סטטיסטיקה עבור הוויקיפדיה העברית

statistipedia_banners

סטטיסטיפדיה היא תחרות נושאת פרסים של כתיבת ערכים בנושא סטטיסטיקה והסתברות עבור הוויקיפדיה העברית. התחרות נערכת בהשראת תחרות דומה בתחום הפיזיקה – פיזיוויקי. מטרת התחרות היא להנגיש ערכים בנושאים אשר מופיעים בקורסי מבוא לסטטיסטיקה בסיסיים.

במטרה להרחיב ולשפר את היצע הערכים העוסקה בסטטיסטיקה והסתברות בויקיפדיה העברית, האיגוד הישראלי לסטטיסטיקה גאה להכריז על תחרות סטטיסטיפדיה. התחרות תתחיל ביום הסטטיסטיקה הבינלאומי ב- 20 לאוקטובר, ותימשך חודשיים עד לסיומה.

התחרות זוכה לחסות ותמיכה מעמותת ויקימדיה ישראל, בית הספר למדעי מתמטיקה באוניברסיטת תל אביב וחברת איסתרא מחקר. פרסים כספיים בשווי של 8,000 שקלים יחולקו לזוכים:

  1. פרס ראשון בסך 3000 ש"ח,
  2. פרס שני של 2000 ש"ח,
  3. ועוד 6 פרסי הוקרה בסך 500 ש"ח האחד.

הפרסים הראשון והשני יוענקו לכותבי הערכים הטובים ביותר, וששת הפרסים על סך 500 ש"ח יוענקו או לכותבי ערכים טובים או לעורכים אשר תרמו משמעותית להכי הרבה ערכים (פרטים מדוייקים והרשמה מופיעים בדף התחרות). הערכים שייכתבו עבור התחרות ייבדקו מדעית על ידי תלמידי מחקר וחברי סגל, וידורגו לפי איכותם המדעית וכן על פי נגישותם לקהל הרחב.

סטטיסטיקה חשובה לאזרח בעידן המודרני כדי לפרש ולהפעיל חשיבה ביקורתית על זרם הטענות והנתונים המגיעים אליו בתקשורת ובכלל התרבות, החל בתוצאות מחקרים רפואיים וכלה בסקרי בחירות. מטרת התחרות היא לסייע ולהנגיש את עולם הסטטיסטיקה לדורות של תלמידי תיכון וסטודנטים בשפה העברית. אנו רוצים להכין את הקרקע כך שלתלמידי תיכון וסטודנטים יהיה משאב ציבורי וחופשי המסביר במקצועית ובפשטות מושגים יסודיים מהתחום.

בסיום התחרות מתוכנן כנס סיום בו יוכרזו הזוכים. הכנס יתקיים בבית הספר למדעי המתמטיקה באוניברסיטת תל אביב.

שופטים:

  • ד"ר תמר גדריך, מכללת אורט בראודה
  • ד"ר דוד עזריאל, טכניון
  • פרופ' עוזי וישנה, אוניברסיטת בר-אילן
  • טל גלילי, אוניברסיטת תל אביב.

מארגנים:

  • טל גלילי, אוניברסיטת תל אביב
  • אבנר קנטור, עמותת ויקימדיה ישראל ואוניברסיטת חיפה

לפרטים נוספים והשתתפות, פנו לדף התחרות

(הטקסט של פוסט זה פורסם במקור באתר של האיגוד הישראלי לסטטיסטיקה, והוא משוחרר תחת רישיון שימוש CC-BY. אתם מוזמנים להפיץ את הטקסט בכל אופן שנראה לכם סביר, בבלוג, בפייסבוק – וכן הלאה)

פורסם בקטגוריה חדשות | להגיב

האקתון Rאשון על מחירי מזון בישראל – מה היה ותוכניות להמשך

photo

אתמול קיימנו בגוגל קמפוס ("קמפוס תל אביב"), מפגש מרתק שנמשך משש בערב ועד עשר בלילה. למפגש הגיעו למעלה מ-20 משתתפים, אשר הגיעו ושמרו על ריכוז למרות החום (המזגן בחדר התקלקל). השעתיים וחצי הראשונות הועברו על ידי יוני סידי אשר עבר באופן פרטני על גישה למבנה הגולמי, שליפה, תירגום XML ל dataframe, עבודה עם sqlite והצגת מפות אינטראקטיביות. בשעה וחצי שנותרו היה זמן חופשי לאנשים לחקור את המאגר בסיוע המשתתפים האחרים והמנחה.

להלן קישורים לקבצים התוכן אשר הועברו במפגש:

ומה הלאה?

זה היה הניסיון הראשון שלנו במפגש שהוא לא רק הרצאה, וסך הכל נראה שהתגובות של אנשים היו חיוביות. אנשים שאלו שאלות, ונשארו לשחק עם הנתונים לאחר המפגש.

הדברים שנרצה לעשות להמשך הם:

1) לקיים מפגש נוסף (הפעם שיכוון לא ל- 30 איש, אלא ל- 100+) בה תינתן הרצאה על הנושא של dplyr (וגם יישומה בהקשר של הנתונים שלנו),

2) להתחיל סידרה של מפגשי R קבועים, אחת לחודש. במפגשים אלו נוכל להגיע ולשחק עם נתונים כאלה או אחרים לטובת הקהילה. בתור התחלה, דרך קידום הפרוייקט של מחירי המזון בישראל.

 

פורסם בקטגוריה מפגשי R | תגובה אחת

מה מתוכנן להאקתון R מחירי רשתות של שבוע הבא (המתקיים ב-4 לאוגוסט ומתחיל ב-18:00)

בשבוע הבא יתקיים ביום שלישי האקטון R על מחירי המזון ברשתות השיווק. נותרו עוד (מעט!) מקומות פנויים במפגש, ואתם מוזמנים להירשם כאן בכדי להודיע לנו שאתם מגיעים.

מאז שהכרזנו על המפגש ועד עכשיו, עבדנו הרבה מאד כדי להתכונן למפגש (כלומר, יוני סידי עבד קשה – בעוד שאני בעיקר נהניתי לראות את הדברים המדהימים שהוא עשה).

נתוני המחירים מפוזרים בקבצי xml על פני אתרים רבים, יוני עמל רבות בשביל לאחד את כולם לקובץ אחד. יום אחד של נתונים הוא בערך 2.5GB (לא כל כך כיף בשביל עבודה עם R). לשם כך, יוני ריכז את הנתונים בתוך קובץ SQlite אשר ניתן לקרוא לתוך R, לשלוח לו פקודות SQL או לעבוד מולו בעזרת dplyr (הנחיות נוספות יינתנו למי שירשם כאן למפגש). את הנתונים ניתן לשלב עם מיקומי חנויות על פני מפה (מיקומים אשר לא ניתנו בקובץ נוח, ויוני נדרש לשאוב מאתרים שונים, ולעשות עליהם לא מעט הכנות בשביל שהם יהיו בפורמט אחיד). הנה דוגמא לצילום מסך של מפה אינטראקטיבית אשר יוני יצר על בסיס הנתונים (באפשרותכם להקליק על התמונה בשביל קובץ HTML עם המפה האינטראקטיבית בתחתיתו, כמו גם הקוד R אשר יצר אותה):

2015-07-31 11_49_55-Clipboard

כדי לעזור לכם לדעת עוד על מה מתוכנן, ואיך הגענו לכאן, יוני כתב כמה מילים ששווה לקרוא, להתראות שבוע הבא:

Last month a new law went into affect forcing all the major Israel Supermarket Chains to publish all prices and promotions so consumers can compare prices and lower prices through transparency. The full info of the law can be found [here].
The files instead of being in held in a centralized site in an easily read format for the public are spread out in many private sites in nonuniform archived xml files. The idea behind such a bad storage and formatting scheme is that the government wanted to have private companies make apps so the consumers can access the data through a third party.
The files format and generic layout can be found [here]. In reality the chains did not abide by the generic format and xml's have different structures and column attributes. Just to get a general idea of how much data is being sent every day, just the prices (smaller than the promotions file) take up 3 gigabytes of data per day.
While comparing items on an application is an important short term goal for the government and the law it is in our opinion only a first step. We are looking to bring the data to research quality data and add external information to supplement the information supplied by the chain stores.
We set out to incorporate multiple disciplines and agencies in this project to take advantage of each fields expertise. We have cooperation of representatives from the the Workshop for Public Information, Givat Ram Computer Science Department of the Hebrew University, the Statistics Departments of Tel Aviv University and the Hebrew University, the Geography Department at the Hebrew University, the Research Department in the Bank of Israel and the Central Bureau of Statistics.
Our current goals for the upcoming hackathon meeting are to get a good base for future work. This entails organizing all addresses of stores and incorporating it into a GIS system, creating a classification hierarchy of products in order to define uniform product baskets, and set up a sampling methodology that represents geographical units such that not all the data will be needed to conduct research.
פורסם בקטגוריה מפגשי R | להגיב

האקתון R מחירי רשתות השיווק ב-4 לאוגוסט (יום ג') בין 18:00 בערב ועד ל- 22:00

שלום כולם,
אנחנו (יוני סידי, אבנר, אנוכי, ועוד חברים) שמחים להזמין אתכם להאקתון בנושא מחירי רשתות השיווק.

מפגש האקתון הוא שונה ממפגשי R רגילים בכך שיש בו יחסית מעט זמן "הרצאה" (למרות שבמפגש הנוכחי תהיה הרצאת התחלה בשביל להבין קצת את הנתונים), ומטרתו לאפשר לאנשים לעבוד ביחד (או לפחות האחד ליד השני), על מנת לקדם מטרה משותפת (ראו סילבוס מורחב בסוף הפוסט).

איפה: המפגש יתקיים בגוגל קמפוס בתל אביב:
ELECTRA TOWER
98 YIGAL ALON ST.
TEL AVIV
34TH FLOOR

מתי: ב-4 לאוגוסט (יום ג') בין השעות 18:00 בערב ועד ל- 22:00.

מטרת ההאקטון הקרוב היא לבנות תשתית לביצוע מחקר בנושא מחירי מזון. סילבוס מפורט מופיע לאחר טופס ההרשמה.
משתתפים המעוניינים להגיע, אנא מלאו את פרטיכם בטופס:

The purpose of this meeting is to introduce ourselves to each other, the data and of course R.

From the response to the sign up form people have filled out thus far there are quiet a few fields interested in attending: statistics, computer science, geography, advertising, and more…

Each participant will receive a PDF containing the meta description of the files and a sample of the data retrieved thus far. After we are all on the same page we will split into groups that will have a task to do that serve the overall goal of understanding the data and getting it ready for any future research.

Syllabus

– Background to the Project
–   — What is the purpose of the law
–   — How can researchers and public use the data
–   — How to get to the data: Ministry of Economics homepage
–   — Logging into stores sites to retrieve data
– Exploring the different file types
–   — Summary PDF file that explains the layout and column data types in each file.
–   — Stores: List of all the stores for a given chain
–   — Prices: Updated Prices for all the Items sold in a given store of a chain
–   — Promotions: Updated Promotions for all the Items sold in a given store of a chain
– Getting hands dirty
–   — Recieve sample data to put on personal computer
–   — Creating data.frames from XML files to work on
–   — Implementing some basic queries to get a feel for the files.
– Splitting into Groups
–   — Creating hierarchies and clusters of items found in the prices files through the descriptions labels
–   — Designing sampling methods to retrieve representative samples from the data (statarea/city/national)
–   — Joining separate information to chain stores data: Socioeconomic/Deomgraphic/GIS data

פורסם בקטגוריה מפגשי R | להגיב

האקתון R מחירי רשתות השיווק (ומצגות מסדנת ה- R הקודמת)

שלום כולם. נהנינו מאד מסדנת ה-R שהתקיימה בשבוע שעבר בנושאי ggplot2 והפעלת R ב- Amazon (אשר הועברו על ידי עמית גל וליעד שקל). אתם מוזמנים להוריד את המצגות מהמפגש בקישורים הבאים:

 

אנחנו (יוני סידי, אבנר, אנוכי, ועוד כמה) שוקלים לקיים האקתון בנושא מחירי רשתות השיווק.

מטרת ההאקטון הקרוב היא לבנות תשתית לביצוע מחקר בנושא מחירי מזון. ‫דוגמא לתוצא אפשרי הוא מדד מחירי מזון ברמת האיזור הסטטיסטי. נשמח למשתתפים בעלי יכולות מגוונות. קצת מידע על הפרויקט: https://goo.gl/TgJbQT
אנא מלאו את פרטיכם בטופס בשביל שנוכל לתכנן את תכנית העבודה כך שתתאים ליכולות של המשתתפים. בהתאם לפרטי המשתתפים נתכנן את צעדינו לקיום המפגש:


 

פורסם בקטגוריה מפגשי R | להגיב

סדנת R: וויזואליזציה עם ggplot2 / התקנת RStudio server על שרת אמאזון (18.06.2015) (הכניסה חינם, בהרשמה מראש)

עידכון (2015-06-23): ניתן להוריד את תכני המפגש מהקישורים הבאים:
אנחנו שמחים להזמין אתכם לסדנת R אשר משלבת שני נושאים: (1) וויזואליזציה באמצעות ggplot2 וגם, (2) התקנת RStudio server על שרת אמאזון. הסדנה תתקיים בחסות איגוד הסטטיסטיקאים הישראלי, וגם גוגל-קמפוס.
הסדנה תועבר על ידי עמית גל וליעד שקל (ראו בהמשך), ומאורגנת על ידי אבנר קנטור וטל גלילי (ואנו מתנצלים על ההודעה הקצרה לגבי המפגש).
 _
ההשתתפות היא בחינם, אך דורשת הרשמה מוקדמת בשני קישורים (סורי על הריבוי, אך אין ברירה):
1) עליכם ליצור שם משתמש באתר של גוגל-קמפוס (ההרשמה היא בחינם, ובצד הימני העליון של המסך)
2) עליכם להירשם בגוגל-טופס שמופיע בקישור הישיר כאן.
 _
יש הגבלת מקום של 120 איש, אז אנא מהרו להירשם. לאחר שירשמו 120 הראשונים, ישלח אליהם מייל שמודיע שהם "בפנים". לאחר מכן ההרשמה תישאר פתוחה ל"רשימת המתנה", ובשבוע שלפני הסדנא נברר כמה אנשים לא יוכלו להגיע – ונזמין את האנשים מרשימת ההמתנה להגיע. בד"כ כשליש (לפחות) מהאנשים מבטלים ברגע האחרון, אז הרבה מהאנשים של רשימת ההמתנה צפויים לקבל הזמנה להגיע (אז תירשמו :) ).

כיבוד

היות והמפגש בחינם, אין לנו אפשרות לממן כיבוד (מעבר לתה וקפה שמציאים גוגל קמפוס). אי לכך: (1) רצוי שתביאו ארוחת ערב / תאכלו מראש. (2) נשמח אם תביאו כיבוד קל למפגש (פירות/ירקות חתוכים, שתיה או דיברי מתיקה – הכל הולך. עדיף איכות על כמות).

היכן?

בגוגל קמפוס:

ELECTRA TOWER
98 YIGAL ALON ST.
TEL AVIV
34TH FLOOR

מתי?

הסדנה תתקיים ביום חמישי, ה-18/06/2015 בין השעות 18:30-21:30

לו"ז (טנטטיבי):

  • 18:30-19:00 התכנסות
  • 19:00-20:00 – עמית גל
  • 20:30 – 20:00 הפסקה
  • 21:30 – 20:30- ליעד שקל

קהל היעד?

משתמשי R.

נושאי הסדנא

 

להלן נושאי ההרצאות (ההרצאות יועברו בעברית):

וויזואליזציה באמצעות ggplot2

מטרת ההרצאה להבהיר את ההגיון העומד מאחורי הגישה. רוב ההרצאה שלי תבוסס על המאמר של האדלי אודות הדקדוק הגרפי (קישור).
בהרצאה נציג את חמשת המרכיבים המרכזיים של הדקדוק (מיפוי, גאומטריה, טרנספורמציה סטטיסטית, צירים, קואורדינטות), להבין איך הם משתלבים ביחד תוך מתן דוגמאות, ניתוחן, ומשחק איתן.
ברקע יש את ספרו של האדלי על ggplot שממנו אני שואל כמה רעיונות, וכמה מצגות שמצאתי ברשת שמראות גרפים יפים שאולי אשתמש בהם כדי לנתח את המבנה וההגיון שמאחוריהם.
2015-06-04 00_09_06-Clipboard

 

Rstudio server using Amazon Web Services

Amazon Web Services (AWS) include many different computational tools, ranging from storage systems and virtual servers to databases and analytical tools. For us R-programmers, being familiar and experienced with these tools can be extremely beneficial in terms of efficiency, style, money-saving and more.

In this talk, we will get to know Amazon EC2 service. We will set up an EC2 instance (Amazon virtual server), install an Rstudio server on it and use our beloved Rstudio via browser (all for free!). The talk will include an introduction to linux commands (basic), instructions for connecting to a remote server via ssh and more.

As time permits, we will perform the whole process of establishing a computer cluster for parallel computations fully operated with R and parallel package.

  • No previous knowledge is required.
  • The demonstration is performed online, allowing you to keep track from your laptop.
    This is what you need to do beforehand:
  1. Set up an AWS account (do not worry about the credit card details, you will not be charged for any of  our actions).
  2. Windows users: download MobaXterm (or any other ssh client software).
    Mac users: make sure you are familiar with the terminal (cause I don’t).

סייגים

אין לנו ביטוח או דברים דומים. עליכם יש אחריות מלאה לכל דבר הקשור בכם, החל בנזק לעצמכם או לאחרים וכדומה. אז בבקשה תהיו זהירים.

2013 שנת הסטטיסטיקה הבינלאומית

פורסם בקטגוריה מפגשי R | להגיב

מצגות מסדנאות R (ביג דטא, וניתוח-רשתות-חברתיות/ web scraping)

photo

בחודשים האחרונים קיימנו שני מפגשי R מוצלחים בגוגל קמפוס. למפגש R וביג דטא הגיעו למעלה מ-100 משתתפים ולסדנת ניתוח רשתות ושליפת נתונים מהרשת הגיעו למעלה מ- 80 משתתפים. בשני המפגשים נהנתי מאד מהאווירה של חברותיות וסקרנות, תודה לכל המשתתפים!

אתם מוזמנים להוריד את קבצי ההרצאות:

אני אשמח לקדם מפגש נוסף שכזה בעוד כמה חודשים (בין 4-7 חודשים מעכשיו), אם אתם מעוניינים לקבל עידכונים על כאלו מפגשים בעתיד, אתם מוזמנים להוסיף עצמכם לרשימת התפוצה, ובנוסף יש גם קבוצת פייסבוק.

אם אתם מעוניינים להרצות באחד המפגשים העתידיים, אנא שילחו לי אימייל אל: [email protected] הנטייה שלי היא להרצאות של בין חצי שעה לעד שעה וחצי (תלוי בכמות החומר שיש לכם). עדיף הרצאות שהן self-contained, כך שגם מישהו מחוץ לתחום שלכם יוכל להבין את כל מה שתציגו, ועדיף שההרצאה תאפשר למשתמשים ליישם את הנלמד בכוחות עצמם.

אני רוצה להודות שוב לכל האנשים שהגיעו (ואלו שניסו להגיע), למרצים, לגוגל קמפוס, לאיגוד הסטטיסטיקה הישראלי, לעמותת ויקימדיה ולאבנר קנטור (המארגן המשותף של המפגש השני) – על תמיכתם במפגש ועידוד השילוב המקסים הזה של קוד פתוח, אקדמייה, תעשייה ואנשים טובים.

עידכון 18/01/2015:  פוסט סיכום על המפגש של אבנר קנטר

פורסם בקטגוריה מפגשי R | 2 תגובות