נתונים

תנאי גזירה

מסד הנתונים Open Products Facts זמין בכפוף לרישיון Open Database (מסדי נתונים).
התוכן הפרטני במסד הנתונים כפוף לרישיון Database Contents (תכני מסדי נתונים).
תמונות המוצרים זמינות בכפוף לרישיון Creative Commons Attribution ShareAlike (ייחוס-שיתוף זהה). הן עשויות להכיל רכיבים חזותיים שעשויים להיות כפופים לזכויות יוצרים או לזכויות אחרות שניתן בחלק מהמקרים לעשות בהם שימוש מחדש (זכויות ציטוט או שימוש הוגן).

נא לקרוא את התנאים וההגבלות לשימוש ולגזירה בטרם גזירת הנתונים.

נא לספר לנו על הגזירה שלך

מאוד מעניין אותנו ללמוד למה משמשים הנתונים של Open Products Facts. ברשותך, נעריך מאוד אם יתאפשר לך לספר לנו איך השתמשת בנתונים שלנו כדי שנוכל לשתף זאת עם קהילת Open Food Facts. אפשר גם למלא את הטופס הזה כדי להגדיל את הסיכויים שהיישום שלך יוצג לקהל הרחב.

יישומון לניידים ל־Android ול־iPhone (דרושה עזרה!)

היטלים ותוצרי ייצוא של מסד הנתונים נוצרים מדי לילה. מסד הנתונים גודל מאוד, לכן ניתן למצוא דרכים שונות להשתמש בנתונים, בהתאם לצורת הייצוא.

מידע על השדות השונים להיטל ה־MongoDB ומערכי הייצוא ב־CSV זמין ב־https://world.openproductsfacts.org/data/data-fields.txt

יצוא נתונים של MongoDB

נתוני כל המוצרים שלנו זמינים במאגר ייצור נתונים של MongoDB.

קישור

https://static.openproductsfacts.org/data/openproductsfacts-mongodbdump.gz

sha256sum

https://static.openproductsfacts.org/data/gz-sha256sum

md5sum

https://static.openproductsfacts.org/data/gz-md5sum

ייצוא הבדלים

ייצוא הבדלים יומי מסופק עבור 14 הימים האחרונים. אפשר למצוא את רשימת קובצי ההבדלים שזמינים כרגע ב־https://static.openproductsfacts.org/data/delta/index.txt.

כל שורה מייצגת קובץ שזמין תחת https://static.openproductsfacts.org/data/delta/{filename}.

שם הקובץ מכיל חותמות זמן יוניקס של השינוי הראשון והאחרון שכלול בקובץ ה־JSON כדי שניתן יהיה לייבא את קובצי ההבדלים (לאחר חילוץ) באמצעות mongoimport בסדר אלפביתי.

נא לשים לב שטבעו של mongoexport מאלץ מצב שבו קובצי השינויים לא יכולים לספר לך על מוצרים שנמחקו. כדי להסיר מוצרים שנמחקו ממסד הנתונים שלך, יהיה עליך לייבא את ההיטל המלא של MongoDB.

יצוא נתונים ב־CSV

מסד הנתונים השלם זמין גם בתצורתJSONL (לפעמים נקרא גם LDJSON או NDJSON) בו כל שורה היא פריט JSON. הוא מייצג את אותם הנתונים כמו בייצוא של MongoDB. הקובץ דחוס ב־gzip.

קישור

https://static.openproductsfacts.org/data/openproductsfacts-products.jsonl.gz

דרך הולמת לנצל את מסד הנתונים לרעה היא להשתמש ב־DuckDB, כלי ניתוחי פנים תהליכי שתוכנן לעבד כמויות גדולות של נתונים בשברירי שנייה. אפשר לקרוא את הרשומה בבלוג שלנו בה אנו חוקרים ומעבדים את מסד הנתונים של Open Products Facts עם DuckDB

יצוא נתונים ב־CSV

גרסה מפושטת של היטל ה־JSONL זמין גם בתצורת פרקט/Parquet. במהלך ההמרה, סיננו עמודות שמכילות פרטים כפולים, כאלה שמשמשים לניפוי שגיאות פנימי או שהם פשוט לא מעניינים את המשתמשים.

תבנית פרקט/Parquet הוכחה כשימושית:

• Data is organized by column, rather than by row, which saves storage space and speeds up analytics queries, i.e. you can select just the columns you care about, optimizing query performances, even on entry-level computers.
• Highly efficient data compression and decompression, making it good for storing and sharing big datasets of any kind,
• Supports complex data types and advanced nested data structures.

The dataset is available on Hugging Face, a collaborative Machine Learning ecosystem where developers and researchers can share models and datasets.

קישור

https://huggingface.co/datasets/openfoodfacts/product-database/resolve/main/food.parquet?download=true

Find more information in the Wiki, including guidelines for data reuse and example queries to get started.

יצוא נתונים ב־CSV

הנתונים של כל המוצרים או חלקם, ניתנים להורדה בתבנית CSV (נתמכת על ידי LibreOffice, Excel ועוד תוכנות גיליונות נתונים) דרך טופס החיפוש המתקדם.

קישור

https://static.openproductsfacts.org/data/en.openproductsfacts.org.products.csv.gz (CSV דחוס ב־GZIP‏: ~ 0.9 ג״ב, ללא דחיסה: ~ 9 ג״ב)

קידוד הקובץ הוא Unicode UTF-8. התו המפריד בין שדות הוא <tab> (טאב).

עקרונות כלליים

מסד הנתונים זמין גם בתצורת RDF. אפשר לקרוא את ההכרזה בצרפתית.

קישור

https://world.openproductsfacts.org/data/en.openproductsfacts.org.products.rdf.gz

דרושה עזרה עם OpenAPI

אפשר להוריד את כל התמונות ואת תוצאות המרת תמונה לטקסט מהשרת שלך או מ־AWS (דרך התוכנית AWS Open Data). אפשר לפנות לתיעוד שלנו כדי ללמוד עוד על איך להוריד תמונות.

תיעוד OpenAPI ל־API בתצורת JSON

API בתצורת JSON גם כן זמין לטובת קריאת נתונים על מוצר. ה־API הזה במיוחד משמש את היישומון לניידים של Open Products Facts עבור iPhone ו־Android.

אנו משפרים את ה־API עם הזמן אך אנו מקפידים מאוד לשמור על תאימות לאחור. נשמח לשמוע ממך אם זה משמש אותך כדי שנוכל לספר לך על שינויים אפשריים.

במקרה של ספק, או אם יש לך שאלות (אין דבר כזה שאלה טיפשית), ניתן לשאול ב־Slack :-)

לדוגמה: https://il.openproductsfacts.org/api/v3/product/737628064502.json

לדוגמה: https://world.openfoodfacts.org/api/v2/product/737628064502.xml

• API V3 - תיעוד OpenAPI חדש - עובדים על זה כרגע

API ניסיוני עם XML

אנו נשמח מאוד לסיים את תיעוד ה־API, להוסיף מקרי בוחן ולייצר אוטומציה של יצירת SDK. אם OpenAPI זה הצד החזק שלך, מאוד נשמח לקבל עזרה.

אנו מזמינים אותך להשתמש ב־API למטרות פעילות מבצעית, כל עוד כל קריאת API שוות ערך לסריקה אמתית של משתמש. כל ניסיון לדלות את מסד הנתונים כולו דרך ה־API ייחסם כיוון שתוצאי ייצוא מלאים יומיים זמינים בעמוד זה ממש.

כמו כן, שליחת כותרות HTTP עם קריאות ה־API שלך היא דרך מצוינת בה נוכל ליצור אתך קשר במקרה שיש תקלות כלשהן.

הם יאפשרו לך לצרוך נתונים, כמו גם לאפשר למשתמשים שלך לתרום נתונים חדשים

עקרונות כלליים כדי לשמח את המשתמשים שלך

הקוד של היישומונים הרשמיים של Open Food Facts זמין ב־GitHub Flutter Kotlin Android Swift iOS

ניתן להצטרף לחדר ה־Slack של Open Products Facts שזו הדרך המועדפת לשאול שאלות ולדבר על ה־API.

ה־API הזה לא מתוחזק באופן פעיל, ולא מתועד רשמית.

מעטפות וערכות SDK

כנראה שיש לנו מעטפת לשפת הפיתוח המועדפת עליך. אם יש לנו, ניתן להשתמש בה ולשפר אותה. אם אין לנו, ניתן לעזור ביצירתה.

אנו מזמינים אותך לעשות שימוש חוזר בקוד המקור (הפתוח) ולסייע לנו לשפר אותו, למען כולם, בכל רחבי העולם.

אם המשתמשים שלך לא מצפים לתוצאות מיידית (למשל: יישומוני מאגרים)

• You can search for information about products, including many useful computed values.
• DART:‏ GitHub (Open Food Facts בלבד כרגע)
• You can also implement the complete flow so that they get immediately the result with some effort on their side.

אם המשתמשים שלך מצפים לתוצאות מיידית (למשל: יישומוני תזונה)

• Submit photos (front/nutrition/ingredients): most painless thing for your users
• רובוט הבינה המלאכותית של Open Products Facts -‏ Robotoff - יגזור נתונים מהתמונות
• עם הזמן, יישומונים אחרים וקהילת Open Products Facts ימלאו את פערי הנתונים

אם המשתמשים שלך מצפים לתוצאות מיידית (למשל: יישומוני תזונה או אלרגיות)

• מגישים רכיבים + קטגוריה > מקבלים ניתוח רכיבים, תוספים, מעוררי רגישות, רכיבים מנורמלים, צמחונות, טבעונות…
• אפשר להגיש תוויות לשיפור הערך המוסף
• Submit nutrition

ערכות SDK

הקוד של היישומונים הרשמיים של Open Products Facts זמין ב־GitHub ‏(Flutter,‏ Kotlin Android ו־Swift iOS).

אנחנו שוקלים להפוך את בסיסי הקוד של Kotlin ו־Swift ל־SDKs של Kotlin ו־Swift, נשמח לעזרה :-)

אפשר לפתוח שרשור במאגר תיעוד ה־API שלנו

לכל שאלה בנוגע לנתונים, ניתן ליצור אתנו קשר בכתובת contact@openfoodfacts.org

ערכות SDK

סמל	שפה / תשתית	משאבים	דיונים
	Cordova (היישומון הישן)	Github	לא זמין
	DART	GitHub pub.dev	לא זמין
	Elixir	Github	ערוץ Slack
	קדימה	Github	ערוץ Slack
	Java	Github	ערוץ Slack
	Spring Boot	Github	ערוץ Slack
	Kotlin	Github	ערוץ Slack
	JavaScript	Github	ערוץ Slack
	PHP	Github	ערוץ Slack
	PHP (Laravel)	Github	ערוץ Slack
	Python	Github	ערוץ Slack
	React Native	Github	ערוץ Slack
	Ruby	Github	ערוץ Slack
	חלודה	Github	ערוץ Slack
	R	Github	ערוץ Slack
	Swift	Github	ערוץ Slack
	‎.NET/C#‎	Github	ערוץ Slack

דיון על נתונים, API ועל נתונים מיוצאים

אפשר לעיין בשו״ת הנפוצות על API וייצוא נתונים ושאלות נפוצות על Open Food Facts

ניתן להצטרף לחדר ה־Slack של Open Products Facts שזו הדרך המועדפת לשאול שאלות ולדבר על ה־API. נא לשאול את השאלות שלך בערוץ ‎#api

אפשר לפתוח שרשור במאגר תיעוד ה־API שלנו

לכל שאלה בנוגע לנתונים, ניתן ליצור אתנו קשר בכתובת contact@openfoodfacts.org