Big Data + Social + Games @Is Cool

 
CONTINUE READING
Big Data + Social + Games @Is Cool
Big	
  Data	
  	
  
                        +	
  Social	
  
                        +	
  Games	
  
                        @Is	
  Cool	
  	
  
                                          3/24/12	
  
TITRE	
  DOCUMENT	
  
Big Data + Social + Games @Is Cool
IsCool	
  Entertainment	
  

! Social	
  game	
  publisher	
  based	
  in	
         Agenda	
  
  Paris,	
  France	
                                   • What	
  do	
  we	
  do	
  
                                                       Social	
  Gaming	
  
! #1	
  French	
  publisher	
  in	
  terms	
  of	
     •   What	
  kind	
  of	
  (Big)	
  AnalyKcs	
  we	
  do	
  
  audience	
  (450k	
  Daily	
  AcKve	
                Lots	
  
  Users)	
  &	
  revenue	
                             • How	
  we	
  do	
  it	
  	
  
                                                       Hadoop,	
  Python,	
  R,	
  Tableau,	
  Gephi	
  and	
  stuff…	
  
! 2.8	
  Million	
  Fans	
  	
  
! 80	
  employees	
  
                                                                                       Florian	
  DoueTeau	
  
! €9.1	
  million	
  revenue	
  in	
  2010	
                                           	
  CTO	
  
! 4	
  live	
  applicaKons	
  on	
  Facebook	
                                         @fdoue?eau	
  
Big Data + Social + Games @Is Cool
Is	
  Cool	
  Games	
  

                                          Is	
  Cool,	
     Absolute	
  Solitaire,	
  
                          Delirious	
  CollecKble	
  	
     The	
  best	
  solitaire	
  game	
  	
  
                                            Game	
          available	
  online	
  

                     Temple	
  Of	
  Mahjong,	
             Belote	
  MulKjoueur,	
  
                   Collect,	
  Play,	
  Exchange	
          Play,	
  Win,	
  Meet	
  
Big Data + Social + Games @Is Cool
Games	
  &	
  Virtual	
  Goods	
  	
  	
  

                                             ! Play	
  the	
  Game	
  &	
  Gain	
  some	
  
                                                virtual	
  goods	
  
                                             ! Play	
  again	
  &	
  Gain	
  more	
  
                                             ! Collaborate	
  with	
  other	
  players	
  
                                                &	
  Gain	
  More	
  
                                             ! ….	
  
                                             ! Possibly	
  buy	
  
                                               § To	
  grow	
  quicker	
  
                                               § To	
  help	
  others	
  
Big Data + Social + Games @Is Cool
Virtual	
  Goods	
  	
  Virtual	
  Economy	
  

! Virtual	
  Goods	
  Must	
  not	
  be	
  too	
  
   easy	
  to	
  get	
  
  § The	
  game	
  would	
  not	
  be	
  fun!	
  	
  
  § No	
  moneKzaKon	
  
! Virtual	
  Goods	
  must	
  not	
  be	
  hard	
  to	
  
   get	
  	
  
  § People	
  would	
  churn	
  because	
  of	
            Let’s	
  Trade	
  1	
  
                                                            Watch	
  against	
  
     frustraKon!	
  	
                                       3	
  Hammers	
  
! Virtual	
  Goods	
  can	
  usually	
  be	
  
   traded	
  between	
  players	
  
! Virtual	
  and	
  actual	
  “Price”	
  of	
  a	
  
   good	
  
Big Data + Social + Games @Is Cool
Why	
  is	
  this	
  Big	
  Data	
  ?	
  	
  

                                                ! Number	
  of	
  object	
  transacKons	
  per	
  day	
  
                                                  § NYSE	
   	
                	
  3,600,000,000	
  
      18	
  Million	
  user-­‐generated	
  
      acKons	
  per	
  day	
                      	
  
      	
                                          § 	
       	
           	
   1,600,000,000	
  	
  
      	
  7	
  Billion	
  per	
  year.	
  
      	
  	
  
                                                   § 	
           	
            	
   1,500,000,000	
  	
  

       9,8	
  TB	
  Data	
  to	
  
                                                   § IsCool	
            	
      	
  1,400,000,000	
  
       analyze	
  
       	
                                          § 	
   	
             	
      	
  860,000,000	
  
       	
  	
  

                                                   § CAC	
  40 	
                	
  142,500,000	
  
Big Data + Social + Games @Is Cool
The	
  Real	
  Big	
  Data	
  Challenge	
  
   	
  Collaborate	
  for	
  collecQve	
  insights	
  
                                                                                  Programmers’	
  PerspecKve	
  :	
  	
  
 Game	
  Designer	
  PerspecKve	
  :	
  	
                                        Log	
  Files	
  &	
  Work	
  ?	
  	
  
 Nice	
  Charts	
  ?	
  	
                                                 Real-­‐
                                                                           Kme?	
  
                          what	
  
                         metrics?	
  
                                               data	
  scienKst?	
  	
  

BI	
  Veteran:	
  	
                                                           Business	
  Guy	
  PerspecKve:	
  	
  
Schema	
  DefiniKon	
  ?	
  	
                                                  Revenue	
  Forecast	
  ?	
  	
  
Big Data + Social + Games @Is Cool
Specifics	
  of	
  Game	
  AnalyQcs	
  

! 	
  Virtual	
  Goods	
  
  § We	
  are	
  the	
  Factory	
  AND	
  the	
  
       Shop,	
  and	
  most	
  of	
  the	
  products	
  
       are	
  free.	
  	
  
! Social	
  Networks	
  
  § Network	
  effects	
  are	
  key	
  	
  
! Games	
  	
  
  § The	
  product	
  changes	
  EVERY	
  day	
  !	
  
  § Sudden	
  wage	
  of	
  unexpected	
  
       players	
  from	
  Guatemala	
  !	
  	
  
  § People	
  try	
  to	
  cheat	
  !	
  	
  	
  
Big Data + Social + Games @Is Cool
Use	
  Case	
  1:	
  Engagement	
  	
  Drivers	
  

                                                ! StaKsKcal	
  Mesaure	
  of	
  
                                                   Engagement	
  	
  
                                                  § Visit	
  Frequency,	
  DAU	
  /	
  
                                                     MAU	
  
                                                ! Analyze	
  Engagement	
  Drivers	
  
                                                  § Use	
  of	
  Features	
  ?	
  	
  
                                                  § Demographics	
  ?	
  	
  
                                                  § How	
  does	
  it	
  relate	
  in	
  Kme	
  
                                                     with	
  moneKzaKon	
  ?	
  	
  
                                                  § ….	
  	
  

                                                                                           3/24/12	
  
Big Data + Social + Games @Is Cool
Understanding	
  Engagement	
  -­‐	
  	
  Results	
  

                                             ! Establish	
  class	
  of	
  users	
  with	
  
                                               different	
  engagement	
  
                                               profile	
  and	
  use	
  of	
  features	
  
Understanding	
  Engagement	
  –	
  Benefits	
  

                                   ! Adapt	
  the	
  features	
  correlated	
  
                                     with	
  strong	
  engagement	
  and	
  
                                     interesKng	
  profile	
  so	
  that	
  they	
  
                                     can	
  easily	
  be	
  accessed	
  by	
  other	
  
                                     players	
  

                                                                                  3/24/12	
  
Use	
  Case	
  2	
  :	
  Understanding	
  Users	
  as	
  a	
  whole	
  

                                                ! 10	
  Million	
  Nodes	
  	
  
                                                ! Around	
  1	
  Billion	
  Edges	
  	
  	
  	
  	
  	
  	
  	
  	
  

                                                ! How	
  does	
  the	
  graph	
  evolve	
  in	
  
                                                  Kme	
  ?	
  	
  
                                                ! What	
  are	
  the	
  communiKes?	
  
                                                ! Leaders	
  ?	
  	
  
                                                ! CorrelaKon	
  with	
  engagement,	
  
                                                  virality	
  ,	
  etc..	
  ?	
  	
  	
  	
  	
  	
  	
  	
  	
  
Understanding	
  Users	
  as	
  a	
  Whole	
  –	
  Clusters	
  and	
  Graphs	
  

Lots	
  of	
  small	
  clusters	
  	
  mostly	
  2	
     Some	
  mid-­‐size	
  communi6es	
  
                                                                                                 ! Specific	
  communiKes	
  in	
  the	
  
players)	
                                                                                            graph	
  
                                                                                                 ! CorrelaKon	
  between	
  
                                                                                                      community	
  size	
  and	
  
                                                                                                      engagement	
  /	
  virality	
  	
  
                                                                                                 ! DetecKon	
  of	
  paTerns	
  
                                                                 A	
  very	
  large	
  community	
  
                                                                                                     § 2	
  players	
  paTerns	
  
                                                                                                     § Family	
  play	
  
                                                                                                     § Group	
  Play	
  
                                                                                                     § Open	
  Play	
  (language	
  
                                                                                                        community)	
  	
  

                                                                                                	
  	
  	
  	
  	
  	
  
Understanding	
  Users	
  as	
  a	
  Whole	
  -­‐	
  Benefits	
  

                                           ! Cluster-­‐oriented	
  Community-­‐
                                              Management	
  
                                             § Engage	
  with	
  a	
  community	
  as	
  
                                                a	
  whole	
  as	
  much	
  as	
  possible	
  

                                           ! Nurture	
  communiKes	
  	
  
                                             § Make	
  communiKes	
  grow	
  unKl	
  
                                                they	
  reach	
  a	
  criKcal	
  mass	
  
                                             § Reduce	
  language	
  barrier	
  to	
  
                                                help	
  community	
  aggregaKons	
  
                                           ! DetecKon	
  of	
  “opinion	
  leaders”	
  
                                                  	
  	
  

                                                                                          3/24/12	
  
Use	
  Case	
  3	
  :	
  Long	
  Terms	
  effects	
  of	
  a	
  feature	
  

                                            !     Are	
  players	
  using	
  the	
  new	
  feature…	
  
                                                § Happy	
  with	
  it	
  ?	
  	
  
                                                § More	
  engaged?	
  
                                                § Generate	
  more	
  virality	
  ?	
  
                                                § etc….	
  
                                            	
  ! 	
  A/B	
  Tests	
  
                                              § Some	
  features	
  can	
  be	
  A/B	
  tested	
  
                                              § …and	
  some	
  cannot	
  !	
  	
  
                                              § How	
  to	
  measure	
  the	
  uplio	
  ?	
  	
  
                                            ! Complexity	
  
                                              § MulKple	
  variable	
  to	
  observe	
  (other	
  
                                                 features,	
  history,	
  and	
  20	
  more	
  ….)	
  
                                              § Long	
  term	
  non	
  local	
  effect	
  (game	
  
                                                 economics)	
  	
  

                                                                                     TITRE	
  DOCUMENT	
     3/24/12	
  
Long	
  Terms	
  Effects	
  of	
  a	
  feature	
  -­‐	
  Results	
  

                                                ! Adapt	
  game	
  rules	
  to	
  fit	
  most	
  of	
  
                                                   the	
  players	
  
                                                  § No	
  InflaKon	
  	
  
                                                  § But	
  maintain	
  Growth	
  !!	
  	
  

                                                                                                 3/24/12	
  
How	
  did	
  we	
  do	
  that	
  ?	
  	
  

         In	
  the	
  past	
  4	
  years	
  ….	
                       Technological	
  Offering	
  
         • Tools	
  changed	
                                          • Commercial	
  /	
  Open	
  Source	
  ETL	
  	
  
         • Scale	
  changed	
                                          • Commercial	
  BI	
  VisualizaKon	
  
         • Focus	
  Changed	
                                            Sooware	
  
                                                                       • Commercial	
  /	
  Open	
  Source	
  
                                                                         databases	
  (column	
  stores)	
  
                                                                       • …	
  

   2008-­‐2009	
                                     2009-­‐2010	
                                2010-­‐2011	
  	
  

   • Basic	
  Approach	
                             • BI	
  Approach	
                           • Big	
  Data	
  Approach	
  
What	
  we	
  learned	
  

                                                                                                          No	
  Hadoop+R	
  Magic	
  
VisualizaQon	
  	
  is	
  more	
  important	
  
than	
  precision	
  
Do	
  you	
  want	
  
anybody	
  to	
                                                                                              No	
  XYZ	
  Magical	
  Product	
  	
  
play	
  with	
  the	
                                                                                        	
  
                                               CollaboraKon	
                  Diversity	
  
data	
  ?	
  	
  
                                                                                                                   Do	
  you	
  have	
  data	
  mining	
  
                                                                                                                   experts	
  (yes/no)	
  ?	
  
                                                                                                                   	
  
What	
  is	
  real	
                                                                                        Do	
  you	
  have	
  scalability	
  
budget	
  ?	
  	
                                           RelaKvity	
  	
  	
  	
                         experts	
  	
  ?	
  
                                                                                                            	
  
                    Windows	
  /	
  Linux	
  ?	
  	
  
                    	
                                                                         Cloud	
  or	
  on-­‐premise	
  ?	
  
AdapQve	
  AnalyQcs	
  
!     Day-­‐To-­‐Day	
  -­‐	
  SaaS	
  AnalyKcs	
  Plarorms	
  
    § For	
  common,	
  business	
  metrics	
  
        	
  (virality,	
  traffic,	
  engagement)	
  
    § Corporate	
  Level	
  Visibility	
  
    § Day-­‐to-­‐day	
  	
  

!     Week-­‐to-­‐Week	
  -­‐	
  Datawarehousing	
  
    § Detailed	
  Business	
  Metrics	
  
    § Virtual	
  Economy	
  Modeling	
  
    § Long-­‐term	
  behaviours	
  
    § Business	
  Level	
  Visibility	
  
!     Ad-­‐hoc	
  -­‐	
  Datamining	
  tools	
  
    § To	
  Discover	
  new	
  trends	
  	
  
    § Ad-­‐hoc	
  analyKcs	
  
    § Graph	
  AnalyKcs	
  
Internal	
  Data	
  Warehousing	
  	
  

                                                                                                   Columnar	
                                                                                         VisualizaKon	
  	
  	
  
  MapReduce	
  
                                                             ETL	
  (PyBabe)	
                     Database	
                                                                                         (Tableau	
  
  (Hadoop/Hive)	
  	
  
                                                                                                   (Infinidb)	
                                                                                        Sooware)	
  

  • Used	
  to	
  reduce	
  the	
                            • Pure	
  Python	
  ETL	
  	
         • Free	
  (as	
  beer)	
  	
                                                                       • +Direct	
  connecKon	
  
    amount	
  of	
                                           • Good	
  integraKon	
                • Good	
  performance	
                                                                              to	
  the	
  database	
  	
  
    informaKon	
  :	
  10	
  GB	
                              with	
  AWS/	
  S3	
  	
              for	
  analyKcs	
  tasks	
  on	
                                                                 • +Excel	
  fan	
  biz	
  guy	
  
    a	
  day	
  =>	
  1GB	
  a	
  day	
                      • Easy	
  to	
  integrate	
  in	
       a	
  few	
  hundreds	
                                                                             can	
  use	
  it	
  with	
  no	
  
  • High	
  cost	
  of	
                                       our	
  development	
                  million	
  lines	
  (	
  SELECT	
                                                                  training	
  !	
  	
  
    development	
  for	
                                       environment	
  	
                     …	
  GROUP	
  BY	
  …	
  
    business-­‐related	
                                                                             ORDER	
  …	
  )	
  	
  	
  
    processing	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
                                           • Featured	
  and	
  limited	
  
                                                                                                     performance	
  
                                                                                                     compared	
  to	
  
                                                                                                     commercial	
  Column	
  
                                                                                                     Stores	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  	
  
?	
  
You can also read