Machine Learning with PySpark with Natural Language Processing and Recommender Systems

Description

Contents......Page 3 Data Generation......Page 11 Spark......Page 13 Setting Up Environment......Page 16 Conc lusion......Page 20 Intro to Machine Learning......Page 21 Supervised Machine Learning......Page 23 Unsupervised Machine Learning......Page 25 Semi-supervised Learning......Page 29 Reinforcement Learning......Page 30 Conclusion......Page 31 Load and Read Data......Page 32 Adding a New Column......Page 36 Filtering Data......Page 37 Grouping Data......Page 40 Aggregations......Page 43 User-Defined Functions (UDFs)......Page 44 Drop Duplicate Values......Page 48 Delete Column......Page 49 Writing Data......Page 50 Conclusion......Page 51 V ariables......Page 52 Theor y......Page 54 Interpretation......Page 63 Ev aluation......Page 64 Code......Page 67 Conclusion......Page 73 Probability......Page 74 Interpretation (Coefficients)......Page 81 Dummy Variables......Page 82 Model Evaluation......Page 85 Logistic Regression Code......Page 89 Conclusion......Page 107 Decision Tree......Page 108 Random Forests......Page 116 Code......Page 119 Conclusion......Page 131 Recommender Systems......Page 132 Recommendations......Page 133 Code......Page 154 Conclusion......Page 166 Starting with Clustering......Page 167 Applications......Page 170 Code......Page 190 Conclusion......Page 198 Introduction......Page 199 Tokenize......Page 200 Stopwords Removal......Page 202 Bag of Words......Page 203 Count Vectorizer......Page 204 TF-IDF......Page 206 Text Classification using ML......Page 207 Sequence Embeddings......Page 214 Embeddings......Page 215 Conclusion......Page 226 Index......Page 227