运维开发网

dataframe

0
  • scala – 将Spark DataFrame数据划分为单独的文件

    我从s3文件输入以下DataFrame,需要将数据转换为以下所需的输出.我使用Spark版本1.5.1和 Scala,但可以用 Python改为Spark.欢迎任何建议. DataFrame输入: name animal data john mouse aaaaa bob mouse bbbbb bob m...[详细]

    2020-07-13 16:26 分类:编程语言
  • scala – 如何将DataFrame写入MySQL表

    很抱歉,如果它听起来模糊,但可以解释将现有的DataFrame“df”写入 MySQL表中的步骤,说“product_mysql”,反之亦然. 请看 this databricks article : Connecting to SQL Databases using JDBC. import org.apache.spark.sql.SaveMode val...[详细]

    2020-07-13 10:51 分类:编程语言
  • Java和scala实现 Spark RDD转换成DataFrame的两种方法小结

    一:准备数据源 在项目下新建一个student.txt文件,里面的内容为: 1,zhangsan,20 2,lisi,21[详细]

    2020-07-12 16:31 分类:编程语言
  • 在Python中在Pandas DataFrame中选择多个列范围

    我必须阅读一些Excel格式的文件和一些CSV格式的文件.有些文件有数百列. 有没有办法选择多个列范围而不指定所有列名称或位置?例如,选择列1-10,15,17和50-100:[详细]

    2020-07-11 15:14 分类:Python
  • 在Python中将pandas Series转换为DataFrame

    我有一个熊猫系列sf: email [email protected][1.0, 0.0, 0.0] [email protected][2.0, 0.0, 0.0] [email protected][1.0, 0.0, 0.0][详细]

    2020-07-11 14:56 分类:Python
  • 在Python中按标签选择的Pandas有时会返回Series,有时会返回DataFrame

    在Pandas中,当我选择一个只在索引中有一个条目的标签时,我会返回一个系列,但是当我选择一个包含多个条目的条目时,我会返回一个数据框.[详细]

    2020-07-11 14:50 分类:Python
  • scala – 如何将Spark RDD保存到本地文件系统

    我可以使用saveAsTextFile语法将文件保存到本地系统吗? 这就是我编写保存文件的语法:insert_df.rdd.saveAsTextFile(“< local path>”) 当我正在尝试这样做时,我得到错误,因为没有权限,但我拥有该特定本地路径的所有权限,看起来它...[详细]

    2020-07-11 14:28 分类:编程语言
  • 在Python中在pandas DataFrame中左对齐字符串值

    所以我有一个具有180000个值的DataFrame,我需要(1)逐行替换单元格中的重复值和某些值,以及(2)重新排列.这是我的DataFrame,df:[详细]

    2020-07-11 13:01 分类:Python
  • scala – 具有新指标列的Spark Dataframe Group

    我需要按“KEY”列进行分组,需要检查“TYPE_CODE”列是否同时包含“PL”和“JL”值,如果是,那么我需要添加一个指标列为“Y”,否则为“N” 示例: //Input Values val values = List(List("66","PL") , List("...[详细]

    2020-07-11 10:16 分类:编程语言
  • 在Python Pandas中将行转换为列

    我有以下 Python pandas数据帧: fruits | numFruits --------------------- 0| apples |10 1| grapes |20[详细]

    2020-07-11 08:21 分类:Python