python操作mongodb

Subway-passenger-flow-forecast Jupyter Notebook 🤩1 ⭐️2 🖖0 Guangxi artificial intelligence competition 2. solo-blog 🤩1 ⭐️0 🖖0 🏠http://www.love520.ltd 不忘初心 - 记录大学，记录生活，天道殷勤，请多关注！

Python3的map、filter与reduce函数

2019-09-14 0 评论 68 浏览

map 会根据提供的函数对指定序列做映射第一个参数 function 以参数序列中的每一个元素调用 function 函数，返回包含每次 function 函数返回值的可迭代对象的地址，使用时需要将其转换为具体的可迭代对象，比如列表、元组等。 ls = [2,4,6,8] ls1 = map(lambda a:a*a,ls) #lambda表示式构造一个lambda函数（实现乘方），对ls1每个元素进行乘方 print(tuple(ls)) lambda 表达式，返回的是一个返回值组成的迭代对象 s = lambda a:aa,ls print(s) filter filter函数可以过滤掉不符合条件的序列，返回由符合条件元素组成的迭代器该接收两个参数，第一个为判断函数，第二个为序列。序列的每个元素作为参数传递给函数进行判，然后返回 True 或 False，最后将返回 True 的元素放到迭代器对象。 ls2 = filter(lambda a:a2>10,ls) print(list(ls2)) reduce #reduce() 函数会对参数序列中元素进....

Centos7下如何安装Python3.7以及java JDK？

2019-09-14 0 评论 98 浏览

最近在搞Hadoop集群，由于我是半个python3出身，算法都是用python写的多，所以毅然使用不python2、哈哈！【我全部都是在root下的操作】安装python3.7 首先肯定是要上传到服务器上面了！（话不多说、看图、其中python的压缩包已经解压）入坑指南：本来我是使用上传的python3是tar.xz包的，但是不会这个tar.xz包的解压，网上百度了也解压不出来。所以我就改用了tag包。首先先装一些编译相关的工具： yum -y groupinstall "Development tools" yum -y install zlib-devel bzip2-devel openssl-devel ncurses-devel sqlite-devel readline-devel tk-devel gdbm-devel db4-devel libpcap-devel xz-devel yum install libffi-devel -y 然后将tgz包上传到服务器上并解压解压命令:tar -xzvf Python-3.7.4.tgz 然后进行编译安装: m....

Centos7防火墙常用配置命令

2019-09-14 0 评论 71 浏览

由于最近搭建环境发生端口冲突，所以总结此篇、希望有什么不足和不对的、请大家指出、我尽快改正、一起进步。系统:centos7 查看防火墙状态。得到结果是running或者not running firewall-cmd --state 在running 状态下，向firewall 添加需要开放的端口: 比如： firewall-cmd --permanent --zone=public --add-port=80/tcp 这样外部设备就可以访问到80端口了。重新加载配置，使得修改(刚刚的添加要开放的端口)有效。 firewall-cmd --reload //加载配置，使得修改有效。查看开启的端口，出现80/tcp这开启正确： firewall-cmd --permanent --zone=public --list-ports 防火墙的常用命令: 开启防火墙的命令: systemctl start firewalld.service 关闭防火墙的命令: systemctl stop firewalld.service 开机自动启动： systemctl enable ....

Centos7下Hadoop2.7.7单机模式安装配置

2019-09-14 0 评论 80 浏览

环境介绍:Centos7 + jdk1.8.0_211 首先、安装JDK1.8.0，详情请移步 Centos7下安装配置JDK 创建一个用户hadoop，当然也可以使用root用户操作。(我的是使用root操作) 可以创建一个linux用户叫hadoop作为Hadoop的工作者，因为root下是很危险的。 sudo useradd -m hadoop -s /bin/bash #创建hadoop用户 sudo passwd hadoop #设置密码 sudo adduser hadoop sudo #增加管理员权限关闭防火墙(建议关闭、当然也可以自己开放端口) Centos7下防火墙的操作 # firewall-cmd --state 查看防火墙状态 # systemctl stop firewalld.service 关闭防火墙 # systemctl disable firewalld.service 禁止开机时防火墙自启解压配置Hadoop环境变量： tar -xzvf hadoop-2.7.7.tar.gz ln -s hadoop-2.7.7 hadoop #创建软连....

hadoop三种安装模式的基本原理

2019-09-14 0 评论 59 浏览

Hadoop的安装详情查看本博客本专栏内其它文章一、三种安装模式的运行原理: 1.单机模式：Hadoop默认模式、即非分布式模式(本地模式)、无需进行其他配置即可运行非分布式，即java单进程，方便进行调试。 2.伪分布式模式： Hadoop在单节点上以伪分布式的方式运行，Hadoop进程以分离的java进程来运行，节点既作为NameNode也作为DataNode，同时，读取的是HDFS中的文件。 3.分布式模式：使用多个节点构成集群环境来运行Hadoop。二、Hadoop基本安装配置主要包括以下几个步骤: 1.创建Hadoop用户(就是一个系统shell用户、用来Hadoop工作的，当然也可以root) sudo useradd -m hadoop -s /bin/bash #创建用户 sudo passwd hadoop #设置密码 sudo adduser hadoop sudo #增加管理员权限 2.SSH登录权限设置(配置Hadoop之间无密码连接) 3.安装java环境 4.单机安装配置 5.伪分布式安装三、安装模式详解： 1.单机安装：直接解压稍加配置进入bin运....

Centos7下hadoop2.7.7的全分布式模式安装

2019-09-14 0 评论 64 浏览

环境介绍:Centos7 + jdk1.8.0_211 一、首先、安装JDK1.8.0，详情请移步 Centos7下安装配置JDK 关闭防火墙(建议关闭、当然也可以自己开放端口) Centos7下防火墙的操作创建一个用户hadoop，当然也可以使用root用户操作。(我的是使用root操作) 可以创建一个linux用户叫hadoop作为Hadoop的工作者，因为root下是很危险的。 sudo useradd -m hadoop -s /bin/bash #创建hadoop用户 sudo passwd hadoop #设置密码 sudo adduser hadoop sudo #增加管理员权限 /etc/hosts文件配置：在每台机器下的etc/hosts文件中写入以下内容(才能让其识别IP与主机名的对应关系): 其中H1、H2、H3分别为主机名，H2为主节点的主机名。主机名可在/ect/hostname下用cat查看: 192.168.77.98 H1 192.168.77.9 H2 192.168.77.27 H3 二、ssh配置: ssh-keygen -t rsa 生....

Cenos7下hadoop2.7.7伪分布式模式安装

2019-09-14 0 评论 60 浏览

环境介绍:Centos7 + jdk1.8.0_211 一、首先、安装JDK1.8.0，详情请移步 Centos7下安装配置JDK 关闭防火墙(建议关闭、当然也可以自己开放端口) Centos7下防火墙的操作创建一个用户hadoop，当然也可以使用root用户操作。(我的是使用root操作) 可以创建一个linux用户叫hadoop作为Hadoop的工作者，因为root下是很危险的。 sudo useradd -m hadoop -s /bin/bash #创建hadoop用户 sudo passwd hadoop #设置密码 sudo adduser hadoop sudo #增加管理员权限二、ssh配置: ssh-keygen -t rsa 生成两个文件id_rsa（私钥）、id_rsa.pub（公钥）、三个回车 cd .ssh/ #进入相关目录查看相关文件在主节点中将公钥复制到需要免密登录的机器（服务器上），通过如下命令: (最好给本机(主节点)也copy一个，ssh-copy-id 本机ip或者主机名)（输入命令回车后需要输入目标ip的用户密码才能成功） ssh-c....

Centos7下如何安装Python3.7以及java JDK？

2019-08-24 0 评论 82 浏览