Don't mess up syntax-ppss cache in electric-pair (Bug#29710)

In Emacs 25 and above, calling `scan-sexps', `parse-partial-sexp', or
similar may update the syntax-ppss cache if
`parse-sexp-lookup-properties' is non-nil.  Therefore, when calling
any of these functions with a different than normal syntax-table, the
cache must be cleaned afterwards.
* lisp/elec-pair.el (electric-pair--with-uncached-syntax): New macro.
(electric-pair--syntax-ppss, electric-pair--balance-info): Use it.

* etc/emacs.appdata.xml: Update file format.

Use utf-8-hfs-unix on macOS (Bug#29712)

This is a quick fix for the Emacs 26 release. Do not merge to master.

* test/src/fileio-tests.el (fileio-tests--symlink-failure): Override
file-name-coding-system to utf-8-hfs-unix to prevent test failure.

* lisp/progmodes/cc-defs.el (c-version): Update to 5.33.1.

Improve fix for Bug#29712

* test/lisp/net/tramp-tests.el
(tramp-test32-environment-variables-and-port-numbers):
Adapt check for systems which do not support "echo -n".  (Bug#29712)

* doc/lispref/sequences.texi (Sequence Functions): Improve indexing.

Avoid reordering of output in 'shr-insert-document'

* lisp/net/shr.el (shr-string-pixel-width): Preserve point across
shr-pixel-column invocations.  (Bug#29734)

Improve documentation of 'invisible-p'

* doc/lispref/display.texi (Invisible Text): Document the return
value of 'invisible-p'.

* src/xdisp.c (Finvisible_p): Rename the argument POS.  Doc fix.
(Bug#29721)

Remove one more check that Vframe_list is non-nil

* src/dispnew.c (check_glyph_memory): Remove no-longer-needed
check that Vframe_list is non-nil, as FOR_EACH_FRAME no longer
assumes that.

Fix off-by-one error in 'css--hex-color'

* lisp/textmodes/css-mode.el (css--hex-color): Fix off-by-one error.

* test/lisp/textmodes/css-mode-tests.el (css-test-hex-color): New test
for 'css--hex-color'.

Save and restore text-pixel height and width of frames (Bug#28442)

* lisp/frameset.el (frameset--record-relationships): Record
text-pixel-height and text-pixel-width of frame.
(frameset--restore-frame): Restore text-pixel-height and
text-pixel-width of frame if available.  (Bug#28442)

Partially revert "Mention new strictness for &optional, &rest..."

The changes to cl argument parsing are not backwards compatible, and
cause inconvenience when writing macros (e.g., instead of doing '&aux
,@auxargs', some more complicated conditionals would be required).
The `cl-defstruct' macro makes use of this convenience when defining
empty structs (Bug#29728).
* lisp/emacs-lisp/cl-macs.el (cl--transform-lambda):
(cl--do-&aux, cl--do-arglist): Undo strict checking of &rest, &key,
and &aux.
* test/lisp/emacs-lisp/cl-macs-tests.el (cl-macs-bad-arglist): Remove
test.

* lisp/vc/smerge-mode.el (smerge-refine): Respect font-lock-mode.

* lisp/vc/smerge-mode.el (smerge-refine): Replace obsolete alias.

FOR_EACH_FRAME no longer assumes frame-list

This cleans up a recent fix related to Bug#29661.
Suggested by Stefan Monnier in:
https://lists.gnu.org/r/emacs-devel/2017-12/msg00544.html
* src/frame.c (next_frame, prev_frame, delete_frame):
Restore debugging checks that Vframe_list is non-nil,
as FOR_EACH_FRAME no longer has these checks.
(delete_frame): Remove no-longer-needed checks that Vframe_list is
non-nil, as FOR_EACH_FRAME no longer assumes that.
* src/frame.h (FOR_EACH_FRAME): Do not assume Vframe_list is non-nil.

* src/font.c (Ffont_info): Doc fix.  (Bug#29682)

Modernise message.el face spec syntax

* lisp/gnus/message.el (message-header-to, message-header-cc)
(message-header-subject, message-header-newsgroups)
(message-header-other, message-header-name, message-header-xheader)
(message-separator, message-cited-text, message-mml):
Use (DISPLAY . PLIST) face spec syntax as recommended in
`(elisp) Defining Faces'.  (Bug#29405)

Update message.el obsolete face aliases

* lisp/gnus/message.el: (message-header-to, message-header-cc)
(message-header-subject, message-header-newsgroups)
(message-header-other, message-header-name, message-header-xheader)
(message-separator, message-cited-text, message-mml):
Use define-obsolete-face-alias.  (Bug#29405)

; * lisp/comint.el (comint-terminfo-terminal): Add a :version tag.

Improve documentation of TERM environment variable

* doc/emacs/trouble.texi (Checklist):
* doc/emacs/building.texi (Compilation Shell):
* doc/emacs/misc.texi (Shell Options): Improve indexing of TERM.
* doc/emacs/building.texi (Compilation Shell): Mention
'comint-terminfo-terminal' in conjunction with the TERM value.

Add option to configure comint TERM

* lisp/comint.el (comint-terminfo-terminal): New defcustom.
(comint-term-environment): New function for setting terminal options
(comint-exec-1): Use comint-term-environment.  (Bug#29583)
* lisp/progmodes/compile.el (compilation-start): Use comint-term-environment.

* etc/NEWS:
* doc/emacs/misc.texi (Shell Options): Document the new option.

Better support utf-8-with-signature and utf-8-hfs in XML/HTML

* lisp/international/mule.el (sgml-xml-auto-coding-function):
Support UTF-8 with BOM and utf-8-hfs as variants of UTF-8, and
obey the buffer's encoding if it is one of these variants, instead
of re-encoding in UTF-8 proper.  (Bug#20623)

* lisp/menu-bar.el (menu-bar-mode): Doc fix.

; * etc/NEWS: Fix last change.

Fix Bug#29712 in tramp-tests.el

* test/lisp/net/tramp-tests.el
(tramp-test32-environment-variables-and-port-numbers):
Skip for macOS.  (Bug#29712)

Don't run FOR_EACH_FRAME when there's no frame left (Bug#29961)

This does not fix Bug#29961 but avoids that Emacs segfaults when
trying to shut down because it lost connection to the X server.

* src/dispnew.c (check_glyph_memory):
* src/frame.c (delete_frame): Don't run FOR_EACH_FRAME when
there's no frame left (Bug#29961).

* lisp/textmodes/tex-mode.el: Ensure uncompiled file is loadable.

Remember password change for IMAP in Gnus (Bug#29692)

Reported by Trey Jackson <trey_jackson@mentor.com>.

* lisp/gnus/mail-source.el (mail-source-fetch-imap): Check
`mail-source-password-cache' for password.

Add %DUMBFW to the default GnuTLS priority strings

* lisp/net/gnutls.el (gnutls-boot-parameters): Add %DUMBFW to
the default priority strings (Bug#25061).

* etc/NEWS: Mention it.

* doc/misc/emacs-gnutls.texi (Help For Users): Point to the
GnuTLS priority string documentation URL.

Small fixes prompted by make check-declare

* lisp/frame.el (x-focus-frame): Update declaration.
(ns-mouse-absolute-pixel-position): Fix declaration.
* lisp/vc/diff-mode.el (diff-refine-hunk):
Use smerge-refine-regions rather than obsolete alias.
(smerge-refine-subst): Remove declaration, no longer relevant.

Fix some custom groups

* lisp/vc/vc-hooks.el (vc-faces): Rename from vc-state-faces.
* lisp/vc/cvs-status.el (cvs-status): Unused, remove.

Fix fontification of first declaration within a C++ lambda form.

* lisp/progmodes/cc-engine.el (c-looking-at-or-maybe-in-bracelist): Cease
spuriously recognizing the braces of a lambda form as a brace list when there
is an "=" preceding the introductory brackets.

* src/data.c (Fadd_variable_watcher): Doc fix.

Fix misfontification of C++ member initialization list after "throw"

* lisp/progmodes/cc-engine.el (c-forward-type): Stop recognizing a "type"
starting with "throw", by using c-opt-type-modifier-prefix-key.

* lisp/progmodes/cc-langs.el (c-type-modifier-prefix-kwds): New lang const
which, in C++, doesn't contain "throw", otherwise like c-type-modifier-kwds.
(c-opt-type-modifier-prefix-key): New lang const and var, a regexp matching
any keyword in the previous lang const.

Fix doc-string of Fbuffer_list

* src/buffer.c (Fbuffer_list): Fix doc-string.

Don't raise an extraneous frame (bug#29696)

* lisp/gnus/gnus-art.el (gnus-article-read-summary-keys): Lookup
summary buffer keys from article buffer without affecting window
configuration (bug#29696).

Mention new strictness for &optional, &rest in arglists (Bug#29165)

* etc/NEWS: Explain that '&optional' not followed by a variable is now
an error.
* lisp/emacs-lisp/cl-macs.el (cl--transform-lambda, cl--do-&aux)
(cl--do-arglist): Also reject '&optional', '&rest', or '&aux' not
followed by a variable for consistency.
* test/lisp/emacs-lisp/cl-macs-tests.el (cl-macs-bad-arglist): New
test.

Don't misfontify "foo ()" inside C++ initialization parentheses as a type

Also recognize and handle function names introduced by "extern" inside a
function.

* lisp/progmodes/cc-engine.el (c-forward-decl-or-cast-1): Add a new element to
the result list which is t when our declaration is, or is to be treated as,
being at top level.

* lisp/progmodes/cc-fonts.el (c-get-fontification-context): Detect being
inside a C++ uniform initialization and return (not-decl nil) for this case.
(c-font-lock-declarations): Use the new element 4 of the result of
c-forward-decl-or-cast-1.

* lisp/progmodes/cc-langs.el (c-make-top-level-kwds, c-make-top-level-key):
New lang consts/vars.

Fixes for defcustoms, prompted by cus-test-opts

* lisp/files.el (save-some-buffers-default-predicate):
* lisp/time.el (display-time-world-list):
* lisp/gnus/gnus-art.el (gnus-article-show-cursor):
* lisp/progmodes/cc-vars.el (c-noise-macro-with-parens-names):
* lisp/progmodes/verilog-mode.el (verilog-auto-wire-type):
* lisp/textmodes/less-css-mode.el (less-css-output-directory)
(less-css-output-file-name, less-css-input-file-name):
* lisp/vc/emerge.el (emerge-metachars):
* lisp/vc/vc-hg.el (vc-hg-symbolic-revision-styles):
Fix :types.
* lisp/net/newst-backend.el (newsticker-url-list-defaults): Fix url.

* lisp/net/newst-backend.el (newsticker--raw-url-list-defaults):
Update.

* lisp/htmlfontify.el (hfy-which-etags): Fix it.

Add missing :version tags revealed by cusver-check

* lisp/comint.el (comint-move-point-for-matching-input):
* lisp/epa.el (epa-replace-original-text):
* lisp/image-dired.el (image-dired-cmd-optipng-program)
(image-dired-cmd-optipng-options):
* lisp/emacs-lisp/bytecomp.el (byte-compile-cond-use-jump-table):
* lisp/gnus/gnus-cloud.el (gnus-cloud-storage-method)
(gnus-cloud-interactive):
* lisp/net/mailcap.el (mailcap-user-mime-data):
* lisp/progmodes/cc-vars.el (c-asymmetry-fontification-flag)
(c-noise-macro-names, c-noise-macro-with-parens-names):
* lisp/progmodes/flymake.el (flymake-start-on-flymake-mode)
(flymake-wrap-around):
* lisp/progmodes/grep.el (grep-use-null-filename-separator):
* lisp/progmodes/js.el (js-indent-align-list-continuation):
* lisp/progmodes/perl-mode.el (perl-flymake-command):
* lisp/progmodes/python.el (python-flymake-command)
(python-flymake-command-output-pattern, python-flymake-msg-alist):
* lisp/progmodes/ruby-mode.el (ruby-flymake-use-rubocop-if-available)
(ruby-rubocop-config):
* lisp/textmodes/less-css-mode.el (less-css):
* lisp/textmodes/tex-mode.el (tex-chktex-program)
(tex-chktex-extra-flags): Add missing :version tags.

Escape column-zero doc parens

* lisp/htmlfontify.el (hfy-display-class):
* lisp/calendar/icalendar.el (icalendar--do-create-ical-alarm):
* lisp/net/shr.el (shr-external-rendering-functions):
* lisp/progmodes/cc-vars.el (c-asymmetry-fontification-flag):
* lisp/textmodes/tildify.el (tildify-tildify):
Escape column-zero doc parens.  A shame bug#21871 remains unfixed.

Remove ObjC blocks (Bug#23753)

* src/macfont.m (macfont_get_glyph_for_character):
(mac_font_get_glyphs_for_variants): Inline Objective-C blocks.

(cherry picked from commit 4590f1d768adbb2120a2b02c614f7ed3b21a4a3e)

Import the latest IVD_Sequences.txt

* admin/unidata/IVD_Sequences.txt: New version from
http://www.unicode.org/ivd/, the 2017-12-12 version of the Unicode
Ideographic Variation Database.

* src/macuvs.h: Regenerated.

Fix dired-do-compress when tar doesn't default to stdin (Bug#29094)

* lisp/dired-aux.el (dired-compress-file-suffixes): Use argument '-f-'
to write to stdout rather than relying on the default (the choice of
default is decided when compiling tar, BSD systems usually set it to a
tape drive).  Drop '-v', since the output is not used anywhere.

Copyright-paperwork-exempt: yes

Suppress warnings during elisp completion macroexpansion

Errors are already suppressed, therefore it is logical to suppress
warnings as well.  Some macros (e.g., use-package) may produce
warnings when given the `elisp--witness--lisp' symbol.
* lisp/progmodes/elisp-mode.el (elisp--local-variables): Let-bind
warning-minimum-log-level to :emergency.

* lisp/progmodes/verilog-mode.el (verilog-mode): Fix typo (Bug#24410).

Make tramp-interrupt-process more robust

* lisp/net/tramp.el (tramp-interrupt-process): Fall back to
the default implementation if there's no success.

Make quail-input-method work when inhibit-read-only is non-nil (bug#29504)

* lisp/international/quail.el (quail-input-method): Work not only
when buffer-read-only is nil but also when inhibit-read-only is non-nil
(bug#29504).

Fix 'fontset-name-p'

* lisp/international/fontset.el (fontset-name-p): Make the
function work with full fontset names and fontset alias names.

Fix fontset documentation inconsistencies for bug#29630

* doc/lispref/display.texi (Face Attributes): Don't document
:family as accepting a fontset.  Document that :font accepts a
fontset.

* lisp/faces.el (set-face-attribute): Doc fix.

Remove sentence from child frames section in Elisp manual

* doc/lispref/frames.texi (Child Frames): Remove one sentence.
Suggested by Bob Weiner <rsw@gnu.org>.

Avoid crashes in 'font-at' after 'set-fontset-font'

* src/fontset.c (free_realized_fontsets): Call
recompute_basic_faces, so that the basic faces are available to
any Lisp that calls this function, e.g. via set-fontset-font.
(Bug#29632)

* lisp/files-x.el (connection-local-set-profile-variables): Fix docstring.

Add /etc/ssl/cert.pem to gnutls-trustfiles for macOS

Problem reported by Mark Ferlatte (Bug#28603).
* lisp/net/gnutls.el (gnutls-trustfiles): Add /etc/ssl/cert.pem for macOS.

Fix tool-tip display when display margins are non-zero by default

* src/buffer.h (bset_left_margin_cols, bset_right_margin_cols):
New inline functions.
* src/xfns.c (Fx_show_tip):
* src/w32fns.c (Fx_show_tip): Force display margins of the tip
buffer to zero, as it will be displayed in a pseudo-window, which
doesn't support display margins.  (Bug#29627)

Handle hash tables and vectors when reading/writing EIEIO objects

* lisp/emacs-lisp/eieio.el (eieio-override-prin1): EIEIO objects
  printed with `prin1' can no longer be read with `read'. Make sure
  they are printed with object-write instead, even when they're inside
  hash tables and vectors.
* lisp/emacs-lisp/eieio-base.el (eieio-persistent-validate/fix-slot-value):
  Check for written representations of objects inside hash tables and
  vectors, and reconstruct them.

Improve interactive debugging commands in xdisp.c

* src/xdisp.c (Fdump_glyph_row, Fdump_tool_bar_row): Allow to
specify ROW via prefix argument.  Fix the doc strings.

Fix calculation of continuation_pixel_width in display engine

* src/xdisp.c (display_line): Remove incorrect increment of
it->continuation_pixel_width when word-wrap is used.  (Bug#29594)

Improve documentation of 'save-abbrevs'.

* doc/emacs/abbrevs.texi (Saving Abbrevs): Document the 'silently'
value of 'save-abbrevs'.  Suggested by Alex Branham
<alex.branham@gmail.com> in emacs-manual-bugs@gnu.org.

Improve documentation of Dired

* doc/emacs/dired.texi (Dired): Mention that the Dired buffer can
be made modifiable in Wdired.  Suggested by Alex Branham
<alex.branham@gmail.com> in emacs-manual-bugs@gnu.org.

* lisp/bookmark.el (bookmark-alist): Doc fix.  (Bug#29551)

Minor Tramp fixes

* lisp/net/tramp-gvfs.el (tramp-gvfs-do-copy-or-rename-file):
Fix a bug when renaming.

* test/lisp/net/tramp-tests.el (tramp-test21-file-links): Extend test.
(tramp-test42-delay-load, tramp-test42-remote-load-path):
Skip unless Emacs >= 26.

* lisp/help-mode.el (help-function-def):
Allow help-make-xrefs to call with one argument.  (Bug#29611)

Fix doc-string of 'display-buffer-in-side-window'

* lisp/window.el (display-buffer-in-side-window): In doc-string
clarify why the window returned gets dedicated to its buffer.

Fix Bug#29579

* lisp/files.el (file-name-non-special):
Inhibit `file-name-handler-alist' only for some operations.
Add missing operations.  (Bug#29579)

* lisp/net/tramp-compat.el (tramp-compat-file-name-quote):
Do not quote if it is quoted already.

* lisp/net/tramp-smb.el (tramp-smb-handle-insert-directory):
Use `copy-tree' but `copy-sequence'.

* lisp/net/tramp.el (tramp-handle-file-truename): Handle several
trailing slashes correctly.

* test/lisp/net/tramp-tests.el (tramp-test11-copy-file)
(tramp-test12-rename-file, tramp-test24-file-acl)
(tramp-test25-file-selinux, tramp--test-check-files):
Handle also quoted file names.
(tramp-test21-file-links): Fix file name quoting test.
(tramp-test24-file-acl): Be more robust for "smb" method.
(tramp-test35-make-auto-save-file-name): Enable hidden test cases.

; NEWS: Update Org version number

Backport: Update Org to v9.1.4

Please note this is a bugfix release. See etc/ORG-NEWS for details.

(cherry picked from commit 567b5efe1f338c10c574758fb968915c5c34c909)

In windows.texi mention special splitting behavior of side and atomic windows

* doc/lispref/windows.texi (Splitting Windows): Add note about
and links to side and atomic windows.

* lisp/gnus/gnus-group.el (gnus-group-mode-map):
Bind [follow-link] to mouse-face, not 'mouse-face (bug#29538).

Avoid compilation warning in xterm.c

* src/xterm.c (x_draw_underwave): Move the declaration of
'thickness' to the non-USE_CAIRO branch, to avoid compiler
warning.  (Bug#29567)

* README: Document all the top-level directories.  (Bug#29558)

Don't enable erc modules on simply loading erc.el

* lisp/erc/erc.el (erc-modules): Use default :initialize.  (Bug#29417)

Allow shr to use data: URLs without encoding

* lisp/net/shr.el (shr-image-from-data): Don't bug out on
image data: URLs that have no base64 encoding like
(shr-image-from-data
"text/html,%3Ch1%3EHello%2C%20World!%3C%2Fh1%3E").

Don't add newlines in minibuffer history

* lisp/simple.el (next-line-or-history-element): Bind
next-line-add-newlines to nil.  (Bug#29529)

Copyright-paperwork-exempt: yes

modhelp.py: Support Python 3 (Bug#24954)

* modules/modhelp.py: 'print' statement was removed in Python
3.  'print' function should be used instead of 'print' statement.

Use forward slashes for python w32 config example (Bug#21656)

* lisp/progmodes/python.el: Use forward slashes for Windows path
example, it doesn't require doubling of slashes which reduces chances
of confusion.

Fix bug in i18n/l10n optimization

This fixes a off-by-one buffer overrun bug introduced in
2017-06-04T15:39:37Z!eggert@cs.ucla.edu.  Problem uncovered by an
experimental version of Emacs built with -fcheck-pointer-bounds
and running on Intel MPX hardware.
* src/editfns.c (styled_format): Avoid overrunning internal buffers.

Let autoload-compute-prefix be set file-locally (Bug#29471)

* lisp/emacs-lisp/autoload.el (autoload-compute-prefixes): Mark
boolean values as safe.

Improve edit-kbd-macro prompting in case of remapped keys (Bug#29399)

* lisp/edmacro.el (edit-kbd-macro): Use substitute-command-keys to
present the current bindings in the prompt.  Check the the
non-remapped binding of the entered key sequence as well.

Add tests on electric-indentation and Python multiline strings (Bug#29305)

* test/lisp/progmodes/python-tests.el
(python-indent-electric-comma-inside-multiline-string,
python-indent-electric-comma-after-multiline-string): New tests.

Disable electric indent for python strings (Bug#29305)

* lisp/progmodes/python.el (python-indent-post-self-insert-function):
Do nothing when point or beginning of line is in string.

; ChangeLog.2: Fix bug reference.

Fix buffer overflow in fontname conversion (Bug#29523)

* src/nsterm.m (ns_xlfd_to_fontname): Fix sscanf format.

Copyright-paperwork-exempt: yes

Fix byte compilation of files with leading directories

* lisp/emacs-lisp/bytecomp.el (byte-compile-file): Pass basename
of target-file to make-temp-file, in case target-file includes a
leading directory that might not exist under TMPDIR.  See
http://lists.gnu.org/archive/html/emacs-devel/2017-11/msg00680.html
for the details.

* lisp/files.el (make-backup-file-name-1): Fix scoping error.

Revert Tramp commit from 2017-11-20

* lisp/net/tramp.el (tramp-drop-volume-letter)
(tramp-handle-find-backup-file-name): Revert change from
2017-11-20.  Emacs' `make-backup-file-name-1' handles this
case now.

Improve documentation of buffer-list commands and features

* doc/emacs/buffers.texi (List Buffers): Add a cross-reference to
"Several Buffers", to establish a relation between the two
sections.
(Buffer Menus): Expand on customizability of alternative buffer
menu offered by bs.el.  Mention IBuffer.
Suggested by Alex Branham <alex.branham@gmail.com> in
emacs-manual-bugs@gnu.org.

Fix backing up remote files in local directories on MS-Windows

* lisp/files.el (make-backup-file-name-1): Support remote file
names correctly when they are backed up into a local directory on
MS-Windows and MS-DOS.  (Bug#29440)

* doc/emacs/mule.texi (Output Coding): Clarify sendmail coding.

Revert "Fix backing up remote files in local directories on MS-Windows"

This reverts commit 8c8b6732882248df4ca3b687e0a4b4e5e4ab3777.

Fix a typo in ELisp manual

* doc/lispref/sequences.texi (Sequence Functions): Fix the example
of using 'seq-uniq'.  (Bug#29524)

* lisp/composite.el (find-composition): Fix a typo in the doc string.

; Auto-commit of loaddefs files.

Fix backing up remote files in local directories on MS-Windows

* lisp/files.el (make-backup-file-name-1): Support remote file
names correctly when they are backed up into a local directory on
MS-Windows and MS-DOS.  (Bug#29440)

Fix vertical cursor motion in pixel-scroll.el

* lisp/pixel-scroll.el (pixel-scroll-up): Move cursor down
regardless of whether EOB is shown at the top.
(pixel-scroll-down) Move cursor up regardless of whether BOB
is shown at the top.  (Bug#29374)

Fix typos in doc strings of message.el

* lisp/gnus/message.el (message-header-to)
(message-header-subject, message-header-newsgroups)
(message-header-other): Fix typos in doc strings.  (Bug#29405)

Fix a typo in the Emacs manual

* doc/emacs/abbrevs.texi (Abbrev Concepts): Fix a typo.  Reported
by clemens.radermacher@posteo.de in emacs-manual-bugs@gnu.org.

Improve the documentation of 'table-insert-sequence'

* doc/emacs/text.texi (Table Misc): Fix the description of
'table-insert-sequence'.  Reported by jack <jackh@gmx.co.uk> in
emacs-manual-bugs@gnu.org.